🤖 AI

SciEGQA: A Dataset for Scientific Evidence-Grounded Question Answering and Reasoning

تقدم هذه الورقة SciEGQA، وهو عبارة عن مجموعة بيانات مبتكرة تتميز بكل من معيار دقيق مشروح بشرياً ومجموعة تدريب واسعة النطاق مؤتمتة ذات مناطق أدلة مبررة دلالياً، مصممة لتعزيز قدرات تحديد موقع الأدلة والاستدلال العلمي لنماذج الرؤية واللغة في مجال الإجابة على الأسئلة المرئية للوثائق.

المؤلفون الأصليون: Wenhan Yu, Zhaoxi Zhang, Wang Chen, Guanqiang Qi, Weikang Li, Lei Sha, Deguo Xia, Jizhou Huang

نُشر 2026-03-31

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wenhan Yu, Zhaoxi Zhang, Wang Chen, Guanqiang Qi, Weikang Li, Lei Sha, Deguo Xia, Jizhou Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق يحاول حل لغز، ولكن بدلاً من مسرح جريمة، فإن "مسرحك" هو ورقة بحث علمي ضخمة مكونة من 50 صفحة مليئة بالنصوص الكثيفة، والرسوم البيانية المعقدة، والمخططات المربكة.

المشكلة: المحقق "على مستوى الصفحة"
في الوقت الحالي، يتم تدريب معظم محققي الذكاء الاصطناعي (نماذج الرؤية واللغة) على النظر إلى صفحة كاملة وتخمين الإجابة. الأمر يشبه أن يُطلب منك "أين المشتبه به؟" فيقوم الذكاء الاصطناعي بالإشارة إلى كتلة المباني بأكملها. قد يكون تقنياً "صحيحاً" أن المشتبه به موجود في مكان ما داخل هذه الكتلة، لكنه ليس مفيداً جداً. قد يحصل الذكاء الاصطناعي على الإجابة الصحيحة عن طريق الحظ، لكنه لا يعرف حقاً "أين" يكمن الدليل. وهذا يجعل من الصعب الوثوق بالذكاء الاصطناعي أو فهم "كيف" توصل إلى استنتاجه.

أما النماذج الأخرى، فقد تم تدريبها على النظر إلى كلمات صغيرة ومنفردة (مثل حرف واحد في الصفحة). هذا يعتبر "تقريباً" شديداً؛ فكأنك تحاول فهم فيلم من خلال النظر إلى بكسل واحد فقط على الشاشة. ستفقد القصة بأكملها.

الحل: SciEGQA (المحقق "المُحدد")
قدم مؤلفو هذه الورقة مجموعة بيانات جديدة تسمى SciEGQA. فكر في هذا كدورة تدريبية لمحققين من الذكاء الاصطناعي تعلمهم كيفية استخدام "قلم التحديد" (Highlighter) بدلاً من مجرد الإشارة أو التقريب الشديد.

في SciEGQA، عندما يجيب الذكاء الاصطناعي على سؤال، يجب عليه أيضاً رسم مربع حول الفقرة أو الرسم البياني أو الجملة المحددة التي تثبت إجابته.

التشبيه: تخيل أنك تقرأ كتاباً مدرسياً. بدلاً من قول "الإجابة في الصفحة 10"، يقول الذكاء الاصطناعي: "الإجابة في الفقرة الثالثة من الصفحة 10، وتحديداً في الجملة المتعلقة بـ 'الجاذبية'". إنه يسلط الضوء على الدليل بدقة.

كيف بنوا ذلك؟

"المعيار الذهبي" (الاختبار المرجعي): قام الفريق بتعيين خبراء بشريين لقراءة 80 ورقة علمية حقيقية ورسم هذه "مربعات التحديد" يدوياً حول الأدلة. لقد أنشأوا أكثر من 1,600 سؤال عالي الجودة حيث يجب أن تأتي الإجابة من المنطقة المحددة حصراً. هذا هو "الامتحان النهائي" للذكاء الاصطناعي.
"صالة التدريب الرياضي" (مجموعة التدريب): بما أن البشر لا يمكنهم قراءة ملايين الأوراق، فقد بنوا نظاماً آلياً (Robot Pipeline) لتوليد أكثر من 30,000 سؤال تدريبي تلقائياً. لقد علموا الروبوت كيفية العثور على أجزاء من النصوص، وطرح أسئلة حولها، والتحقق من إجاباتها. منح هذا الذكاء الاصطائعي مكتبة ضخمة من مسائل التدريب.

مستويات الصعوبة الثلاثة
يختبر جدول البيانات مستويات التعقيد الثلاثة، مثل مستويات ألعاب الفيديو:

المستوى 1 (صفحة واحدة، مكان واحد): "ابحث عن الإجابة في هذا الرسم البياني الواحد." (سهل)
المستوى 2 (صفحة واحدة، أماكن متعددة): "اجمع الإجابة من هذا الرسم البياني وذاك من هذه الفقرة في نفس الصفحة." (متوسط)
المستوى 3 (صفحات متعددة، أماكن متعددة): "ابحث عن رقم في المقدمة، ورسم بياني في المنتصف، وخاتمة في النهاية، ثم اجمعهم معاً." (صعب)

ماذا وجدوا؟
عندما اختبروا أذكى نماذج الذكاء الاصطناعي المتاحة اليوم باستخدام اختبار "المحدد" الجديد هذا، كانت النتائج مفاجئة:

الذكاء الاصطناعي سيء في إيجاد الدليل. حتى أفضل النماذج واجهت صعوبة في رسم المربع حول المكان الصحيح. غال ما كانوا يحصلون على الإجابة الصحيحة عن طريق التخمين، لكنهم لم يستطيعوا الإشارة إلى الدليل.
السياق مهم. عندما تم إعطاء الذكاء الاصطناعي المستند كاملاً، أصابه الارتباك. ولكن عندما أعطوه فقط الفقرة المحددة (منطقة الدليل)، ارتفعت دقة أدائه بشكل هائل. وهذا يثبت أن نقطة ضعف الذكاء الاصطناعي الأساسية ليست معرفة الإجابة، بل هي معرفة "أين ينظر".
التدريب فعال. عندما علموا نموذج الذكاء الاصطناعي باستخدام "صالة التدريب" الجديدة (مجموعة الـ 30 ألف سؤال)، أصبح النموذج أفضل بكثير في كل من إيجاد الدليل والإجابة على الأسئلة.

الصورة الكبيرة
هذه الورقة تقول في جوهرها: "لا يمكننا الاكتفاء بسؤال الذكاء الاصطناعي عن الإجابات فحسب. في العلم، نحن بحاجة لمعرفة "لماذا" و"أين" جاءت الإجابة".

إن SciEGQA هي أداة جديدة تجبر الذكاء الاصطناعي على التوقف عن التخمين والبدء في عرض خطوات عمله، تماماً مثل طالب جيد يقوم بوضع خط تحت الجمل الرئيسية في الكتاب المدرسي قبل كتابة مقال. إنها خطوة حاسمة نحو جعل الذكاء الاصطناعي جديراً بالثقة في الأبحاث العلمية الجادة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "SciEGQA: مجموعة بيانات للإجابة على الأسئلة المستندة إلى الأدلة العلمية والاستدلال".

1. بيان المشكلة

تفرض الوثائق العلمية تحديات فريدة أمام مهام الإجابة على الأسئلة المرئية للوثائق (DocVQA) بسبب هياكلها متعددة الوسائط المعقدة (النصوص، الجداول، الأشكال، والمراجع المتقاطعة) وكثافة المعلومات فيها. تعاني المعايير الحالية من ثلاث فجوات رئيسية في كيفية تمثيل الأدلة الداعمة:

على مستوى الوثيقة/الصفحة: التوصيفات فضفاضة للغاية (صفحات كاملة)، مما يفشل في تحديد مناطق الأدلة بدقة، وهو ما يحد من القدرة على التفسير.
على مستوى الرمز (Token): التوصيفات دقيقة للغاية (كلمات فردية)، مما يؤدي إلى تفتيت الوحدات ذات المعنى المتماسك وفقدان السياق الضروري للاستدلال.
على مستوى المكون: التركيز على عناصر معزولة (مثل مخطط واحد)، وتجاهل سياق الوثيقة الشامل المطلوب للاستدلال عبر الوسائط المتعددة.

بناءً على ذلك، تواجه نماذج الرؤية واللغة (VLMs) الحالية صعوبة في تحديد مناطق الأدلة الدقيقة والقيام بالاستدلال الدقيق على الوثائق العلمية في آن واحد. هناك نقص في مجموعات البيانات التي تدعم التأصيل على مستوى المنطقة الدلالية (صناديق محيطة حول وحدات دلالية متماسكة) بالتزامن مع الاستدلال عبر صفحات متعددة.

2. المنهجية

قدم المؤلفون SciEGQA، وهي مجموعة بيانات مصممة لسد الفجوة بين التوصيفات الفضفاضة والدقيقة.

أ. تصميم مجموعة البيانات

تُعرف SciEGQA العينة كـ $S = (D, Q, A, T, E)$ ، حيث تمثل $E$ مجموعة من مناطق الأدلة الموصوفة بصناديق محيطة $(x_1, y_1, x_2, y_2)$ وفئات دلالية (نص، شكل، جدول). تدعم مجموعة البيانات ثلاثة سيناريوهات استدلال متدرجة التعقيد:

SPSR (صفحة واحدة، منطقة واحدة): الإجابة مستمدة من منطقة واحدة في صفحة واحدة.
SPMR (صفحة واحدة، مناطق متعددة): تتطلب الإجابة دمج عدة مناطق في نفس الصفحة.
MPMR (صفحات متعددة، مناطق متعددة): تتطلب الإجابة تركيب المعلومات عبر صفحات ومناطق متعددة.

ب. بناء مجموعة البيانات

تتكون مجموعة البيانات من مكونين متكاملين:

المعيار الموصوف بشرياً (مجموعة التقييم):
- المصدر: 80 ورقة علمية من 8 مجالات في arXiv (cs, econ, eess, math, physics, q-bio, q-fin, stat).
- العملية: حدد 12 موصِّفاً و24 خبيراً في المجال مناطق دلالية كاملة. ضمنت استراتيجية التوصيف المتقاطع باستخدام تقاطع فوق الاتحاد (IoU) بنسبة تحقق (>0.9) اتساقاً عالياً.
- الحجم: 1,623 زوجاً من الأسئلة والأجوبة عالية الجودة.
مجموعة التدريب المنشأة آلياً:
- المصدر: حوالي 3,671 ورقة من arXiv.
- خط العمل (Pipeline):
  - التقسيم: استخدام نموذج SAM3 لتقسيم الصفحات بصرياً، لتجنب التخطيطات الصارمة القائمة على التعرف الضوئي على الحروف (OCR) بهدف التقاط وحدات دلالية متماسكة.
  - التصفية: إزالة الضجيج عبر عتبات المساحة والتصفية الدلالية باستخدام نماذج رؤية ولغة قوية.
  - التوليد: استخدام نماذج متطورة (GPT-5.2, Gemini 3) لتوليد أزواج الأسئلة والأجوبة مشروطة بالمناطق المجزأة.
  - التحقق: خطوة تحقق "Rollout" تعيد الإجابة على الأسئلة باستخدام الأدلة المولدة؛ ويتم الاحتفاظ فقط بالأزواج ذات الإجابات الصحيحة.
- الحجم: حوالي 30,780 زوجاً من الأسئلة والأجوبة.

ج. بروتوكول التقييم

يقترح المؤلفون بروتوكول "التأصيل–القص–ثم الإجابة" لفصل عملية التحديد عن عملية الاستدلال:

التأصيل (Grounding): يتنبأ النموذج بالصناديق المحيطة لمناطق الأدلة.
القص (Crop): يتم قص المناطق المتنبأ بها من الصور الأصلية.
الإجابة (Answer): يقوم نموذج رؤية ولغة قوي وثابت (Qwen3.5-27B) بالإجابة على السؤال بناءً فقط على المناطق المقصوصة.
المقاييس: IoU (التقاطع فوق الاتحاد) لدقة التحديد، ودقة الإجابة لقدرة الاستدلال.

3. المساهمات الرئيسية

مجموعة بيانات SciEGQA: أول مجموعة بيانات للوثائق العلمية توفر تأصيلاً على مستوى المنطقة الدلالية (صناديق محيطة) يحافظ على الاكتمال الدلالي مع تمكين التحديد المكاني الدقيق.
حبيبية التوصيف المبتكرة: تقدم درجة حبيبية متوسطة بين مستوى الصفحة ومستوى الرمز، مصممة خصيصاً للاستدلال متعدد الوسائط في الوثائق المعقدة.
إطار التقييم: يقترح بروتوكول "التأصيل–القص–ثم الإجابة" لفصل أداء تحديد الأدلة عن أداء الاستدلال بشكل صارم.
مورد تدريب واسع النطاق: توفر مجموعة تدريب منشأة آلياً (~30 ألف زوج) تعزز أداء النماذج بشكل كبير عند استخدامها للضبط الدقيق تحت الإشراف (SFT).

4. النتائج التجريبية

قيم المؤلفون مجموعة واسعة من نماذج الرؤية واللغة الحديثة (بما في ذلك سلاسل Qwen3/3.5، InternVL، Ernie، Kimi، Claude، وGPT-5.2) على معيار SciEGQA.

الأداء المرجعي: تعاني النماذج الحالية بشكل كبير. حقق أفضل نموذج (GPT-5.2) فقط 38.89% في متوسط IoU في تحديد الأدلة. سجلت معظم النماذج أقل من 40% في IoU، مما يشير إلى أن تحديد الأدلة الدقيقة في الوثائق العلمية لا يزال تحدياً غير محلول.
تأثير الحبيبية: تتحسن دقة الإجابة بشكل جذري كلما أصبحت مدخلات الحبيبية أكثر دقة (وثيقة < صفحة < منطقة). على سبيل المثال، قفز نموذج Qwen3.5-27B من دقة 42.95% على الوثائق الكاملة إلى 77.02% عندما تم تزويده بمنطقة الدليل المقصوصة الصحيحة. هذا يسلط الضوء على أن النماذج الحالية تفشل أساساً بسبب أخطاء التحديد، وليس فقط بسبب عجز الاستدلال.
فعالية بيانات التدريب: أدى الضبط الدقيق لنموذج Qwen3-VL-8B باستخدام مجموعة تدريب SciEGQA (إنشاء Qwen3-VL-8B-SFT) إلى:
- متوسط IoU: ارتفع من 21.43% إلى 38.66%.
- دقة الأسئلة والأجوبة: ارتفعت من 32.04% إلى 49.97% (ضمن خط أنابيب التحديد والقص).
- يثبت هذا أن مجموعة البيانات المنشأة آلياً توفر إشرافاً فعالاً لتحسين كل من التحديد والاستدلال.

5. الأهمية

وضع المعايير: تضع SciEGQA معياراً جديداً وأكثر صرامة لتقييم فهم الوثائق العلمية، متجاوزة المطابقة البسيطة على مستوى الصفحة لتتطلب تأصيلاً دقيقاً للأدلة.
الاتجاه البحثي: تشير النتائج إلى أن نماذج الرؤية واللغة المستقبلية يجب ألا تُحسّن للاستدلال فحسب، بل يجب تحسينها خصيصاً لـ التأصيل البصري داخل الوثائق متعددة الوسائط والمعقدة.
المورد: توفر مجموعة البيانات وخط التدريب المقترح حلاً قابلاً للتوسع لتوليد بيانات عالية الجودة ومستندة إلى الأدلة، وهو أمر بالغ الأهمية لتعزيز الاستدلال متعدد الوسائط في المجالات العلمية.
القابلية للتفسير: من خلال اشتراط التوصيف بالصناديق المحيطة، تعزز مجموعة البيانات تطوير نماذج يمكنها "إظهار عملها"، مما يعزز موثوقية الذكاء الاصطناعي في التطبيقات العلمية.