Inferential Question Answering

ملخص تقني: الإجابة على الأسئلة الاستنتاجية

تعريف المشكلة
تعمل أنظمة الإجابة على الأسئلة (QA) الحالية بشكل مهيمن تحت نموذج "احتواء الإجابة"، حيث تكون الإجابة الصحيحة مذكورة صراحةً داخل المستندات المسترجعة. وبينما توجد أبحاث مكثفة حول مهام الإجابة على الأسئلة الاستخراجية والتوليدية (مثل: الأسئية ذات المعلومة الواحدة، والأسئلة متعددة الخطوات، والأسئلة المنطقية "Boolean")، لا تزال هناك فجوة كبيرة في التعامل مع الأسئلة التي تتطلب الاستدلال الاستنتاجي. في هذه السيناريوهات، لا تكون الإجابة موجودة حرفياً في المتن؛ بدلاً من ذلك، يجب على النموذج استنباط الإجابة من أدلة نصية غير مباشرة، ومعرفة خلفية، واستدلال منطقي مدعوم بالمستندات. وتواجه خطوط المعالجة الحالية (Pipelines)، بما في ذلك التوليد المعزز بالاسترجاع (RAG)، صعوبة في هذا السياق لأنها مُحسّنة لتحديد نطاقات إجابة صريحة بدلاً من تركيب المعلومات من فقرات "داعمة للإجابة" تقدم فقط تلميحات.

المنهجية: مجموعة بيانات Quit
لمعالجة هذه الفجوة، قدم المؤلفون مفهوم الإجابة على الأسئلة الاستنتاجية (Inferential QA) وأنشأوا معياراً ضخماً يسمى Quit (الأسئلة التي تتطلب الاستنتاج من النصوص). يتضمن خط بناء مجموعة البيانات ما يلي:

1. مصادر البيانات: استخدم المؤلفون موردين موجودين مسبقاً، وهما TriviaHG (تلميحات مولدة تلقائياً) و WikiHint (تلميحات مكتوبة بشرياً)، واللذان يحتويان على أزواج من (السؤال-التلميح) حيث تصف التلميحات مفهوماً دون تسميته صراحةً.
2. تصفية الأسئلة: لضمان أن المهمة تتطلب سياقاً خارجياً، تم تصفية الأسئلة لإزالة تلك التي "تسرب" فيها التلميح الإجابة (أي التكافؤ الدلالي مع الإجابة) أو تلك التي يمكن للنماذج اللغوية الكبيرة (LLMs) الإجابة عليها اعتماداً فقط على معرفتها البارامترية.
3. توليد الفقرات: لكل سؤال صالح، يتم دمج مجموعات فرعية وتبديلات من أفضل 5 تلميحات عالية التقارب لتشكيل فقرات متنوعة. ينتج عن ذلك 325 فقرة فريدة لكل سؤال.
4. استراتيجية التصنيف (Labeling): يتم تصنيف الفقرات بناءً على القابلية للإجابة بدلاً من التداخل اللفظي:
   • التصنيف 2 (ذات صلة كاملة): يمكن لنموذج لغوي كبير (LLM) توليد الإجابة بشكل صحيح باستخدام الفقرة.
   • التصنيف 1 (ذات صلة جزئية): تشير الفقرة إلى كيان الإجابة ولكنها تفتقر إلى المعلومات الكافية لتحديده بشكل فريد (على سبيل المثال: تشير إلى عدة مرشحين).
   • التصنيف 0 (غير ذات صلة): الفقرة لا تدعم الإجابة.
     تم توليد التصنيفات عبر نماذج لغوية كبيرة (Gemma 3, Qwen, LLaMA) وتم التحقق منها بشرياً لضمان الجودة ومعالجة احتمالات الهلوسة.
5. إحصائيات مجموعة البيانات: تتكون مجموعة بيانات Quit النهائية من 7,401 سؤالاً و 2.4 مليون فقرة موزعة عبر تقسيمات التدريب، والتطوير، والاختبار. ومن الجدير بالذكر أن مجموعة البيانات تظهر تداخلاً لفظياً يقترب من الصفر بين الاستعلامات والفقرات (0.02) وصفر احتواء للإجابة (0.00).

الإعداد التجريبي
قام المؤلفون بتقييم خط معالجة قياسي (مسترجع $\rightarrow$ إعادة ترتيب $\rightarrow$ قارئ) على معيار Quit:

• المسترجعات (Retrievers): BM25, DPR, ColBERT, Contriever, BGE.
• أدوات إعادة الترتيب (Rerankers): LiT5, MonoT5, RankGPT, RankT5, UPR.
• القارئات (Readers): LLaMA 3.2 (1B), Gemma 3 (4B), Qwen 3 (8B, الموجه نحو الاستدلال).
• بناء السياق: لأفضل $k$ من الفقرات، اقترح المؤلفون طريقتين لبناء السياق للتعامل مع التكرار: Union$_{norm}$ (الاتحاد القياسي) و Union$_{freq}$ (تقييم الجمل بناءً على ترتيب الفقرة وموقع الجملة).

النتائج الرئيسية
كشف التقييم أن الطرق الفعالة في مجموعات بيانات الإجابة التقليدية تفشل في التعميم على الإجابة الاستنتاجية:

1. أداء الاسترجاع: تؤدي المسترجعات أداءً أسوأ بكثير في Quit مقارنة بـ MS MARCO و Wikipedia. على سبيل المثال، حقق أفضل مسترجع (BGE) نسبة Hit@100 بلغت 30.23% فقط في Quit، مقارنة بـ 68.63% و 92.94% في MS MARCO و Wikipedia على التوالي. كما أن ضبط المسترجعات (Fine-tuning) يعطي تحسينات غير متسقة أو هامشية.
2. أداء إعادة الترتيب: توفر أدوات إعادة الترتيب مكاسب محدودة. حتى في حالة "الاسترجاع المثالي" (بافتراض استرجاع مثالي)، تفشل أدوات إعادة الترتيب في ترتيب الفقرات بفعالية، حيث تبلغ درجات المطابقة التامة (EM) حوالي نصف الحد النظري الأقصى. كما أن ضبط أدوات إعادة الترتيب (مثل MonoT5) لا يحسن الأداء بشكل كبير، بل وقد يؤدي أحياناً إلى تدهوره مقارنة بالنماذج الأصلية.
3. أداء القارئ:
   • حجم النموذج مقابل الاستدلال: على عكس التوقعات، تفوقت النماذج اللغوية الكبيرة العامة (مثل Gemma 3 4B) على النماذج اللغوية الكبيرة الموجهة نحو الاستدلال (مثل Qwen 3 8B) في هذه المهمة، رغم امتلاكها عدد معاملات أقل.
   • الحد الأقصى: في حالة الاسترجاع المثالي (استرجاع وإعادة ترتيب مثاليين)، تصل درجات المطابقة التامة (EM) إلى 90.16%، مما يشير إلى أن مجموعة البيانات عالية الجودة وقابلة للحل بواسطة النماذج اللغوية الكبيرة إذا تم توفير الأدلة الصحيحة.
   • الواقع الحالي: باستخدام خطوط المعالجة القياسية، تظل درجات EM منخفضة (مثلاً: ~13% لـ Gemma 3 4B مع BGE)، مما يسلط الضوء على أن العائق يكمن في الاسترجاع والاستدلال فوق الأدلة غير المباشرة، وليس فقط في عملية التوليد.

الأهمية والادعاءات
يزعم البحث أن الإجابة على الأسئلة الاستنتاجية تؤسس لفئة جديدة من مهام الإجابة على الأسئلة التي تتجاوز الاستخراج نحو الفهم الحقيقي والاستدلال من الأدلة النصية غير المباشرة. ويؤكد المؤلفون أن:

• خطوط معالجة الإجابة على الأسئلة الحالية ليست جاهزة بعد للاستدلال القائم على الاستنتاج.
• الافتراض بأن "الفقرات ذات الصلة تحتوي على الإجابة" غير كافٍ للمهام التي تتطلب الاستنتاج.
• النماذج الحالية للاسترجاع وإعادة الترتيب غير كافية للفقرات "الداعمة للإجابة".
• يتطلب المجال مناهج ونماذج جديدة مصممة خصيصاً لاستنتاج الإجابات من التلميحات الموزعة والدقيقة بدلاً من الاعتماد على ضبط النماذج الحالية.

يضع هذا العمل "الإجابة على الأسئلة الاستنتاجية" كخطوة حاسمة نحو تطوير أنظمة استدلال معززة بالاسترجاع تحاكي بشكل أوثق الفهم الاستنتاجي البشري.