Context Convergence Improves Answering Inferential Questions

ملخص تقني: تقارب السياق يحسن الإجابة على الأسئلة الاستنتاجية

بيان المشكلة
بينما يتم نشر النماذج اللغوية الكبيرة (LLMs) على نطاق واسع في مجال الإجابة على الأسئلة (QA) مفتوحة النطاق، لا تزال قدرتها على التعامل مع الأسئلة الاستنتاجية — حيث يجب استخلاص الإجابات من خلال دمج القرائن النصية، والمعرفة الخلفية، والاستدلال بدلاً من استرجاعها بشكل صريح — غير مستكشفة بشكل كافٍ. تعتمد طرق الاسترجاع الحالية غالباً على تشابه جيب التمام (cosine similarity) لاختيار فقرات السياق، وهو مقياس قد لا يلتقط بفعالية القيود المنطقية اللازمة لتضييق نطاق الإجابات المرشحة في المهام الاستنتاجية. يبحث المؤلفون في كيفية تأثير بنية وجودة فقرات السياق، وتحديداً تقارب (convergence) الجمل (التلميحات)، على أداء النماذج اللغوية الكبيرة في مثل هذه الأسئلة.

المنهجية
تستخدم الدراسة مجموعة بيانات TriviaHG، التي تحتوي على أسئلة وتلميحات (جمل) مرتبطة بها. يقترح المؤلفون نهجاً جديداً لبناء الفقرات بناءً على مقياس التقارب:

1. مقياس التقارب: مستمد من أعمال سابقة، يقيس التقارب مدى فعالية التلميح في استبعاد الإجابات المرشحة غير الصحيحة. تتضمن عملية الحساب ما يلي:
   • توليد مجموعة من الإجابات المرشحة المعقولة لسؤال ما.
   • تقييم ما إذا كان كل مرشح متوافقاً مع تلميح معين.
   • حساب درجة بناءً على نسبة المرشحين غير الصحيحين الذين تم استبعادهم. تشير الدرجة 1 إلى أن التلميح يعزل الإجابة الصحيحة بشكل فريد، بينما تشير الدرجة 0 إلى عدم وجود أي تأثير في التضييق.
2. بناء الفقرات: يقوم المؤلفون بإنشاء فقرات عن طريق دمج مجموعات فرعية مكونة من 3 إلى 5 جمل من مجموعة البيانات. تُصنف هذه المجموعات الفرعية إلى مجموعات عالية الدرجة (متوسط تقارب مرتفع) ومنخفضة الدرجة (متوسط تقارب منخفض). تم اختيار مجموعة ضابطة بناءً على تشابه جيب التمام بين السؤال والجمل.
3. الإعداد التجريبي:
   • النماذج: تم تقييم ستة نماذج لغوية كبيرة ذات أحجام وبنى متفاوتة (LLaMA 3.2 1B, Gemma 3 1B, Qwen 3 4B, Gemma 3 4B, Qwen 3 8B, LLaMA 3.1 8B).
   • التلقين (Prompting): استُخدم استراتيجية التلقين بتقديم أمثلة قليلة (few-shot prompting) (الشكل 2) لتوجيه النماذج لتقديم إجابات دقيقة بناءً على السياق المقدم، مع تجنب الشروحات أو ردود مثل "لا أعرف".
   • تحليل الترتيب: بحثت الدراسة أيضاً في تأثير ترتيب الجمل من خلال ترتيب الفقرات في أوضاع تنازلية (من التقارب العالي إلى المنخفض) وتصاعدية (من التقارب المنخفض إلى العالي).
   • المقاييس: تم قياس الأداء باستخدام مطابقة الدقة (ExactMatch)، والدقة (Precision)، والاستدعاء (Recall)، ودرجة F1.

النتائج الرئيسية

• التقارب مقابل تشابه جيب التمام: حققت الفقرات التي تم بناؤها من جمل ذات درجات تقارب أعلى دقة إجابة أفضل بشكل ملحوظ عبر جميع النماذج الستة مقارنة بالفقرات المختارة بواسطة تشابه جيب التمام. وتحديداً، تفوقت مجموعة التقارب عالية الدرجة باستمرار على المجموعة منخفضة الدرجة والمجموعات القائمة على تشابه جيب التمام في مقاييس مطابقة الدقة وF1. يشير هذا إلى أن التقارب يلتقط شكلاً من أشكال الصلة المرتبطة تحديداً بالاستدلال الاستنتاجي الذي يفتقده تشابه جيب التمام.
• ترتيب الجمل: أدى ترتيب الجمل حسب التقارب التنازلي (وضع التلميحات الأكثر تقييداً أولاً) إلى مكاسب طفيفة ولكن ثابتة في الأداء مقارنة بالترتيب التصاعدي. يشير هذا إلى أن النماذج اللغوية الكبيرة تظهر انحيازاً موضعياً، حيث تضع وزناً أكبر على الإشارات المبكرة الغنية بالمعلومات أثناء عملية الاستدلال.
• متانة النموذج: لوحظ التأثير الإيجابي للفقرات عالية التقارب عبر نماذج ذات أحجام بارامترات مختلفة (من 1B إلى 8B) وبنى مختلفة، مما يشير إلى أن هذه النتائج قابلة للتعميم.

المساهمات
يقدم البحث مساهمتين رئيسيتين:

1. التقارب كإشارة اختيار: يقدم ويتحقق بشكل منهجي من التقارب كإشارة جديدة وفعالة لاختيار الجمل لبناء الفقرات في مهام الإجابة على الأسئلة الاستنتاجية. يوضح المؤلفون أن اختيار الجمل بناءً على قدرتها على استبعاد المرشحين غير الصحيحين يؤدي إلى دقة أعلى بكثير من طرق التشابه الدلالي التقليدية.
2. تحليل ترتيب الجمل: يحلل دور ترتيب الجمل في بناء الفقرات، موضحاً أن ترتيب التلميحات في ترتيب تنازلي للتقارب يحقق تحسينات طفيفة في الأداء. يسلط هذا الضوء على الانحياز الموضعي في النماذج اللغوية الكبيرة، حيث يتم إعطاء الأولوية للإشارات عالية التقارب في البداية أثناء الاستدلال.

الأهمية والادعاءات
يزعم المؤلفون أن التقارب يعمل كإشارة عملية وقوية لتوجيه بناء الفقرات، خاصة للمهام التي تتطلب استدلالاً يتجاوز مجرد الاستخراج البسيط. تشير النتائج إلى أن "جودة" جملة السياق في الأسئلة الاستنتاجية تُعرف بشكل أفضل بقدرتها على تقييد مساحة الإجابة (استبعاد الإجابات الخاطئة) بدلاً من تشابهها الدلالي مع الاستعلام.

خلصت الورقة إلى أن بناء الفقرات من جمل عالية التقارب وترتيبها حسب التقارب التنازلي هو الاستراتيجية المثلى المحددة لدعم الاستدلال الاستنتاجي في النماذج اللغوية الكبيرة. ويؤكد المؤلفون أن هذه النتائج تساعد في تحليل كيفية معالجة النماذج اللغوية الكبيرة للمعلومات السياقية المهيكلة وتوفر أساساً لتحسين أنظمة التوليد المعزز بالاسترجاع (RAG) والاستدلال المعزز بالاسترجاع (RAR). كما تمت الإشارة إلى أن العمل المستقبلي سيتضمن استبدال تشابه جيب التمام بنماذج استرجاع أقوى مثل DPR وColBERT لمزيد من دراسة استراتيجيات الاسترجاع.