Query Disambiguation via Answer-Free Context: Doubling Performance on Humanity's Last Exam

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "إزالة الغموض عن الاستعلام عبر سياق خالٍ من الإجابة: مضاعفة الأداء في 'امتحان البشرية الأخير' (Humanity's Last Exam)."

1. بيان المشكلة

تعالج الورقة فجوة حرجة في أداء النماذج اللغوية الكبيرة (LM): عدم التطابق بين النموذج الذهني الضمني للمستخدم (الخلفية المعرفية، السياق، والقصد) وبين النص الصريح المقدم في الاستعلام.

• المشكلة: غالبًا ما يصيغ المستخدمون استعلامات بافتراض أن النموذج اللغوي يشاركهم خلفيتهم المعرفية. وعندما يغيب هذا السياق، يصبح الاستعلام غامضًا أو غير محدد بدقة. عندها يعتمد النموذج اللغوي على أنماط بيانات التدريب، مما قد يؤدي إلى إجابات صحيحة واقعيًا ولكن بناءً على تفسير خاطئ، وهو ما يراه المستخدم كإجابة غير صحيحة.
• قصور الـ RAG الحالي: غالبًا ما تفشل أنظمة التوليد المعزز بالاسترجاع (RAG) القياسية في تحسين الأداء إذا كان السياق المسترجع لا يحتوي على الإجابة المباشرة. علاوة على ذلك، فإن مجرد إلحاق "السياق الخالي من الإجابة" (AFC) بالاستعلام غالبًا ما يفشل في حل الغموض بفعالية، حيث قد لا يعرف النموذج كيفية دمج المعلومات الخلفية لتنقيح السؤال.
• الفرضية الجوهرية: تفترض الورقة أن استخدام السياق الخالي من الإجابة (AFC) لـ إعادة صياغة وإزالة الغموض عن الاستعلام قبل مرحلة الإجابة، يحقق دقة أعلى بكثير من مجرد تقديم السياق بجانب الاستعلام الأصلي.

2. المنهجية

يقترح المؤلفون مسار عمل يتكون من مرحلتين: إعادة الصياغة تليها الإجابة.

أ. البيانات والنماذج

• مجموعات البيانات: تستخدم الدراسة مجموعة متنوعة من الاختبارات المرجعية، بما في ذلك Humanity's Last Exam (HLE) (تحديدًا مجموعة فرعية تم التحقق منها من قبل FutureHouse في مجالات الكيمياء والأحياء)، وSQuADv2، وHotpotQA، ومختلف الاختبارات التوليدية. ومن المهم أن HLE وبعض الاختبارات التوليدية مؤرخة بتاريخ لاحق لتواريخ انقطاع معرفة النماذج لمنع تلوث البيانات.
• النماذج:
  • نماذج إعادة الصياغة: gpt-oss-20b، وgpt-oss-120b، وQwen3-235B.
  • نماذج التقييم: مجموعة واسعة من النماذح (gpt-5، وgpt-oss، وLlama، وGemma، وQwen، وPhi) بأحجام وفترات انقطاع معرفي متفاوتة.

ب. مسار العمل (Pipeline)

1. بناء السياق الخالي من الإجابة (AFC):
   • يتم معالجة السياق الأصلي الذي يحتوي على الإجابة بواسطة نموذج لغوي لإزالة الإجابة المحددة وأي معلومات "كاشفة" (giveaway)، مما يترك فقط المعرفة الخلفية ذات الصلة.
   • يضمن هذا أن تعتمد مرحلة إعادة الصياغة على إزالة الغموض، وليس استخراج الإجابة.
2. إعادة صياغة الاستعلام:
   • يتم توجيه نموذج لغوي بـ السؤال الأصلي، والإجابة الصحيحة (للتحقق فقط)، والـ AFC.
   • يقوم النموذج اللغوي بإعادة صياغة السؤال ليكون مكتفيًا بذاته، وغير غامض، ومرتكزًا في الـ AFC، مع ذكر الافتراضات صراحة دون الكشف عن الإجابة.
   • التحقق: يقوم نموذج لغوي (LM-judge) بتصفية الأسئلة المعاد صياغتها لضمان التكافؤ الدلالي مع السؤال الأصلي والتأكد من أن الإجابة لم تُكشف في نص السؤال الجديد.
3. التقييم:
   • يتم اختبار نماذج التقييم في ثلاث تكوينات:
     1. السؤال الأصلي (Orig_Q): الخط المرجعي (Baseline).
     2. السؤال الأصلي + AFC (Orig_Q+AFC): الخط المرجعي القياسي لـ RAG (إلحاق السياق بالسؤال).
     3. السؤال المعاد صياغته (Rewrite_Q): الاستعلام الذي تمت إزالة الغموض عنه بدون الـ AFC (استُخدم الـ AFC فقط لتوليد السؤال).

ج. آليات التحليل

• تحليل التضمين (Embedding Analysis): يستخدم المؤلفون نموذج تضمين (e5-mistral-7b-instruct) لقياس تشابه جيب التمام (cosine similarity) بين السؤال والسياق. ويفترضون أن إعادة الصياغة تقلل المسافة الدلالية بين الاستعلام والمساحة الكامنة ذات الصلة للسياق.
• اختبار فصل المهام: يختبر المؤلفون ما إذا كان يمكن إجراء إعادة الصياغة "في الموقع" (عبر سلسلة من الأفكو - CoT داخل نفس المطالبة) مقابل مرحلة معالجة مسبقة منفصلة.

3. المساهمات الرئيسية

1. إزالة الغموض عبر السياق الخالي من الإجابة (AFC): تقديم طريقة يُستخدم فيها السياق الخلفي بدون الإجابة لإعادة صياغة الاستعلامات، مما يعزز الدقة بشكل كبير.
2. فصل الاهتمامات: إثبات أن نموذج إعادة الصياغة ثم الإجابة المنفصل هو الأفضل من النهج أحادي المرحلة. فالعبء المعرفي لإعادة الصياغة والإجابة في آن واحد يلغي فوائد إزالة الغنبوض.
3. RAG لما وراء استرجاع الإجابة: إثبات أن أنظمة RAG تقدم قيمة حتى عندما تفشل في استرجاع الإجابة المباشرة؛ فالمعلومات الخلفية المسترجعة كافية لتحسين صياغة الاستعلام.
4. الارتباط بالتوافق الدلالي: إثبات وجود ارتباط إيجابي قوي بين تقليل مسافة جيب التمام (بين الاستعلام والسياق) وزيادة الدقة في الاختبارات المرجعية.

4. النتائج الرئيسية

• زيادات كبيرة في الدقة:
  • في المجموعة الفرعية لـ Humanity's Last Exam (HLE)، أدت إعادة الصياغة باستخدام AFC إلى تحسين دقة gpt-5-mini من 0.14 إلى 0.37 (تحسن بأكثر من 2.5 ضعف).
  • عبر جميع النماذج ومجموعات البيانات، بلغ متوسط التحسن في الدقة لـ Rewrite_Q مقارنة بـ Orig_Q نسبة 13.03%.
• التفوق على RAG القياسي:
  • تفوق نهج Rewrite_Q (السؤال المعاد صياغته، بدون السياق في المطالبة) على Orig_Q+AFC (السؤال الأصلي مع إلحاق السياق) بمتوسط 13.46%. وهذا يثبت أن عملية إعادة الصياغة هي المحرك للأداء، وليس مجرد وجود السياق.
• ضرورة فصل المهام:
  • عندما تمت محاولة إعادة الصياغة "في الموقع" (ضمن نفس المطالبة لتوليد الإجابة)، اختفت مكاسب الدقة. وهذا يؤكد أن مرحلة إعادة الصياغة تتطلب موارد معرفية متميزة أو ديناميكيات نافذة السياق التي تُفقد عند دمجها مع مرحلة الإجابة.
• التوافق مع التضمين:
  • أظهرت 91% من نقاط البيانات أن الأسئلة المعاد صياغتها كانت ذات تشابه جيب تمام أعلى مع السياق ودقة أعلى من الأسئلة الأصلية، مما يؤكد فرضية "الاقتراب من الإطار الذهني الصحيح".
• تفاوت البيانات:
  • الأسئلة الاستخراجية/الواقعية: توفر إعادة الصياحة وحدها مكاسب هائلة.
  • الأسئلة كثيفة الاستدلال (مثل HLE، والاختبارات التوليدية): تساعد إعادة الصياغة وحدها، ولكن أفضل أداء يتحقق عندما يُعطى النموذج كلاً من السؤال المعاد صياغته والسياق الخام (Rewrite_Q + AFC). هذا يشير إلى أن الاستراتيجية الهجينة هي الأمثل.

5. الأهمية والآثار المترتبة

• تحول في نموذج RAG: تجادل الورقة بأن بناء السياق الديناميكي لا ينبغي النظر إليه كمجرد "جامع للأدلة" للإجابات المباشرة. بدلاً من ذلك، يجب معاملة السياق المسترجع كـ شريك تعاوني في صياغة الاستعلام.
• استراتيجية التحسين: بالنسبة للأنظمة التي يكون فيها استرجاع RAG غير مثالي (أي أنه يجد الخلفية ذات الصلة ولكن لا يجد الإجابة)، فإن الاستراتيجية المثلى هي استخدام هذه الخلفية لتنقيح قصد المستخدم قبل تمريره إلى الـ LLM.
• إدارة العبء المعرفي: تشير النتائج إلى أن النماذج اللغوية الكبيرة لديها سعة محدودة للانتباه للسياق. إن تقسيم المهمة المعقدة المتمثلة في "فهم السياق وتنقيح السؤال" عن "توليد الإجابة" يسمح للنموذج بأداء كلا المهمتين بشكل أكثر فعالية.
• الاتجاهات المستقبلية: يقترح المؤلفون استكشاف عمليات متعددة الخطوات (بحث -> إعادة صياغة -> بحث مرة أخرى) واستراتيجيات إعادة صياغة "الأفضل من N" (Best-of-N) لزيادة مواءمة قصد المستخدم مع مجموعة الوثائق.

باختصار، يوضح هذا العمل أن إزالة الغموض عن الاستعلام عبر السياق الخالي من الإجابة هي وسيلة قوية وغير مستكشفة بشكل كافٍ لتحسين أداء الـ LLM، حيث تضاعف النتائج في الاختبارات الصعبة عن طريق فصل مهام تنقية الاستعلام عن توليد الإجابة.