Verification Without Sufficiency: Per-Chunk Filtering Fails on Multi-Hop RAG, and Decomposition Repairs It

المحقق والدليل المفقود

تخيل أنك محقق تحاول حل لغز ما، ولكن بدلاً من دفتر ملاحظات، لديك مساعد آلي فائق الذكاء. هذا الروبوت بارع في كتابة القصص والإجابة على الأسئلة، ولكنه قد يختلق بعض الأمور أحياناً. لمنعه من الكذب، تعطيه مجموعة من قصاصات الصحف (النصوص المسترجعة) وتطلب منه البحث عن الحقائق المحددة المختبئة داخلها قبل أن يكتب إجابته. يُسمى هذا الإعداد "التوليد المعزز بالاسترجاع"، أو RAG. الفكرة بسيطة: يقرأ الروبوت الأدلة، ويتحقق مما إذا كانت منطقية، ثم يخبرك بالحقيقة.

لكن ماذا يحدث عندما يكون اللغز "متعدد الخطوات" (multi-hop)؟ في السؤال العادي، تكون الإجابة موجودة مباشرة في فقرة واحدة. أما في لغز متعدد الخطوات، فتكون الإجابة مخبأة في سلسلة من الأدلة. أنت بحاجة لقراءة فقرة واحدة لتجد اسماً، ثم تستخدم هذا الاسم لتجد فقرة ثانية تحتوي على الإجابة الحقيقية. مهمة الروبوت هي التحقق: "هل تساعد هذه الفقرة في حل اللغز؟" السؤال الكبير الذي يطرحه الباحثون هو: هل يمكننا ببساال فحص كل فقرة على حدة لمعرفة ما إذا كانت مفيدة، أم أن اللغز ينكسر إذا نظرنا إلى الأجزاء بشكل منفصل؟

---

فخ النظر إلى قطعة واحدة في كل مرة

في هذه الورقة البحثية، يبحث باحث يدعى راند هير كومار في استراتيجية شائعة تُستخدم لإصلاح هؤلاء المساعدين الآليين. تسمى هذه الاستراتيجية "التصفية لكل قطعة" (per-chunk filtering). تخيل أن لديك كومة من 10 قصاصات صحف. النصيحة القياسية هي النظر إلى كل واحدة منها على حدة، وإعطائها درجة، ثم التخلص من تلك التي لا يبدو أنها تحتوي على الإجابة. يبدو الأمر منطقياً، مثل حارس أمن (بونسر) يتحقق من الهويات عند باب ملهى ليلي؛ إذا لم تطابق الهوية قائمة الضيوف، فلا يسمح لك بالدخول.

تظهر الورقة أنه بالنسبة للألغاز متعددة الخطوات، فإن استراتيجية "حارس الأمن" هذه هي في الواقع كارثة. الأمر ليس فقط أن الحارس سيء في عمله، بل إن وصف الوظيفة نفسه مستحيل.

إليك المفاجأة: في لغز متعدد الخطوات، الفقرة التي تحمل الإجابة النهائية عادة ما تكون هي الفقرة التي لا يذكرها السؤال. على سبيل المثال، إذا كان السؤال هو "من هي زوجة الممثل الذي لعب دور الشرير في الفيلم X؟"، فإن السؤال يذكر اسم الفيلم والممثل. الفقرة المتعلقة بالفيلم سهلة العثور عليها. لكن الفقرة المتعلقة بزوجة الممثل؟ السؤال لا يذكر اسمها أبداً. إذا سألت الروبوت: "هل تساعد هذه الفقرة عن الزوجة في الإجابة على السؤال؟"، سينظر الروبوت إلى السؤال، ولن يرى أي ذكر للزوجة، وسيقول: "لا، هذا غير ذي صلة". وبذلك يرمي أهم دليل في القمامة.

اختبر الباحثون ذلك على ثلاث مجموعات بيانات للألغاز (HotpotQA، و2WikiMultihopQA، وMuSiQue) ووجدوا أن طريقة التحقق "واحدة تلو الأخرى" هذه فشلت فشلاً ذريعاً. عندما حاولوا تقييم الفقرات بشكل فردي، لم يستطع النظام التمييز بين دليل مفيد وآخر مزيف. تراوح معدل النجاح (المقاس بـ AUC) حول 0.54 إلى 0.64، وهو ما يكاد يكون أفضل قليلاً من رمي العملة المعدنية. في الواقع، في الألغاز الأكثر صعوبة، كان النظام مرتبكاً للغاية لدرجة أنه غالباً ما كان يحتفظ بالفقرات الخاطئة ويرمي الصحيحة منها.

لماذا يفشل "حارس الأمن"

تستبعد الورقة البحثية عدة أعذار لسبب حدوث ذلك. ليس السبب أن الروبوت غبي جداً (لقد اختبروا روبوتات أكبر وأصغر، والمشكلة تزددت سوءاً مع الروبوتات الأكثر ذكاءً). وليس لأن الفقرات كانت قصيرة جداً أو طويلة جداً. وليس لأن "الحارس" كان صارماً جداً أو متساهلاً جداً في قواعده.

المتهم الحقيقي هو الكفاية (sufficiency). يفترض "الحارس" أن فقرة واحدة يجب أن تكون كافية لإثبات الإجابة. لكن في لغز متعدد الخطوات، لا تكفي فقرة واحدة. أنت بحاجة إلى الجمع بين الدليل الأول والدليل الثاني لكي يستقيم المعنى.

لإثبات ذلك، أجرى الباحثون تجربة ذكية؛ حيث أخذوا الفقرتين الصحيحتين ودمجوهما معاً في نص واحد طويل. وعندما طلبوا من الروبوت التحقق من هذا النص المدمج، قفز معدل النجاح من 0.66 (الذي يشبه رمي العملة) إلى 0.88 صلبة. أظهر هذا أن المعلومات كانت موجودة؛ لكن الروبوت لم يستطع رؤيتها عندما كانت الأدلة منفصلة.

وجدوا أيضاً أن المشكلة تزدادة سوءاً كلما زادت خطوات اللغز. إذا كان اللغง يحتاج خطوتين للحل، فإن الروبوت يكون "بخير نوعاً ما". أما إذا كان يحتاج أربع خطوات، فإن الروبوت يضيع تماماً. الأمر يشبه محاولة العثور على إبرة في كومة قش عبر النظر إلى كل عشب بمفرده؛ لن تجد الإبرة أبداً حتى تنظر إلى الكومة بأكملها.

الحل: تفكيك المشكلة

إذا كان فحص كل فقرة على حدة يفشل، فما الذي ينجح؟ تقترح الورقة إصلاحاً يغير كيفية طرح السؤال.

بدلاً من سؤال الروبوت: "هل تجيب هذه الفقرة على السؤال الأصلي؟"، يقترح الباحثون سؤال: "هل تجيب هذه الفقرة على الخطوة التالية من اللغز؟".

تخيل أن اللغز هو رحلة بحث عن كنز:

• الطريقة القديمة: تعرض للروبوت خريطة للجزيرة وتسأله: "هل تظهر هذه الخريطة الكنز؟". يقول الروبوت: "لا، الكنز ليس على هذه الخريطة"، ويرمي الخريطة. لكن الخريطة في الواقع تظهر موقع المفتاح اللازم لفتح صندوق الكنز.
• الطريقة الجديدة: تحدد أولاً الخطوة الأولى: "أين المفتاح؟". فتجد الخريطة التي تحتوي على المفتاح. ثم تسأل الروبوت: "هل تظهر هذه الخريطة التالية الكنز بفرض أننا نملك المفتاح؟". فجأة، يفهم الروبوت. يرى الرابط.

اختبر الباحثون ذلك باستخدام "مفكك" (decomposer) — وهي أداة تقسم السؤال الكبير إلى أسئلة فرعية أصغر. عندما استخدموا هذه الأسئلة الصغيرة للتحقق من الفقرات، ارتفع معدل النجاح بشكل هائل. في أصعب الألغاز، قفزت الدرجة من 0.546 (التخمين العشوائي) إلى 0.840. هذا تحسن هائل، مما يثبت أنه إذا أعطيت الروبوت السياق الصحيح للخطوة المحددة التي يبحث عنها، فإنه يستطيع إيجاد الإجابة.

تكلفة الخطأ

نظرت الورقة أيضاً فيما يحدث عند استخدام هذه الأساليب لتوليد الإجابات فعلياً. وجدوا أن استخدام طريقة "الحارس" (واحدة تلو الأخرى) كان أسوأ خيار ممكن. لقد كان سيئاً لدرجة أنه جعل إجابات الروبوت أسوأ مما لو تركت الروبوت يقرأ كل شيء دون تصفية على الإطلاق.

في الواقع، كلما كان الروبوت أكثر ذكاءً، عانى أكثر من هذه التصفية السيئة. فقد روبوت متوسط الذكاء 4.6 نقطة من الدقة، بينما فقد روبوت ذكي جداً 19.4 نقطة. إنه يشبه إعطاء طباخ ماهر وصفة حيث قمت برمي المكون الرئيسي لأن المكون لا يتطابق مع عنوان الطبخة. الطباخ بارع جداً في الطبخ لدرجة أنه يستطيع إخبارك بالضبط بما هو مفقود، لكنه لا يستطيع صنع الطبخة بدون ذلك المكون.

الخلاصة

الدرس الرئيسي هنا هو أنه لا يمكنك الحكم على لغز متعدد الخطوات بالنظر إلى الخطوات بشكل منعزل. إن نهج "الحارس" الذي يفحص كل فقرة مقابل السؤال الأصلي يفشل لأن الإجابة مخبأة في الرابط بين الفقرات، وليس في الفقرات نفسها.

لا تدعي الورقة أنها حلت المشكلة بأكملها بشكل مثالي. فحتى مع الطريقة الجديدة "المفككة"، لا يزال هناك مجال للتحسين، ويعترف الباحثون بأن أداتهم ليست مثالية بعد. لكنهم أثبتوا أن طريقة التصفية القديمة مكسورة، وأن الطريق إلى الأمام يكمن في تفكيك السؤال الكبير إلى قطع أصغر يمكن التعامل معها قبل فحص الأدلة. إنه تذكير بأنه في بعض الأحيان، لكي تجد الإجابة، عليك أن تتوقف عن النظر إلى الصورة الكاملة وتبدأ بالنظر إلى الخطوة التالية.