D2F-ReAG: Dynamic Decomposition and Filtering for Multi-Hop Reasoning-Augmented Generation
تقترح الورقة البحثية إطار عمل D2F-ReAG، وهو إطار عمل جديد للتوليد المعزز بالاسترجاع يعمل على تحسين دقة وكفاءة الاستدلال متعدد الخطوات من خلال اتخاذ قرار تكيفي بشأن ما إذا كان سيجيب مباشرة أو يقوم بتفكيك وتصفية الأسئلة الفرعية ديناميكيًا بناءً على موثوقية الاستدلال الأولي.
تخيل أنك تحاول حل لغز، ولكن بدلاً من وجود جميع الأدلة في دفتر ملاحظات واحد، كانت مبعثرة عبر ألف كتاب مختلف في مكتبة ضخمة. هذا هو التحدي الذي يواجه "نماذج اللغات الكبيرة" (LLMs) الحديثة، وهي الأدمغة الحاسوبية فائقة الذكاء التي تكتب القصص، وتجيب على الأسئلة، وتتحدث معنا. هذه النماذج تشبه الطلاب العباقرة الذين قرأوا مكتبة هائلة من الكتب أثناء تدريبهم، لكنهم لا يستطيعون تذكر كل شيء بشكل مثالي، وأحياناً يختلقون أشياء من خيالهم (وهي مشكلة يسميها العلماء "الهلوسة"). ولإصلاح ذلك، يستخدم الباحثون حيلة تسمى التوليد المعزز بالاسترجاع (RAG). فكر في RAG كأنك تعطي الطالب محرك بحث: عندما يُطرح عليه سؤال، يقوم الكمبيوتر أولاً بالبحث عن الإجابة في مكتبته من الكتب قبل كتابتها.
بالنسبة للأسئلة البسيطة، مثل "من كتب هاري بوتر؟"، يجد محرك البحث الإجابة في خطوة واحدة سريعة. ولكن بالنسبة لـ الاستنتاج متعدد الخطوات (multi-hop reasoning)، يصبح اللغز أصعب بكثير. الأمر يشبه سؤال: "من أخرج الفيلم الذي صدر قبل الفيلم الذي قام ببطولته الممثل الذي فاز بجائزة أوسكار في عام 1995؟". للإجابة على هذا، لا يمكنك البحث عن حقيقة واحدة فقط؛ بل يجب عليك البحث عن الممثل، ثم الفيلم، ثم المخرج، وأخيراً تاريخ الإصدار، وربط النقاط ببعضها عبر صفحات مختلفة. الطرق الحالية غالباً ما تضل طريقها في هذا المتاهة، إما عن طريق تقسيم السؤال إلى قطع صغيرة جداً ومربكة، أو الفشل في تصفية الأدلة الخاطئة التي تجدها في طريقها.
هنا يأتي دور D2F-ReAG، وهو إطار عمل جديد اقترحه الباحث جياويانغ لي وفريقه. فكر في D2F-ReAG كأنه محقق ذكي وحذر يرفض التخمين حتى يتأكد. فبدلاً من تقسيم كل سؤال بعمى إلى أسئلة فرعية صغيرة (مما يهدر الوقت) أو محاولة حل السؤال بأكه في قفزة واحدة عملاقة (مما يؤدي غالباً إلى الأخطاء)، يستخدم هذا الأسلوب الجديد "فحص الثقة".
إليك كيف يعمل المحقق:
التخمين الأول: يحاول النظام أولاً الإجابة على السؤال الكبير باستخدام المعلومات التي يجدها فوراً.
فحص الثقة: ينظر نموذج "قاضٍ" خاص إلى ذلك التخمين الأول ويسأل: "هل أنت متأكد؟". إذا كانت الإجابة واثقة وموثوقة، يتوقف المحقق عند هذا الحد ويكتب الإجابة النهائية. هذا يوفر الكثير من الوقت للأسئلة السهلة.
التقسيم: إذا قال القاضي: "لا، هذا لا يبدو صحيحاً"، حينها فقط يقوم النظام بتقسيم السؤال الكبير إلى أسئلة فرعية أصغر يمكن إدارتها. يقوم بحل هذه الألغاز الصغيرة واحداً تلو الآخر.
الفلتر (المصفاة): والأهم من ذلك، لا يقوم النظام بمجرد رمي جميع الإجابات من الألغاز الصغيرة في السؤال الكبير؛ بل يتحقق مما إذا كانت كل إجابة صغيرة ذات صلة وصحيحة بالفعل. إذا كانت الإجابة الصغيرة خاطئة أو خارج الموضوع، يتم التخلص منها. وإذا كانت صحيحة، تُستخدم لإصلاح وتحسين الإجابة على السؤال الكبير.
اختبر الباحثون هذه الفكرة على ثلاث مجموعات بيانات "غامضة" (HotpotQA، و2WikiMultiHopQA، وMuSiQue) المصممة لتكون مخادعة. ووجدوا أن D2F-ReAG كان أفضل في حل هذه الألغاز المعقدة من الطرق السابقة. على سبيل المثال، في اختبار 2WikiMultiHopQA، حقق درجة 70.3 (باستخدام مقياس مطابقة صارم) و 68.9 (باستخدام فحص دلالي مرن)، متفوقاً على أفضل طريقة سابقة، LogicRAG، التي سجلت 65.3 و 62.6 على التوالي.
تشير الورقة البحثية إلى أن هذا النهج "عند الطلب" هو المفتاح. فمن خلال تقسيم الأسئلة فقط عند الضرورة وتصفية المعلومات السيئة، يتجنب النظام الارتباك بسبب الكثير من الضجيج. الأمر يشبه الطاهي الذي يقطع الخضروات فقط إذا كانت الوصفة تحتاج إليها فعلياً، بدلاً من تقطيع كل شيء في المطبخ والأمل في أن يناسب شيئاً ما. وتظهر التجارب أن هذه الطريقة لا تحصل فقط على إجابات صحيحة أكثر، بل تتعامل أيضاً مع "الضجيج" الناتج عن المعلومات غير ذات الصلة بشكل أفضل، مما يؤدي إلى نتائج أكثر دقة وموثوقية للأسئلة المعقدة متعددة الخطوات.
ملخص تقني: D2F-ReAG
بيان المشكلة
غالبًا ما تولد النماذج اللغوية الكبيرة (LLMs) مخرجات غير صحيحة واقعيًا أو غير مدعومة في السيناريوهات التي تتطلب معرفة كثيفة، وذلك بسبب الاعتماد على المعرفة البارامترية القديمة والهلوسة. وبينما يعمل التوليد المعزز بالاسترجاع (RAG) على التخفيف من هذه المشكلات في الاستعلامات أحادية الخطوة عبر دمج المعرفة الخارجية، فإنه يواجه صعوبة في الاستدلال متعدد الخطوات (multi-hop reasoning) الذي يتطلب ربط الأدلة المتناثرة عبر مستندات متعددة.
تواجه الأساليب الحالية لـ RAG متعدد الخطوات قيودًا محددة:
الأساليب القائمة على الرسوم البيانية (Graph-based methods) (مثل GraphRAG وHippoRAG) تعتمد على هياكل رسوم بيانية مُعدة مسبقًا. وهذه الهياكل مكلفة في البناء والصيانة، وغالبًا ما تكون غير مكتملة، وتصبح أقل فعالية عندما تتطور المعرفة الأساسية.
أساليب التفكيك القائمة على الأوامر (Prompt-based decomposition methods) (مثل LogicRAG وChainRAG) تقوم بتفكيك الاستعلامات المعقدة إلى أسئلة فرعية. ومع ذلك، فإنها غالبًا ما تعاني من استراتيجيات تفكيك جامدة (تفكك الأسئلة البسيطة دون داعٍ أو تفشل في تفكيك الأسئلة المعقدة بعمق كافٍ) ومن نقص في التصفية الفعالة. يؤدي هذا إلى تراكم الضجيج والنتائج الوسيطة الخاطئة عبر التكرارات، مما يقلل من دقة الإجابة النهائية.
المنهجية: D2F-ReAG
يقترح المؤلفون إطار عمل D2F-ReAG (التفكيك الديناميكي والتصفية من أجل التوليد المعزز بالاستدلال متعدد الخطوات)، وهو إطار مصمم للتحكم التكيفي في عمق الاستدلال بناءً على موثوقية حالة الاستدلال الحالية. تعمل العملية عبر أربع مراحل تكرارية:
الاسترجاع والتوليد: بالنسبة لسؤال معين (الذي يكون في البداية هو السؤال الجذري)، يقوم النظام باسترجاع أفضل k من المستندات ذات الصلة باستخدام مسترجع كثيف (dense retriever). ثم يقوم نموذج توليد بإنتاج عملية استدلال (r(q)) مشروطة بهذه المستندات المسترجعة لترسيخ المخرج في الأدلة الخارجية.
الحكم على الموثوقية: تقوم آلية تسجيل تعتمد على نموذج لغوي كبير (LLM) بتقييم موثوقية الاستدلال المولد. يقيم النظام التماسك المنطقي، والاتساق الواقعي مع المستندات المسترجعة، واكتمال الإجابة، ويخصص درجة sr(q)∈[0,10].
إذا كان sr(q)>θ (العتبة المحددة بـ 7)، يُعتبر السؤال محلولًا، ويتم توليد الإجابة النهائية.
إذا كان sr(q)≤θ، يُعتبر الاستدلال غير موثوق، مما يستوجب تفعيل مرحلة التفكيك.
التفكيك وإعادة الكتابة: إذا كان السؤال غير محلول، يتم تفكيكه منطقيًا إلى أسئلة فرعية أصغر وأسهل في المعالجة ($sub(q)$).
الحل التكراري: يتم حل الأسئلة الفرعية بشكل متسلسل.
إعادة الكتابة: بمجرد حل سؤال فرعي بثقة عالية، تُستخدم عملية الاستدلال المتحقق منها (rq) لـ إعادة كتابة الأسئلة الفرعية اللاحقة ذات الصلة. هذا يحل المراجع الغامضة والكيانات المفقودة، مما يضمن أن يكون الاسترجاء اللاحق مستهدفًا ويتجنب المسارات المكررة أو المتناقضة.
ReAG (التوليد المعزز بالاستدلال): يتم دمج مسارات الاستدلال المتحقق منها وذات الصلة من الأسئلة الفرعية المحلولة مرة أخرى في عملية الاستدلال الجذرية. تقوم هذه الخطوة بتحديث الاستدلال الجذري (r′(qroot)) باستنتاجات وسيطة دقيقة، مما يثري السياق العالمي تدريجيًا.
التوقف المبكر: تتوقف العملية فورًا بمجرد أن تتجاوز درجة استدلال السؤال الجذري العتبة المحددة، مما يمنع الهدر غير الضروري في العمليات الحسابية والتفكيك المفرط.
المساهمات الرئيسية
يوضح البحث ثلاث مساهمات رئيسية:
إطار عمل التفكيك الديناميكي: نموذج جديد يفكك الأسئلة عند الطلب بناءً على موثوقية الاستدلال. بخلاف الأساليب ذات العمق الثابت، يضمن هذا النموذج نشر النتائج الوسيطة الدقيقة مرة أخرى لتوجيه الإجابة النهائية بدلاً من فقدانها في ضغط الذاكرة غير الدقيق.
آلية التحكم التكيفي: نهج قائم على الثقة يوازن بين عمق التفكيك. فهو يقوم بالتفكيك العميق فقط عند الضرورة (للأسئلة المعقدة) بينما يتجنب الخطوات غير الضرورية للاستعلامات الأبسط، محققًا بذلك استدلالًا تكيفيًا حقيقيًا.
تصحيح الأخطاء التكراري: طريقة تستفيد من سلاسل الاستدلال الموثوقة من الأسئلة الفرعية لتحديث وتصحيح عملية الاستدلال الجذرية بشكل تكراري. هذا يحدد ويصلح الأخطاء الوسيطة بفعالية، مما يقلل من تراكم الأخطاء عبر خطوات الاستدلال.
النتائج التجريبية
قام المؤلفون بتقييم D2F-ReAG على ثلاثة معايير قياسية متعددة الخطوات: HotpotQA و 2WikiMultiHopQA و MuSiQue. تم قياس الأداء باستخدام Str-Acc (المطابقة اللفظية الصارمة) و LLM-Acc (التكافؤ الدلالي الذي يحكمه نموذج لغوي كبير قوي).
الأداء: حقق D2F-ReAG أفضل النتائج أو أقربها للقمة عبر جميع مجموعات البيانات. بشكل ملحوظ، في 2WikiMultiHopQA، حقق 70.3 Str-Acc و 68.9 LLM-Acc، متفوقًا على أقوى خط أساس (LogicRAG) بمقدار 5.4 و 6.4 نقطة، على التوالي. وفي HotpotQA، حقق أعلى LLM-Acc بنسبة (63.4).
الكفاءة: أظهرت دراسة الاستئصال (ablation study) التي قارنت بين "مع التفكيك" و "بدون التفكيك" أن جزءًا كبيرًا من الأسئلة يمكن حله دون تفكيك. يتجاوز النهج الديناميكي الخطوات غير الضرورية للحالات السهلة، مما يوازن بين الأداء والكفاءة بشكل أفضل من الأساليب التي تقوم بالتفكيك دائمًا.
دراسة حالة: أظهرت مقارنة نوعية مع LogicRAG أن D2F-ReAG ينجح في تصحيح الأخطاء الوسيطة (مثل أهداف المقارنة المفقودة) عن طريق تفكيك الاستعلام وإعادة كتابة الأسئلة الفرعية بناءً على الحقائق المتحقق منها، بينما فشل LogicRAG بسبب التفكيك الجامد ونقص التحقق.
الأهمية والادعاءات
يزعم البحث أن D2F-ReAG يعالج القيود الحرجة لطرق RAG الحالية: استراتيجيات التفكيك الثابتة وعدم القدرة على تصفية المعلومات الخاطئة أثناء الاستدلال.
من خلال تفكيك الأسئلة تكيفيًا عند الضرورة فقط وتصفية الاستدلال الوسيط انتقائيًا بناءً على الموثوقية، ينجح D2F-ReAG بفعالية في كبح انتشار الخطأ. يؤكد المؤلفون أن هذا النهج ينتج سلاسل استدلال أكثر أمانة ويحقق أداءً قويًا في معايير متعددة الخطوات صعبة دون تكاليف الصيانة العالية للهياكل القائمة على الرسوم البيانية أو تراكم الضجيج في الأساليب القائمة على الأوامر الجامدة. ويُقدم إطار العمل كخطوة نحو استدلال أكثر كفاءة ودقة وشبه بشري في النماذج اللغوية الكبيرة.