ملخص تقني: حول تأثير تمثيلات المحتوى المسترجع في أنابيب معالجة RAG

بيان المشكلة

عادةً ما ترث أنظمة التوليد المعزز بالاسترجاع (RAG) مكونات استرجاع مصممة للقراء البشر، مستخدمةً ميزات مثل القوائم المرتبة، والمقتطفات المنحازة للاستعلام، وتظليل المصطلحات. ومع ذلك، لا يزال التمثيل الأمثل للمحتوى المسترجع عندما يكون المستهلك نموذج لغة كبير (LLM) بدلاً من الإنسان غير مفهوم بشكل جيد. تُظهر نماذج LLM حساسيات فريدة لتنسيق المدخلات، وطولها، وهيكلها تختلف عن المعالجة البشرية، كما أن تكلفة معالجة المحتوى المسترجع تتزايد بشكل فوق خطي مع الطول. وبينما اقترحت الأعمال الحديثة تحويلات متنوعة (مثل التلخيص، والضغط، وإعادة الكتابة) وحددت خصائص معينة (مثل تشابه الاستعلام، والترابط المنطقي) تؤثر على التوليد، إلا أن هذه الدراسات غالباً ما تفحص تقنيات مفردة بمعزل عن غيرها. وبناءً على ذلك، ليس من الواضح أي ميزات تمثيل المستند هي الأكثر أهمية لدقة المولد اللاحق، حيث قد تكون الأرباح المنسوبة لآليات محددة مرتبطة بمدى جودة حفظ تلك الآليات للمحتوى الحامل للإجابة.

المنهجية

يجري المؤلفون مقارنة منضبطة لعزل تأثير تمثيل المستند عن جودة الاسترجاع. يقوم مسار التجربة بتثبيت عملية الاسترجاع مع تغيير تمثيل المستندات المسترجعة فقط.

• مجموعة البيانات والاسترجاع: تستخدم الدراسة مجموعة بيانات KILT-NQ (استعلامات Natural Questions عبر موسوعة ويكيبيديا). ولضمان عدم كون الاسترجاع متغيراً مربكاً، يتم استخدام آلية "حقن الذهب" (gold injection): لكل استعلام، يُضمن وجود مستند معروف بحمله للإجابة (المستند الذهبي) في مجموعة المستندات الخمسة المسترجعة.
• التمثيلات التي تم تقييمها: تمت مقارنة أربعة عشر تمثيلاً:
  1. الأساس الأصلي (Original Baseline): المستند المُعد (مقاطع مقصوصة، ومقتطع إلى 10,750 رمزاً) دون أي تحويل.
  2. التحويلات (13 متغيراً): مُقسمة إلى ثلاثة أنواع:
     • الاختيار (Selection): استخراج الأجزاء (مثل Snippet-BM25، وSnippet-Cross-Encoder، وRECOMP، وLLMLingua2، وSelective-Context).
     • التلخيص (Summarisation): توليد نص أقصر (مثل ملخصات الأقسام، والمقتطفات المركزة على الاستعلام).
     • إعادة الصياغة (Reformulation): إعادة هيكلة المحتوى (مثل تغيير الصياغة، وتفكيك القضايا/المنطلقات).
  • تُصنف هذه التحويلات أيضاً إلى معتمدة على الاستعلام (تتضمن الاستعلام) أو مستقلة عن الاستعلام.
  • تم توليد التحويلات القائمة على LLM باستخدام Gemma 3 27B وLlama 3.3 70B لاختبار انحياز العائلة.
• المولدات (Generators): تقوم أربعة نماذج مفتوحة المصدر (Llama 3.1 8B، وMistral Nemo 12B، وGemma 3 12B، وQwen 3.5 9B) بتوليد الإجابات.
• المقاييس:
  • دقة الإجابة: تُقاس عبر حكم LLM (Qwen 2.5 32B) بمقارنة الإجابات المولدة بالإجابات الذهبية.
  • حفظ الإجابة (Answer Retention): مقياس مبتكر يقيس ما إذا كان المستند الذهبي لا يزال يدعم إجابته المعروفة بعد التحويل.
  • زمن الاستجابة (Latency): زمن الاستجابة عند وقت الاستعلام، مُجزأ إلى تكلفة التحويل وزمن الوصول إلى أول رمز (TTFT) للمولد.

المساهمات الرئيسية

1. المقارنة المنضبطة: توفر الدراسة تقييماً منهجياً لـ 14 تمثيلاً للمستندات (الأساس + 13 تحويلاً) عبر الاختيار، والتلخيص، وإعادة الصياغة، مع تثبيت الاسترجاع لعزل تأثيرات التمثيل.
2. حفظ الإجابة كمحدد أساسي: يحدد المؤلفون أن حفظ الإجابة هو العامل المهيمن الذي يقود دقة المولد.
3. التأثير المحدود للأبعاد الأخرى: تُظهر الدراسة أنه عندما يكون الحفظ عالياً، فإن الأبعاد التمثيلية الأخرى (الصياغة، الهيكل، الطول، الاعتماد على الاستعلام) لها تأثير محدود على الدقة.
4. إعادة تفسير تأثيرات المصدر: تُظهر الورقة أن التفضيلات الظاهرية للتحويلات الناتجة عن LLM أو عائلات نماذج معينة مدفوعة في الواقع بالاختلافات في حفظ الإجابة، وليس بمصدر النص نفسه.
5. الحجة المنهجية: يجادل المؤلفون بأن مكاسب الدقة في الأعمال السابقة لا يمكن نسبتها إلى آليات محددة دون التحكم في حفظ الإجابة، حيث غالباً ما يرتبط الحفظ بالآلية المقترحة.

النتائج

السؤال البحثي الأول (RQ1): تأثير التمثيل على الدقة

• هيمنة الحفظ: عبر ثلاثة من أصل أربعة مولدات (Qwen، Gemma، Llama)، تتبع الدقة ارتباطاً وثيقاً بحفظ الإجابة. الطرق التي تحفظ الإجابة الذهبية في أكثر من 95% من الحالات تحافظ على دقة قريبة من الأساس، بغض النظر عما إذا كان النص قد ضُغط إلى 2% من حجمه الأصلي (Snippet-Abstractive)، أو تم توسيعه (Propositions)، أو إعادة صياغته (Paraphrase).
• الضغط مقابل الحفظ: طرق الضغط الشديد التي تفشل في حفظ الإجابة (مثل Snippet-BM25 بنسبة حفظ 52.8%) تعاني من انخفاضات كبيرة في الدقة (13-22 نقطة)، بينما الطرق ذات الحفظ العالي (مثل LLMLingua2-50 بنسبة حفظ 98.5%) تعمل بالقرب من المستوى الأساسي رغم إنتاج نص غير مترابط.
• استثناء Mistral-Nemo: يتصرف Mistral-Nemo بشكل مختلف؛ فدقة نموذجه أقل ارتباطاً بالحفظ وأكثر حساسية لطول المدخلات والتكرار، مما يشير إلى أنه قد يكون أكثر حساسية لحجم السياق مقارنة بالنماذج الأخرى.

السؤال البحثي الثاني (RQ2): المعتمد على الاستعلام مقابل المستقل عن الاستعلام

• لا يوجد تفوق منهجي: التمثيلات المعتمدة على الاستعلام لا تتفوق بشكل منهجي على المستقلة عن الاستعلام. وبينما يمكن للطرق المعتمدة على الاستعلام (مثل Snippet-Abstractive) تحقيق دقة عالية، إلا أنها تتحمل عبئاً كبيراً في زمن الاستجابة (يصل إلى 6 أضعاف الأساس).
• المقايضة بين زمن الاستجابة والدقة: توفر الطرق المستقلة عن الاستعلام (مثل Summary، وLLMLingua2) مقايضة مواتية، حيث تحتفظ بمعظم مكاسب دقة الأساس عند حوالي ثلث زمن الاستجابة. وعموماً، لا تبرر الطرق المعتمدة على الاستعلام عبئها ما لم تتطلب تطبيقات محددة المكاسب الهامشية في الدقة للمحولات عالية الأداء.

السؤال البحثي الثالث (RQ3): التفضيل للتحويلات المنتجة بواسطة LLM

• لا يوجد انحياز للمصدر: لا تُظهر المولدات تفضيلاً منهجياً للتحويلات المنتجة بواسطة LLM على الطرق غير القائمة على LLM، ولا تفضل التحويلات من عائلة نماذجها الخاصة.
• الحفظ يفسر الانحياز الظاهري: عندما يتم مطابقة الحفظ، يختفي التمييز بين LLM/غير-LLM أو عائلة النماذج. التفضيلات الظاهرة (مثل تفضيل مولدات Gemma لملخصات Gemma) تُفسر بحقيقة أن محول Gemma احتفظ بالإجابة بشكل متكرر أكثر (97.8%) من محول Llama (94.4%).

الأهمية والادعاءات

تدعي الورقة أن حفظ الإجابة هو المحدد الأساسي لدقة المولد في أنابيب معالجة RAG. تكمن أهمية هذا الاكتشاف في جانبين:

1. التصميم العملي: بالنسبة للأنظمة التي تخدم نماذج LLM، يجب أن تكون الأولوية لضمان أن التحويلات تحفظ المحتوى الحامل للإجابة. بمجرد ضمان الحفظ، يكون للتمثيل (من حيث الصياغة أو الهيكل أو الطول) تأثير محدود على الأداء. وهذا يشير إلى أن الضغط الشديد أو إعادة الهيكلة أمر قابل للتطبيق إذا تم الحفاظ على الإجابة الجوهرية.
2. التصحيح المنهجي: يجادل المؤلفون بأن النسب السابقة لمكاسب الدقة لآليات معينة (مثل "التجريد الهرمي يحسن الاستدلال" أو "الضغط يقلل الضوضاء") قد تكون مربكة. إذا كانت الآلية تحفظ محتوى الإجابة جيداً، فستعمل بشكل جيد؛ وإذا تخلصت من الإجابة، فستفشل. وتؤكد الورقة أنه بدون التحكم في الحفظ، لا يمكن للمجال التمييز ما إذا كانت الطريقة تعمل بسبب آليتها المقترحة أم ببساطة لأنها تحفظ الإجابة.

تخلص الدراسة إلى أنه بينما يهم التمثيل، فإن الأبعاد التي يتم تحسينها عادةً للقراء البشر (التنسيق، التظليل، الانحياز للاستعلام) هي ثانوية مقارنة بالمتطلب الأساسي المتمثل في الحفاظ على المحتوى الحامل للإجابة عندما يكون المستهلك هو نموذج لغة كبير (LLM).