ملخص تقني: QuCo-RAG

بيان المشكلة

يهدف التوليد المعزز بالاسترجاع الديناميكي (Dynamic RAG) إلى الحد من الهلوسة في النماذج اللغوية الكبيرة (LLMs) من خلال تحديد متى يجب استرجاع الأدلة الخارجية أثناء عملية التوليد بشكل تكيفي. ومع ذلك، تعتمد طرق Dynamic RAG الحالية (مثل FLARE وDRAGIN وSeaKR) على إشارات داخلية للنموذج — مثل احتمالات الرموز (tokens)، أو الإنتروبيا، أو أوزان الانتباه — لتقدير عدم اليقين. وتجادل الورقة بأن هذه الإشارات غير موثوقة جوهرياً لأن النماذج اللغوية الكبيرة غالباً ما تكون سيئة المعايرة، حيث تظهر ثقة عالية في المخرات الخاطئة ("الهلوسة الواثقة"). علاوة على ذلك، تشير الأعمال النظرية إلى أنه حتى النماذج المعايرة تماماً يجب أن تهلوس عند التعامل مع الحقائق النادرة للحفاظ على الاتساق الإحصائي. وبناءً على ذلك، تفشل الإشارات الداخلية في التمييز بين التوليد غير المؤكد والأخطاء الواثقة، مما يؤدي إلى تفعيل استرجاع غير متسق وأداء دون المستوى.

المنهجية: QuCo-RAG

يقترح المؤلفون إطار عمل QuCo-RAG (تكميم عدم اليقين من مجموعة بيانات ما قبل التدريب لعمليات التوليد المعزز بالاسترجاع الديناميكي)، وهو إطار ينقل تكميم عدم اليقين من الثقة الداخلية الذاتية إلى الإحصائيات الموضوعية المستمدة من مجموعة بيانات ما قبل التدريب. يعمل النظام عبر مرحلتين متمايزتين، مستفيداً من محرك Infini-gram لإجراء استعلامات بسرعة المللي ثانية عبر مجموعات بيانات ضخمة تصل إلى تريليونات الرموز.

1. تقييم المعرفة قبل التوليد (عدم يقين المدخلات)

قبل بدء عملية التوليد، يقوم النظام بتقييم السؤال بحثاً عن فجوات معرفية:

• استخراج الكيانات: يقوم مستخرج خفيف الوزن بتحديد الكيانات الرئيسية ($E_Q$) من السؤال.
• فحص التكرار: يستعلم النظام عن تكرار كل كيان في مجموعة بيانات ما قبل التدريب ($P$).
• شرط التفعيل: إذا انخفض متوسط تكرار الكيان عن عتبة معينة ($\tau_{entity}$)، مما يشير إلى مخاطر معرفية في "الذيل الطويل" (long-tail)، يتم تفعيل الاسترجاع فوراً. يُستخدم السؤال الأصلي كاستعلام لاسترجاع المستندات، والتي تُضاف لاحقاً إلى السياق.

2. التحقق من الادعاء أثناء التشغيل (عدم يقين المخرجات)

أثناء عملية التوليد، يراقب النظام كل جملة مولدة ($s_i$) للبحث عن دعم أدلي:

• استخراج الثلاثيات: يقوم نموذج خفيف الوزن باستخراج ثلاثيات المعرفة $(h, r, t)$ من الجملة المولدة.
• التحقق من التواجد المشترك: بدلاً من التحقق من الادعاء العلاقاتي الكامل (الذي يعاني من التباين اللفظي)، يتحقق النظام من تكرار التواجد المشترك للكيان الرأسي ($h$) والكيان التالي ($t$) ضمن نافذة محددة ($\omega$) في مجموعة بيانات ما قبل التدريب.
• شرط التفعيل: إذا كان عدد التواجد المشترك صفراً (أو أقل من عتبة $\tau_{cooc}$)، يستنتج النظام نقصاً في الدعم الأدلي، مما يشير إلى خطر عالٍ للهلوسة.
• الإجراء: يتم تفعيل الاسترجاع باستخدام استعلام موجه دلالياً ($h \oplus r$)، ويتم إعادة توليد الجملة باستخدام السياق المسترجع.

المساهمات الرئيسية

1. تحول في النموذج الفكري: تقدم الورقة نهجاً مستقلاً عن النموذج (model-agnostic) يربط قرارات الاسترجاع بالإحصائيات المستمدة من مجموعة البيانات بدلاً من الإشارات الداخلية غير الموثوقة للنموذج.
2. كشف ثنائي المرحلة: صياغة آلية ثنائية المرحلة تعالج كلاً من عدم يقين المدخلات (الكيانات النادرة) وعدم يقين المخرجات (أزواج الكيانات غير المدعومة).
3. استغلال البنية التحتية: يستخدم الأسلوب محرك Infini-gram بفعالية لإجراء استعلامات إحصائية في الوقت الفعلي عبر مجموعات بيانات ما قبل تدريب هائلة (مثل 4 تريليون رمز) مع زمن انتقال ضئيل جداً.
4. قابلية التطبيق الواسعة: يثبت إطار العمل أن الإحصائيات من مجموعة بيانات شفافة (OLMo-2) يمكن أن تعمل كبدائل فعالة للنماذج ذات بيانات التدريب غير المعلنة (مثل Llama-3 وQwen2.5 وGPT-4/5).

النتائج التجريبية

قيم المؤلفون QuCo-RAG على اختبارات الأسئلة متعددة الخطوات (2WikiMultihopQA وHotpotQA)، ومددوا التقييم ليشمل التوليد طويل الصيغة (ASQA) والأسئلة الطبية الحيوية (PubMedQA).

• الأداء على OLMo-2: باستخدام عائلة OLMo-2 (7B, 13B, 32B) مع الوصول الكامل لمجموعة بيانات ما قبل التدريب الخاصة بها، حقق QuCo-RAG تحسناً بنسبة 5-12 نقطة في المطابقة التامة (EM) مقارنة بأحدث النماذج المرجعية (بما في ذلك DRAGIN وETC وSeaKR).
• قابلية النقل بين النماذج: عند تطبيقه على نماذج ذات بيانات غير معلنة (Llama-3, Qwen2.5, GPT-4.1/5)، حسن QuCo-RAG نسبة الـ EM بمقدار يصل إلى 14 نقطة، متفوقاً على النماذج المرجعية التي تعتمد على الإشارات الداخلية. والجدير بالذكر أنه تفوق على نماذج GPT التي تستخدم أدوات البحث عبر الويب المدمجة بها.
• الكفاءة: حقق QuCo-RAG أداءً فائقاً مع الحفاظ على كفاءة عالية. فقد قام بتفعيل عمليات استرجاع أقل بكثير لكل سؤال (مثلاً ~1.7 في HotpotQA) مقارنة بطرق مثل FS-RAG أو SeaKR، والتي غالباً ما تفعّل عمليات استرجاع مفرطة مع دقة أقل.
• التعميم في النطاقات: أظهرت الطريقة تعميماً قوياً في التوليد طويل الصيغة وفي المجال الطبي الحيوي دون الحاجة لضبط خاص بالمهمة، بينما واجهت الطرق المعتمدة على الإشارات الداخلية صعوبات في الكفاءة أو الفعالية في هذه البيئات المتخصصة.

الأهمية والادعاءات

تدعي الورقة أنها أرست دعائم التحقق القائم على مجموعة البيانات كنموذج مبدئي وعملي ومستقل عن النموذج لعمليات Dynamic RAG. ويرى المؤلفون أن:

• الموثوقية: توفر إحصائيات مجموعة البيانات إشارة أكثر موثوقية لعدم اليقين من درجات الثقة الداخلية للنموذج، والتي تكون عرضة لسوء المعايرة.
• القابلية للتوسع: يتوسع النهج بفعالية ليشمل النماذج ذات البيانات غير المعلنة من خلال الاستفادة من التداخل الكبير في مجموعات بيانات ما قبل التدريب على نطاق الويب.
• السلامة والمتانة: من خلال رصد "التواجد المشترك الصفري" كإشارة قوية لخطر الهلوسة، توفر الطريقة وسيلة مبدئية للحد من الهلوسة الواثقة، خاصة بالنسبة للمعرفة ذات "الذيل الطويل" حيث تكون النماذج أكثر عرضة للخطأ.

يقر المؤلفون بوجود قيود، بما في ذلك الاعتماد على المطابقة اللفظية الدقيقة (والتي قد تغفل عن التواجد المشترك تحت مسميات بديلة) والقيود الزمنية لمجموعات بيانات ما قبل التدريب الثابتة. ومع ذلك، فإنهم يفترضون أن الاستراتيجية المتحفظة المتمثلة في التفعيل عند الشك هي أفضل من خطر الهلوسة غير المكتشفة.