Dynamic Knowledge Grounding for Retrieval-Augmented Generation: Uncertainty-Aware Evidence Fusion with Adaptive Retrieval Control
يُعد FORGE إطار عمل مبدئي يعزز التوليد المعزز بالاسترجاع من خلال دمج متحكم استرجاع تكيفي مدفوع بعدم اليقين، وشبكة دمج أدلة موزونة بالموثوقية، ووحدة تحقق من التجذر على مستوى الرمز (token)، مما يقلل بشكل كبير من الهلوسة والتكاليف الحسابية مع تحقيق أداء رائد في مختلف المعايير المرجعية.
في المشهد الواسع للذكاء الاصطناعي، برزت النماذج اللغوية الكبيرة كمحركات قوية للنصوص، قادرة على كتابة القصص، وحل المشكلات، والإجابة على الأسئلة بطلاقة تحاكي التفكير البشري في كثير من الأحيان. تعمل هذه الأنظمة من خلال الاعتماد على مكتبة داخلية ضخمة من الحقائق والأنماط التي امتصتها أثناء التدريب. ومع ذلك، فإن هذه المكتبة الداخلية تشوبها ثغرة كبيرة: فهي ثابتة ويمكن أن تصبح قديمة، والأخطر من ذلك، يمكن للنموذج أن يخترع بثقة حقائق لم تحدث قط، وهي ظاهرة تُعرف باسم "الهلوسة". ولإصلاح ذلك، طور الباحثون طريقة تسمى "التوليد المعزز بالاسترجاع". يعمل هذا النهج بمثابة أمين مكتبة للذكاء الاصطناعي، مما يسمح له بالتوقف عن الكتابة والبحث عن الإجابات في قاعدة بيانات خارجية من المستندات قبل التحدث. وبينما يساعد هذا، فإن الأنظمة الحالية غالبًا ما تتصرف بخرق، حيث تجلب المعلومات لكل سؤال بغض النظر عما إذا كانت مطلوبة أم لا، ثم تدمج تلك المعلومات بطريقة بسيطة وغير مدركة يمكن أن تؤدي إلى الأخطاء.
قدم فريق من الباحثين الآن إطار عمل جديدًا يسمى FORGE، صُمم لجعل هذه العملية أكثر ذكاءً وكفاءة وموثوقية. فبدلاً من معاملة كل سؤال بالطريقة نفسها، يعمل FORGE بمثابة محرر دقيق يقرر بالضبط متى يبحث عن المعلومات، وكيف يزن موثوقية المصادر المختلفة، وكيف يتحقق من أن الإجابة النهائية مدعومة بالفعل بما وجده. يتكون النظام من ثلاثة أجزاء متميزة تعمل معًا بسلاسة. أولاً، يتعلم النظام التعرف على متى يكون غير متأكد من إجابة ما، وعندها فقط يلجأ إلى معرفته الخارجية، مما يوفر الوقت ويتجنب ضجيج البيانات غير ذات الصلة. ثانياً، عندما يجمع المعلومات، فإنه لا يقوم بمجرد صب النص في الإجابة؛ بل يحلل بعناقة جودة كل مستند، ويتحقق مما إذا كانت المصادر المختلفة تتفق مع بعضها البعض ويعطي أهمية أكبر للفقرات الأكثر موثوقية. وأخيرًا، بينما يقوم النظام بتوليد استجابته، فإنه يتحقق باستمرار من كل كلمة يكتبها لضمان أنها مدعومة بالأدلة التي وجدها، رافضاً تقديم ادعاءات تفتقر إلى الدعم.
اختبر الباحثون هذا النهج الجديد عبر ثمانية معايير اختبارية تحديّة مختلفة، تتراوح من التحقق البسيط من الحقائق إلى الأسئلة المعقدة التي تتطلب ربط الأفكار من مستندات متعددة. وأظهرت النتائج أن FORGE تفوق بشكل كبير على الأساليب الحالية؛ فقد حسن دقة الإجابات بما يتراوح بين 2.1 و4.8 نقطة مقارنة بأفضل الأنظمة السابقة، بينما خفض معدل الهلوسة بنسبة تقارب 39 بالمائة. وربما الأهم من ذلك، أصبح النظام أكثر كفاءة؛ فمن خلال تعلم تخطي خطوة البحث للأسئلة التي يعرفها جيداً، قلل عدد المرات التي احتاج فيها للبحث عن المعلومات بأكثر من 42 بالمائة. وهذا يعني أن النظام ليس أكثر صدقاً فحسب، بل هو أيضاً أسرع وأقل تكلفة من الناحية الحسابية.
يعتمد نجاح FORGE على تحول في كيفية تفاعل الذكاء الاصطناي مع قاعدة معرفته. فبدلاً من استرجاع المعلومات بشكل أعمى لكل استعلام، يستخدم النظام سياسة متعلمة لتقدير مدى عدم اليقين لديه. فإذا شعر النموذج بالثقة، فإنه يجيب من الذاكرة؛ وإذا استشعر فجوة في معرفته، فإنه يطلق عملية بحث. وعندما يبحث، فإنه يستخدم شبكة دمج متطورة تعامل المستندات المختلفة بشكل متفاوت، حيث تخصص وزناً أعلى للمصادر الموثوقة والمتسقة مع بعضها البعض، مما يمنع النظام من أن يُضلل بواسطة مستند واحد غير موثوق. علاوة على ذلك، تعمل وحدة تحقق في الخلفية، حيث تخصص درجة ثقة لكل كلمة يتم توليدها. وإذا لم يجد النظام دليلاً يدعم ادعاءً معيناً، فإنه يمكنه اختيار الامتناع عن ذكره بدلاً من اختراع حقيقة. هذا المستوى الدقيق من التحكم يسمح للنظام بالحفاظ على معيار عالٍ من الصدق دون التضحية بانسيابية اللغة الطبيعية.
في تحليلهم، أظهر الباحثون أن هذه التحسينات ليست مجرد حوادث سعيدة، بل هي قائمة على مبادئ رياضية صارمة تضمن سلوك النظام بشكل أمثل بمرور الوقت. فقد أثبتوا أن طريقة اتخاذ القرار بشأن متى يتم استرجاع المعلومات تتقارب نحو الاستراتيجية المثلى، مما يقلل الجهد الضائع. كما أثبتوا أن طريقة دمج المعلومات مثالية نظرياً للحفاظ على التفاصيل الأكثر فائدة مع التخلص من الباقي. والأهم من ذلك، أثبتوا أن عملية التحقق توفر مقياساً موثوقاً للثقة، مما يضمن أن ادعاءات النظام مرتبطة باستمرار بأدلة حقيقية. وتؤكد الدراسة أنه من خلال دمج هذه القدرات الثلاث — البحث التكيفي، والدمج الذكي، والتحقق الصارم — في إطار عمل واحد، من الممكن بناء ذكاء اصطناعي ليس فقط أكثر معرفة، بل أيضاً أكثر صدقاً وكفاءة. يشير هذا العمل إلى مسار واضح للمضي قدماً في إنشاء أدوات ذكاء اصطناعي يمكن للمستخدمين الوثوق بها في المعلومات عالية الخطورة، من المشورة الطبية إلى الأبحاث القانونية، حيث تعد الدقة والقدرة على الاستشهاد بالمصادر أمراً ضرورياً.
ملخص تقني: التأسيس المعرفي الديناميكي لتوليد النصوص المدعوم بالاسترجاع
1. بيان المشكلة
بينما برز "التوليد المدعوم بالاسترجاع" (RAG) كنموذج لتأسيس مخرجات النماذج اللغوية الكبيرة (LLMs) في معرفة خارجية، تعاني النهج الحالية من ثلاث قيود حرجة:
الاسترجاع الاستاتيكي (الثابت): تسترجع الأنظمة الحالية عدداً موحداً من الفقرات لكل استعلام، بغض النظر عن التعقيد أو المعرفة البارامترية الموجودة لدى النموذج. يؤدي هذا إلى هدر الحوسبة وإدخال ضجيج غير ذي صلة للاستعلامات التي يمكن للنموذج الإجابة عليها بثقة من ذاكرته.
دمج الأدلة البسيط: عادة ما تدمج أنظمة RAG التقليدية الفقرات المسترجعة مع الاستعلام باستخدام دمج سطحي أو انتباه بسيط. يفشل هذا النهج في نمذجة التباين في الصلة، أو موثوقية المصدر، أو الاتساق بين الفقرات، حيث يعامل جميع الأدلة على أنها موثوقة بالتساوي.
التأسيس غير المتحقق منه: على الرغم من الاسترجاع المدعوم، لا تزال النماذج اللغوية الكبيرة قادرة على توليد محتوى يتعارض مع الأدلة المسترجعة أو يقدم ادعاءات غير مدعومة. تفتقر الطرق الحالية إلى آليات تحقق صريحة على مستوى الرمز (token-level) لمنع انتشار الهلوسة في السيناريوهات عالية المخاطر.
2. المنهجية: إطار عمل FORGE
يقترح المؤلفون إطار عمل FORGE (الاسترجاع المحسن واقعياً للتوليد المؤسس)، وهو إطار موحد مصمم لمعالجة هذه القيود من خلال ثلاث وحدات متكاملة بدقة:
أ. وحدة التحكم في الاسترجاع التكيفي (ARC)
تؤطر وحدة ARC الاسترجاع التكيفي كمسألة تعلم عبر الإنترنت لتحديد متى، وماذا، وكم مقدار ما يجب استرجاعه.
التحفيز القائم على عدم اليقين: عند كل خطوة توليد، تقدّر وحدة ARC عدم اليقين الإبستمي (القابل للتقليل بالاسترجاع) مقابل عدم اليقين الأليتوري (غير القابل للتقليل). يتم تحفيز الاسترجاع فقط عندما يتجاوز عدم اليقين الإبستمي عتبة متعلمة.
اختيار الاستراتيجية: عندما يتم تحفيز الاسترجاء، تستخدم ARC صياغة "المقامر متعدد الأذرع" (multi-armed bandit) مع استكشاف الحد الأعلى للثقة (UCB). وهي تختار بين استراتيجيات مثل القفزة الواحدة (single-hop)، أو القفزات المتعددة (multi-hop)، أو تفكيك الاستعلام، أو تخطي الاسترجاع بناءً على السياق الحالي (عدم اليقين، الحالة الخفية، وتضمين الاستعلام).
الأساس النظري: تم تصميم السياسة لتقليل "ندم الاسترجاع"، مما يضمن حدود ندم دون خطية بالنسبة للسياسة الثابتة المثلى.
ب. شبكة دمج الأدلة (EFN)
تقوم شبكة EFN بعملية دمج متعددة المستويات للأدلة المسترجعة، متجاوزةً مجرد الدمج البسيط.
الانتباه متعدد المستويات: يتم ترميز الفقرات على ثلاثة مستويات: الرمز (token)، والجملة، والفقرة. تقوم الشبكة بحساب الانتباه المتقاطع عند كل مستوى من مستويات التفاصيل لالتقاط نطاقات مختلفة من المعلومات.
توزين الموثوقية: يتم تعيين درجة موثوقية متعلمة (rj) لكل فقرة بناءً على ثلاثة عوامل:
الصلة: تشابه الاستعلام مع الفقرة.
سلطة المصدر: الجودة المتأصلة في المصدر.
الاتساق: الاتفاق بين الفقرات (مقاساً عبر درجات الاستدلال باللغة الطبيعية).
الدمج المبوب: تقوم بوابة متعلمة بدمج التمثيلات متعددة المستويات ديناميكياً، والموزونة بالموثوقية، لإنتاج سياق مدمج أمثل. هذا النهج مؤصل نظرياً في أطر "عنق الزجاجة للمعلومات" (Information Bottleneck) ونظرية "الاضطراب والمعدل" (rate-distortion).
ج. وحدة التحقق من التأسيس (GVM)
توفر وحدة GVM فحصاً دقيقاً للاتساق الواقعي على مستوى الرمز.
تسجيل النقاط على مستوى الرمز: لكل رمز يتم توليده، تحسب GVM درجة تأسيس تمثل الاستلزام من قبل مخزن الأدلة المسترجع.
المعايرة: يتم معايرة الدرجات الخام باستخدام "تدرج الحرارة" (temperature scaling) ومعايرة "بلات" (Platt calibration) لضمان أن درجات الثقة موثوقة إحصائياً (أي أن الدرجة 0.8 تعني احتمال 80% لكونها مؤسسة).
الامتناع الانتقائي: إذا انخفضت ثقة التأسيد التراكمية عن عتبة معينة، يمكن للنظام الامتناع عن توليد المزيد من المحتوى بدلاً من إنتاج مخرجات غير أمينة.
انحياز فك التشفير: تقوم الوحدة بتعديل توزيع الرمز التالي لتوجيه التوليد نحو الرموز المدعومة جيداً.
إجراء التدريب
يتم تدريب FORGE في ثلاث مراحل:
ما قبل التدريب: التدريب المشترك للمسترجع وEFN باستخدام "خسارة التباين" (contrastive loss) على صلة الفقرة.
الضبط الدقيق: الضبط الدقيق للمولد مع تفعيل EFN، بهدف تحسين أداء المهمة ومعاقبة درجات التأسيس المنخفضة.
التحسين المشترك: التعلم التعزيزي (REINFORCE) لتحسين سياسة الاسترجاع، والدمج، والتحقق بشكل مشترك، مما يوازن بين مكافأة المهمة وتكاليف الاسترجاع.
3. المساهمات الرئيسية
يدعي البحث تقديم أربع مساهمات رئيسية:
إطار عمل موحد: بنية واحدة (FORGE) تعمل على تحسين الاسترجاع التكيفي، ودمج الأدلة، والتحقق من التأسيس بشكل مشترك.
تحليل نظري صارم:
ندم الاسترجاع: إثبات حدود الندم O(TlogK) لسياسة الاسترجاع التكيفي.
مثالية الدمج: ضمانات مثالية معلوماتية لدمج الأدلة تحت إطار "الاضطراب والمعدل".
حدود التعميم: حدود PAC-Bayes لوحدة التحقق من التأسيس.
تقليل الهلوسة: ضمانات شاملة (end-to-end) بشأن خفض معدل الهلوسة.
أداء رائد (SOTA): نتائج تجريبية تظهر تحسينات كبيرة على النماذج المرجعية عبر ثمانية معايضات متنوعة.
تحليل شامل: دراسات استئصال (ablation studies) توضح الطبيعة التكاملية لكل وحدة وتفسير سياسات الاسترجاع المتعلمة.
4. النتائج التجريبية
تم تقييم إطار العمل على ثمانية معايضات: Natural Questions، وTriviaQA، وHotpotQA، وFEVER، وASQA، وELI5، وPopQA، وTruthfulQA.
مكاسب الأداء: حقق FORGE نتائج رائدة، محققاً تحسناً يتراوح بين 2.1 إلى 4.8 نقطة فوق أفضل النماذج المرجعية (مثل Self-RAG وCRAG) في المتوسط.
تقليل الهلوسة: خفض النظام معدلات الهلوسة بنسبة 38.7% مقارنة بأقوى نموذج مرجعي (CRAG)، محققاً معدل هلوسة نهائي قدره 11.9% في TruthfulQA (مقارنة بـ 18.4% لـ CRAG).
الكفاءة: من خلال تخطي الاسترجاع تكيفياً للاستعلامات التي يمكن للنموذج الإجابة عليها من ذاكرته، قلل FORGE تكاليف الاسترجاع بنسبة 42.3% مقارنة بنماذج "الاسترجاع الدائم"، مما أدى أيضاً إلى خفض زمن الاستجابة (latency).
نتائج الاستئصال:
إزالة ARC (فرض الاسترجاع الدائم) أدت إلى تدهور الكفاءة لكنها حافظت على دقة عالية، مما يؤكد الطبيعة الموفرة للتكلفة للسياسة.
إزالة EFN (استخدام الدمج البسيط) تسببت في انخفاض كبير في الجودة (خسارة +4.1 نقاط EM)، مما يبرز أهمية الدمج الموزون بالموثوقية.
إزالة GVM زادت من معدلات الهلوسة بنسبة 36.4%، مما يؤكد دورها في الاتساق الواقعي.
5. الأهمية والادعاءات
يضع المؤلفون FORGE كتقدم مبدئي في أنظمة RAG ينتقل بها من التصميمات القائمة على الحدس إلى الآليات المؤصلة نظرياً.
الموثوقية: من خلال توفير درجات تأسيس مُعايرة على مستوى الرمز والنسب (attribution)، يعالج FORGE طبيعة "الصندوق الأسود" في RAG، مما يجعله مناسباً للتطبيقات عالية المخاطر حيث تكون المصدرية والدقة أمراً حاسماً.
المقايضة بين الكفاءة والفعالية: يوضح إطار العمل أن الاسترجاع التكيفي لا يتطلب التضحية بالدقة؛ بل يحسنها من خلال تقليل الضجيج والتركيز على الاستعلامات التي تتطلب معرفة خارجية حقاً.
القيود: يقر المؤلفون بتواضع بوجود قيود، بما في ذلك العبء الحسابي الناتج عن الدمج متعدد المستويات، والاعتماد على تغطية المتن (المعاناة مع الأحداث الحديثة جداً أو المواضيع المتخصصة غير الموجودة في الفهرس)، والضعف أمام تسميم المتن إذا كانت جميع الأدلة المسترجعة مضللة بشكل موحد. ويقترحون أعمالاً مستقبلية في الدمج متعدد الوسائط، والسياسات الشخصية، والتحقق الرسمي.
ختاماً، يقدم FORGE نهجاً منهجياً للتأسيس المعرفي الديناميكي، يجمع بين تقدير عدم اليقين، والدمج القائم على نظرية المعلومات، والتحقق المُعاير لإنتاج ذكاء اصطناائي توليدي أكثر موثوقية وكفاءة وصدقاً.