The RAT: A Unified Bayesian Model for RAG Evaluation
تقدم هذه الورقة "The RAT"، وهو إطار عمل بايزي موحد يفكك تقييم الـ RAG إلى مكونات الاسترجاع، والامتناع، والتوليد للكشف عن الاختلافات السلوكية الخفية، وتحسين استراتيجيات التوسيم، ودمج تقييمات البشر وتقييمات النماذج اللغوية الكبيرة (LLM-as-a-judge) ضمن نموذج احتمالي واحد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد المعاصر للذكاء الاصطناعي، برز نهج شائع يُعرف باسم "التوليد المعزز بالاسترجاع" كوسيلة لجعل النماذج اللغوية الكبيرة أكثر موثوقية. تعمل هذه الأنظمة من خلال البحث أولاً في مكتبة ضخمة من المستندات للعثور على معلومات ذات صلة بسؤال المستخدم، ثم استخدام تلك المعلومات التي تم العثور عليها للمساعدة في بناء النموذج للإجابة. تهدف هذه العملية المكونة من خطوتين إلى منع النموذج من اختلاق الأمور، وهي مشكلة شائعة حيث تذكر أنظمة الذاء الاصطناعي الأكاذيب بثقة. ومع ذلك، فقد ثبت أن تقييم مدى جودة عمل هذه الأنظمة أمر صعب؛ فلطالما ركزت الطرق التقليدية فقط على النتيجة النهائية: هل حصل المستخدم على إجابة صحيحة؟ هذا المقياس الواحد، رغم كونه مفيداً، يخفي واقعاً معقداً؛ فهو يفشل في التمييز بين نظام وجد المعلومات الصحيحة وأجاب بشكل صحيح، ونظام خمن الإجابة الصحيحة رغم أنه لم يجد شيئاً، أو نظام وجد المعلومات الصحيحة لكنه فشل في استخدامها. ولكي يفهم الباحثون هذه الآلات حقاً، يتعين عليهم النظر داخل المسار، ومراقبة ليس فقط المخرجات النهائية، بل كيف يتفاعل كل من البحث، والقرار بالإجابة، والاستجابة النهائية مع بعضها البعض.
لقد طور فريق من الباحثين في جامعة زيورخ للعلوم التطبيقية طريقة جديدة للنظر داخل هذا "الصندوق الأسود"، حيث يعاملون تقييم هذه الأنظمة كأحجية إحصائية موحدة بدلاً من كونها مجرد قائمة مراجعة بسيطة. لقد قدموا إطار عمل يفصل نجاح عملية البحث عن سلوك مولد الإجابات. في نموذجهم، يُعتبر النظام ناجحاً فقط إذا تصرف بشكل مناسب بناءً على جودة المعلومات التي وجدها. وهذا يعني أن النظام الذي لا يجد مستندات ذات صلة ويقرر بحكمة عدم الإجابة يُعتبر متصرفاً بشكل صحيح، تماماً كما هو الحال مع النظام الذي يجد المستندات الصحيحة ويجيب بدقة. وعلى العكس من ذلك، فإن النظام الذي لا يجد شيئاً ومع ذلك يخمن الإجابة، أو يجد كل شيء ولكنه يجيب بشكل غير صحيح، يُصنف على أنه فشل في اتباع سياسته الداخلية، حتى لو كانت الإجابة النهائية صحيحة بمحض الصدفة. ومن خلال نمذجة هذه الخطوات المتميزة معاً، استطاع الباحثون تتبع كيفية انتقال الأخطاء من مرحلة البحث لتؤثر على الإجابة النهائية، وكيف تختار النماذج المختلفة التعامل مع حالة عدم اليقين.
ولاختبار هذا النهج، أجرى الفريق تجربة ضخمة شملت سبعة وعشرين تكويناً مختلفاً لهذه الأنظمة. لقد جمعوا بين ثلاثة محركات بحث مختلفة، وثلاثة نماذج لغوية مختلفة، وثلاث مجموعات متميزة من الأسئلة التي تغطي التحقق من الحقائق والاستنتاج المعقد. وعندما نظروا فقط إلى الدرجات النهائية، بدت العديد من هذه الأنظمة متطابقة تقريباً. ومع ذلك، كشف إطار العمل الجديد عن اختلافات سلوكية عميقة أخفتها المقاييس القياسية. فعلى سبيل المثال، رفض أحد النماذج الإجابة باستمرار عندما فشل البحث، ملتزماً بصرامة بسياسة التحدث فقط عندما يمتلك دليلاً. بينما نموذج آخر، حقق معدل نجاح إجمالي مماثل، كان غالباً ما يخمن الإجابات حتى عندما لم يجد البحث شيئاً. أظهرت الدراسة أن نظامين يمكن أن يبدوا متساويين في الجودة على المستوى السطحي، بينما يعملان وفق مبادئ مختلفة تماماً، حيث يكون أحدهما أكثر موثوقية في السيناريوهات الواقعية التي تفتقر غالباً إلى المعلومات.
كما تناول الباحثون مشكلة عملية تواجه أي شخص يحاول تحسين هذه الأنظمة: كيفية إنفاق ميزانية محدودة على المراجعة البشرية. إن التحقق من كل خطوة لكل استعلام هو أمر مكلف ويستغرق وقتاً طويلاً. وقد بحث الفريق فيما إذا كان من الأفضل أن يتحقق البشر مما إذا كان البحث قد وجد المستندات الصحيحة، أو ما إذا كان قد وجد الإجابة الصحيحة، أو كليهما. واكتشفوا تبايناً صارخاً: فالتحقق من نتائج البحث وفر رؤية أكبر بكثير حول ما إذا كان النظام يتبع قواعده مقارنة بالتحقق من الإجابة النهائية. وذلك لأن قرار الإجابة أو الصمت يعتمد بشكل كبير على ما إذا كان البحث قد نجح أم لا. فإذا أكد البشر أن البحث قد فشل، فسيعرفون فوراً أن النظام كان يجب أن يظل صامتاً؛ وإذا أجاب، فقد فشل في اتباع سياسته. أما معرفة الإجابة النهائية، فهي تخبرهم بدرجة أقل عما إذا كان النظام قد اتخذ قراراً جيداً في تلك اللحظة. تشير هذه النتيجة إلى أن المطورين الذين يهدفون إلى ضبط هذه الأنظمة لتكون أكثر صدقاً وحذراً، فإن تركيز انتباههم البشري على جودة المعلومات المسترجعة يحقق عائداً أفضل بكثير من التركيز حصراً على المخرجات النهائية.
أخيراً، استكشفت الدراسة دور الحكام الآليين، حيث يُستخدم ذكاء اصطناعي واحد لتقييم ذكاء اصطناعي آخر، وهو ممارسة شائعة لتوفير المال. ووجد الباحثون أنه بينما يمكن لهؤلاء الحكام الآليين معالجة كميات هائلة من البيانات، إلا أنهم عرضة لنوع محدد من الخطأ: فهم غالباً ما يقولون إن البحث كان ناجحاً بينما لم يكن كذلك. وبسبب هذا الميل للمبالغة في تقدير النجاح، فإن مجرد إضافة آلاف الملصقات الآلية لم يساهم كثيراً في تحسين دقة التقييم. وخلصت الدراسة إلى أن عدداً صغيراً من الأحكام البشرية الدقيقة، والمعايرة بشكل صحيح، يظل أكثر قيمة بكثير من جبل من البيانات الآلية المشوشة. يوفر هذا العمل خريطة أوضح وأكثر صدقاً لكيفية تفكير هذه الأنظمة المعقدة وفشلها، مما يمهد الطريق لبناء ذكاء اصطناعي ليس صحيحاً فحسب، بل موثوقاً أيضاً في استنتاجاته.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.