Judge, Retrieve, or Abstain: Uncertainty-Guarded LLM Judging with Provable Risk Guarantees
تقترح هذه الورقة إطار عمل للتحكيم القائم على النماذج اللغوية الكبيرة (LLM) يتميز بالتحكم في المخاطر، حيث يقوم بتوجيه الحالات ديناميكياً بين الأنماط البارامترية والأنماط المعززة بالاسترجاع بناءً على عتبات عدم يقين مُعايرة، مما يضمن بقاء معدل الاكتشاف الخاطئ للأحكام المقبولة دون المستوى المحدد من قبل المستخدم مع تعظيم نطاق التغطية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، ظهر معيار جديد لاختبار مدى قدرة برامج الكمبيوتر على فهم العالم. فبدلاً من الاعتماد على خبراء بشريين لقراءة وتقييم كل إجابة تنتجها الآلة، بات الباحثون الآن غالباً ما يستخدمون نموذجاً لغوياً ضخماً واحداً ليعمل كحكم لنموذج آخر. هذا النهج يتسم بالكفاءة والقابلية للتوسع، مما يسمح للمطورين بتقييم آلاف الاستجابات في الوقت الذي يستغرقه البشر لتقييم مقال واحد. ومع ذلك، تبرز مشكلة كبيرة عندما يُطلب من هؤلاء الحكام الرقميين التحقق من الحقائق. فخلافاً للمهام الذاتية التي لا توجد فيها إجابة واحدة صحيحة، تمتلك الأسئلة الواقعية حقائق واضحة. قد يعلن الحَكَم بثقة أن عبارة خاطئة هي عبارة صحيحة لمجرد أنها تبدو منطقية أو لأن النموذج قد نسي حدثاً حديثاً. وبدون وسيلة لمعرفة متى يكون الحَكَم غير متأكد، يمكن لهذه الأخطاء الصامتة أن تتسلل، مما يؤدي إلى استنتاجات غير موثوقة.
يكمن التحدي الجوهري في الموازنة بين الثقة والدقة. فإذا كان الحَكَم حذراً للغاية، فإنه يرفض الإجابة على معظم الأسئلة، مما يجعل النظام عديم الفائدة. وإذا كان مندفعاً للغاية، فإنه يرتكب الأخطاء. وقد حاول الباحثون حل هذه المشكلة من خلال جعل الحَكَم يعترف بعدم تأكده، لكن هذا يعني غالباً استبعاد الإجابات التي قد تكون صحيحة ولكن النموذج لم يشعر باليقين تجاهها فقط. تقترح دراسة جديدة نُشرت في مؤتمر (COLM 2026) حلاً وسطاً أكثر ذكاءً؛ حيث طور الباحثون، شير بادشاه وعلي إمامي وحسان سجاد، نظاماً يسمح للحَكَم بالتوقف وطلب المساعدة قبل الاستسلام. فعندما يشعر الحَكَم بعدم اليقين بشأن حقيقة ما بناءً على ذاكرته الداخلية، فإنه لا يرفض الإجابة فوراً، بل يتم تزويده بأداة للبحث في الويب عن أدلة. ثم يقوم بإعادة تقييم السؤال باستخدام هذه المعلومات الجديدة. وفقط إذا ظل الحَكَم غير متأكد حتى بعد قراءة نتائج البحث، فإنه يعترف بالهزيمة ويضع علامة على السؤال للمراجعة البشرية.
اختبر الفريق هذا النهج المكون من خطوتين على مجموعة متنوعة من اختبارات الأسئلة والأجوبة الصعبة، باستخدام أحجام مختلفة من النماذج اللغوية لتعمل كطالب وكحَكَم في آن واحد. ووجدوا أنه من خلال إضافة خطوة الاسترجاع هذه، استطاع النظام الإجابة بثقة على عدد أكبر بكثير من الأسئلة مقارنة بحَكَم يعمل بمفرده. والأهم من ذلك، أن الباحثين لم يكتفوا بالأمل في نجاح ذلك، بل بنوا شبكة أمان رياضية حول العملية. لقد قاموا بمعايرة النظام على مجموعة من الأسئلة المعروفة لضمان بقاء معدل الأخطاء بين الإجابات التي قبلها تحت حد معين يحدده المستخدم. فعلى سبيل المثال، إذا وضع المستخدم حداً بنسبة خمسة بالمائة، فإن النظام يضمن الحفاظ على معدل الخطأ عند هذا المستوى أو دونه بيقين إحصائي عالٍ. وقد ظل هذا الضمان قائماً حتى عندما انتقل الحَكَم من استخدام معرفته الخاصة إلى استخدام نتائج بحث الويب، وهي عملية انتقال معقدة عانت منها الطرق السابقة دون القدرة على التحكم في معدل الخطأ.
أظهرت النت la أن هذه الاستراتيجية التكيفية حسنت بشكل كبير قدرة النظام على تقديم الإجابات دون التضحية بالموثوقية. وفي بعض مجموعات البيانات الأكثر صعوبة، تمكن النظام من قبول الإجابات لجميع الأسئلة التي طُرحت عليه تقريباً، في حين كان الحَكَم الذي يعمل بدون بحث الويب سيرفض الإجابة على الغالبية العظمى منها. وأثبتت الدراسة أن النظام يمكنه استعادة التغطية في المهام الصعبة كثيفة المعرفة التي قد تضيع لولا ذلك بسبب عدم اليقين. علاوة على ذلك، تحقق الباحثون مما إذا كان النظام سيظل موثوقاً حتى عندما تتغير نتائج بحث الويب بمرور الوقت، محاكيين بذلك سيناريو واقعياً حيث تتغير المعلومات على الإنترنت. ووجدوا أن ضمانات السلامة ظلت صامدة، مما أثبت أن النظام يمكنه التكيف مع المعلومات الجديدة دون الحاجة إلى إعادة معايرة كاملة في كل مرة يتغير فيها الويب.
يقدم هذا العمل مساراً عملياً للمضي قدماً في نشر الذكاء الاصطناعي في المواقف التي تكون فيها الدقة الواقعية أمراً بالغ الأهمية. فمن خلال الجمع بين سرعة الحكم الآلي وموثوقية التحقق الشبيهة بالبشر عبر البحث، يجسّر هذا النظام الفجوة بين الكفاءة والثقة. إنه يوضح أن الآلات يمكن تعليمها التعرف على حدودها، ليس فقط من خلال الصمت، بل من خلال معرفة متى تبحث عن الإجابة. وتخلص الدراسة إلى أنه مع وجود الضمانات الصحيحة، يمكننا بناء أنظمة تقييم تكون جريئة بما يكفي للإجابة على الأسئلة الصعبة وحذرة بما يكفي لضمان صحة تلك الإجابات، مما يوفر أساساً متيناً للجيل القادم من تطبيقات الذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.