Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation
تحدد هذه الورقة البحثية "تداخل المعايير" (rubric interference) كإشكالية في الاتساق عند تقييم النماذج اللغوية الكبيرة باستخدام معايير متعددة، وتقترح طريقة "المحاذاة ذاتية الارتكاز للمعايير" (SARA)، وهي طريقة تقطير ذاتي قائمة على السياسة المتبعة (on-policy) تستخدم أحكام المعيار الواحد كمرتكزات مستقرة لتحسين اتساق التقييم بشكل كبير عبر مجموعات البيانات وعائلات النماذج دون الحاجة إلى إشراف خارجي.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد المعاصر للذكاء الاصطناعي، تطورت النماذج اللغوية الكبيرة من مجرد مولدات نصوص بسيطة إلى مقيمين متطورين. فهي تُكلف بشكل متزايد بمهام تقييم أعمال الآلات الأخرى، لتعمل كحكام آليين لكل شيء، بدءاً من النصائح الطبية وصولاً إلى الاستدلال العلمي. ولجعل أحكامها عادلة وتفصيلية، ابتعد الباحثون عن إعطاء درجة إجمالية واحدة؛ وبدلاً من ذلك، يستخدمون قوائم مراجعة، تُعرف باسم "نماذج التقييم" (rubrics)، والتي تفكك الاستجابة إلى عناصر محددة وقابلة للتحقق مثل السلامة، أو الدقة، أو الاكتمال. والهدف هو جعل النموذج يتحقق من كل عنصر في القائمة بشكل مستقل، مما يضمن أن تكون الاستجابة آمنة حتى لو لم تكن دقيقة تماماً، أو دقيقة حتى لو لم تكن آمنة تماماً. ويعد هذا النهج بمستوى من الوضوح التشخيصي لا تستطيع الدرجة الواحدة توفيره، مما يسمح للمطورين برؤية أين ينجح النظام أو يفشل بالضبط.
ومع ذلك، تكشف دراسة جديدة عن خلل دقيق ولكن جوهري في كيفية عمل هؤلاء الحكام الآليين عند مواجهة عناصر متعددة من قائمة المراجعة في وقت واحد. فبينما تبدو النماذج ممتازة في تقييم عنصر واحد بمعزل عن غيره، يتغير حكمها عندما يُطلب منها تقييم عدة عناصر في آن واحد في تمريرة واحدة. وقد اكتشف الباحثون أن وجود عناصر أخرى في قائمة المراجعة يتداخل مع تقييم أي عنصر منفرد. فقد يتغير الحكم بشأن السلامة لمجرد إضافة سؤال حول الدقة إلى القائمة، أو بسبب إعادة ترتيب ترتيب الأسئلة. هذه الظاهرة، التي يسميها المؤلفون "تداخل نماذج التقييم" (rubric interference)، تعني أن الاستجابة نفسها قد تتلقى درجات مختلفة اعتماداً على سياق الأسئلة الأخرى التي يتم طرحها، مما يقوض موثوقية نظام التقييم الآلي.
ولمعالجة ذلك، طور فريق من الباحثين من جامعة بكين وتنسنت (Tencent) طريقة لتدريب النماذج على تجاهل هذه المشتتات. فقد وجدوا أنه بينما يعاني النموذج في تقييم عدة عناصر معاً، فإنه يظل مستقراً ومتسقاً بشكل ملحوظ عندما يقيم كل عنصر بمفرده. وقد استخدموا هذا الاستقرار كدليل؛ حيث أنشأ الباحثون عملية تدريب يقوم فيها النموذج بتوليد تقييم كامل لجميع العناصر دفعة واحدة، ولكنه يقارن استدلاله لكل عنصر مقابل نسخة "المعلم" من نفسه التي قامت بتقييم ذلك العنصر بمعزل عن غيره. ومن خلال مواءمة استدلاله المشترك مع أحكامه المستقلة المستقرة، علموا النموذج التركيز على المعايير المحددة لكل عنصر دون التأثر بوجود العناصر الأخرى. تتيح هذه التقنية، التي يسمونها "المواءمة ذاتية الارتكاز لنماذج التقييم" (self-anchored rubric alignment)، للنموذج إنتاج تقرير موحد يكون متسقاً كما لو كان قد تحقق من كل خانة على حدة.
تم اختبار نتائج هذا النهج عبر ثلاث مجموعات بيانات تغطي المحادثات الطبية، واتباع التعليمات العامة، والأسئلة العلمية، باستخدام عدة عائلات مختلفة من النماذج. وأظهرت النتائج تحسناً ملحوظاً في الاتساق. فعلى سبيل المثال، في مجموعة بيانات تتضمن أسئلة علمية، تضاعفت نسبة العينات التي أعطى فيها النموذج نفس الحكم تماماً سواء تم التحقق من العناصر معاً أو بشكل منفصل بنحو ثلاث مرات بعد التدريب. وأصبحت النماذج أقل حساسية لعدد العناصر في قائمة المراجعة؛ فبينما كانت النماذج غير المدربة تغير رأيها مع زيادة طول القائمة، حافظت النماذجة المدربة على معيار ثابت. كما أصبحت أكثر قوة ضد ترتيب الأسئلة، فلم تعد تغير أحكامها لمجرد تغيير ترتيب قائمة المراجعة.
والأهم من ذلك، أكد الباحثون أن هذه الزيادة في الاتساق لم تأتِ على حساب الدقة. فالنماذج المدربة لم تصبح مجرد نماذج آلية في اتفاقها، بل ظلت جيدة بقدر النماذج الأصلية في تحديد ما إذا كانت الاستجابة مفيدة أو صحيحة بالفعل. وفي الواقع، من خلال إزالة الارتباك الناتج عن التداخل، أدت النماذج أحياناً أداءً أفضل مقابل المعايير الخارجية. كما أظهرت الدراسة أن المهارة المكتسبة كانت عامة؛ إذ يمكن لنموذج تم تدريبه على نوع واحد من البيانات أن يطبق هذه القدرة الجديدة على مجموعة بيانات مختلفة تماماً دون أي تدريب إضافي، مما يشير إلى أنه تعلم طريقة أساسية لفصل استدلاله بدلاً من مجرد حفظ إجابات محددة.
وتم تتبع الآلية وراء هذا التحسن من خلال أنماماط الانتباه الداخلية للنموذج. فعندما كان النموذج غير المدرب يقيم عناصر متعددة، كان تركيزه يتسرب من عنصر إلى آخر، مما يؤدي إلى تأثر تحليل نقطة معينة بالاستدلال الخاص بنقطة أخرى. وبعد التدريب، انخفض هذا التسرب بشكل كبير؛ حيث تعلم النموذج توجيه انتباهه حصرياً تقريباً إلى العنصر الذي يحلله حالياً، مما أدى فعلياً إلى حجب ضجيج العناصر الأخرى في القائمة. سمح هذا التحول للنموذج بالحفاظ على خط استدلال واضح ومستقل لكل معيار، حتى أثناء معالجتها جميعاً معاً.
تمتد تداعيات هذا العمل إلى كيفية تقييم وتحسين أنظمة الذاء الاصطناعي. فبينما تُستخدم هذه النماذج بشكل متزايد لتقديم التغذية الراجعة لتدريب أنظمة أخرى، فإن موثوقية تلك التغذية الراجعة أمر بالغ الأهمية. فإذا كان "الحاكم" غير متسق، فإن إشارة التدريب ستصبح مشوشة وغير موثوقة. ومن خلال إظهار أن تداخل نماذج التقييم هو مشكلة حقيقية ومنهجية، وتقديم طريقة لإصلاحها دون الحاجة إلى مُدققين بشريين لتقديم الإجابات الصحيحة، تقدم الدراسة مساراً عملياً للمضي قدماً. إنها تشير إلى إمكانية جعل التقييم الآلي أكثر قوة وموثوقية، مما يضمن أن تكون حلقة التغذية الراجعة التي تقود الجيل القادم من الذكاء الاصطناعي مبنية على أساس من الحكم المستقر والمتسق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.