Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence

في المشهد الرقمي الحديث، تطور الذكاء الاصطناعي من مجرد أداة تجيب على الأسئلة إلى نظام يحكم على جودة الأنظمة الأخرى. هذا الدور الجديد، الذي يُطلق عليه غالبًا اسم "الذكاء الاصطناعي كحكم"، يُستخدم بشكل متزايد لتقييم المقالات، ومراجعة الأكواد البرمجية، وتصفية المحتوى قبل وصوله إلى القارئ البشري. والافتراض الكامن وراء هذه الممارسة هو أن الحكم الذكي يقيم كل عمل بناءً على مزاياه الخاصة، ويعامل كل تقديم كبداية جديدة. ومع ذلك، عرف علم النفس البشري منذ زمن طويل ظاهرة تسمى "الارتكاز" (anchoring)، حيث ينجذب تقدير الشخص أو قراره بشكل خفي نحو رقم رآه سابقًا، حتى لو كان ذلك الرقم عشوائيًا أو غير ذي صلة. لعقود من الزمن، لاحظ الباحثون هذا الأمر لدى البشر، من إصدار أحكام السجن في المحاكم إلى مفاوضات الأسعار. والسؤال الحاسم في العصر الرقمي هو ما إذا كانت هذه التحيزات الشبيهة بالبشر موجودة داخل الآلات التي نثق في حيادها. فإذا تأثر "الحكم الذكي" بدرجة سابقة رآها في الخلفية، فإن نظام التقييم الآلي بأكمله قد ينحرف بشكل منهجي، مما يؤدي إلى رفض أو قبول المحتوى بشكل غير عادل.

قام فريق من الباحثين من شركة "إنفوبيب" (Infobip) بوضع اختبار مباشر لهذا الافتراض. فقد صمموا تجربة لمعرفة ما إذا كانت درجة الحكم الذكي ستتغير لمجرد أنه عُرضت عليه درجة سابقة من حكم آخر، حتى عندما تكون تلك الدرجة السابقة غير مرتبطة تمامًا بالعمل الحالي. جمعوا ثمانية نماذج لغوية كبيرة مختلفة، تتراوح من الأنظمة الضخمة والقوية إلى الأنظمة الأصغر والأكثر كفاءة، وطلبوا منها تقييم عشرين نصًا مختلفًا. غطت هذه النصوص أربعة مجالات متميزة: تلخيص المقالات، مراجعة الأكواد البرمجية، كتابة القصص الإبداعية، والإجابة على أسئلة واقعية. وضع الباحثون ثلاثة سيناريوهات مختلفة للحكام الذكيين. في السيناريو الأول، رأى الحكم المهمة والنص فقط. وفي السيناريو الثاني، رأى النص مع ملاحظة تفيد بأنه نسخة مراجعة. وفي السيناريو الثالث، رأى النص مع ملاحظة تتضمن رقمًا محددًا يمثل "درجة سابقة" من محاولة سابقة. ومن الأهمية بمكان أن هذه الدرجات السابقة كانت أرقامًا عشوائية تم إنشاؤها دائمًا لتكون أقل من درجة النجاح، مما يعني أنها صُممت لتكون غير معلوماتية وغير ذات صلة بجودة النص الفعلية.

كانت النتائج واضحة ومتسقة عبر معظم النماذج التي تم اختبارها. فعندما عُرضت على الحكام الذكيين الدرجة السابقة العشوائية، انزاحت تقييماتهم نحو الأسفل بشكل كبير. وبدلاً من معاملة النص كعمل مستقل، بدا أن النماذج ترتكز في حكمها على ذلك الرقم المنخفض. في الدراسة، أظهر سبعة من أصل ثمانية نماذج انخفاضًا ذا دلالة إحصائية في الدرجات عند وجود الدرجة السابقة. لم يكن التأثير مجرد تقلب طفيف؛ فبالنسبة لبعض النماذج، كان التحول كبيرًا بما يكفي لتغيير نتيجة التقييم. على سبيل المثال، في أحد أقوى النماذج المختبرة، تسبب وجود درجة سابقة في انخفاض معدل قبول النص بنحو اثنين وعشرين بالمائة. وهذا يعني أن المحتوى الذي كان سيتم اعتماده كجودة جيدة، رُفض فجأة لمجرد أن الحكم قد رأى رقمًا أقل في الخلفية. ووجد الباحثون أن هذا التحيز لم يكن موحدًا عبر جميع أنواع المهام؛ فقد كان أقوى في الكتابة الإبداعية والأسئلة الواقعية، بينما أظهرت مراجعة الأكواد رد فعل أضعف وأقل اتساقًا.

لفهم كيف حدث هذا داخل الآلة، نظر الباحثون في الكلمات المحددة التي كانت النماذج تأخذها في الاعتبار أثناء توليد درجاتها. واكتشفوا نمطًا يشبه "تبديل المفتاح" بدلاً من الانزلاق التدريجي. فعند إدخال الدرجة السابقة، انخفض احتمال اختيار النموذج لدرجة عالية بشكل حاد، وقفز احتمال اختيار درجة أقل. ومع ذلك، لم يبدُ أن تغيير القيمة المحددة لتلك الدرجة السابقة يهم كثيرًا؛ بل مجرد وجود الرقم هو ما أدى إلى هذا التحول. وهذا يشير إلى أن النماذج لا تقوم بحساب متوسط جديد بعناية، بل تتفاعل مع وجود "البيانات الوصفية" (metadata) نفسها. كما اختبر الباحثون ما إذا كانت التعليمات البسيطة يمكن أن تحل المشكلة. فقد جربوا الطلب من النماذج التفكير خطوة بخطوة قبل التقييم، وجربوا تحذير النماذج صراحةً لتجاهل الدرجات السابقة. ولم تنجح أي من هاتين الاستراتيجيتين. وفي الواقع، في بعض الحالات، جعلت تعليمات "الخطوة بخطوة" التحيز أسوأ، وفشل التحذير الصريح في منع انخفاض الدرجات، رغم أنه قلل من ميل النماذج لاتباع الرقم المحدد إذا كانت منحازة بالفعل.

ذهبت الدراسة إلى أبعد من ذلك لترى ما إذا كان هذا التحيز يؤثر على القرارات في العالم الحقيقي، وليس فقط الأرقام المجردة. وباستخدام مجموعة بيانات لحملات مراسلة تم تصنيفها بالفعل من قبل البشر إما على أنها آمنة أو محظورة، اختبر الباحثون كيفية أداء الحكام الذكيين عندما أُعطوا تسمية سابقة خاطئة. عندما عُرض على الذكاء الاصطناعي تسمية سابقة غير صحيحة، فشل في تصحيح الخطأ في ما يقرب من نصف الحالات التي كان بإمكانه فيها التصحيح. وبدلاً من ذلك، ظل غالبًا متمسكًا بالتسمية الخاطئة المقدمة في البيانات الوصفية. وفي اختبار مزدوج، حيث كان الذكاء الاصطناعي قد أصاب الإجابة الصحيحة سابقًا، تسبب إدخال تسمية سابقة خاطئة في تغيير حكمه الصحيح إلى الحكم الخاطئ في أكثر من عشرة بالمائة من الحالات. وهذا يوضح أن التحيز يمتد إلى ما وراء مجرد تسجيل الدرجات ليصل إلى القرارات الفئوية التي تحدد ما إذا كان المحتوى مسموحًا به أو محظورًا. وخلص الباحثون إلى أن الطريقة الوحيدة الموثوقة لمنع هذا التحيز هي إزالة البيانات الوصفية غير ذات الصلة تمامًا من "المطالبة" (prompt). ووجدوا أنه لا يوجد قدر من التوجيه أو التحذير يمكنه استعادة استقلالية الحكم بالكامل بمجرد وجود تلك المعلومات السابقة.

إن تداعيات هذه النتائج كبيرة لكل من يعتمد على الذكاء الاصطناعي لاتخاذ تقييمات عادلة. تُظهر الدراسة أن افتراض الحياد في الأنظمة المؤتمتة هو أمر هش. فحتى عندما تكون المعلومات المقدمة غير ذات صلة بوضوح، فإن النماذج ليست محصنة ضد تأثير السياق. هذا التحيز ليس "خطأً برمجياً" (bug) يمكن إصلاحه بسهولة بتعليمات بسيطة؛ بل يبدو أنه جزء أساسي من كيفية معالجة هذه الأنظمة للمعلومات. وأكد الباحثون أنه بينما غطت اختباراتهم مجموعة محددة من النماذج والمهام، فإن النتائج تشير إلى ضعف أوسع نطاقًا. ولبناء أنظمة جديرة بالثقة، يجب على المطورين هندسة السياق الذي يعمل فيه الذكاء الاصطناعي بعناية، لضمان عدم تسرب أي أرقام أو تسميات خارجية من الخطوات السابقة إلى التقييم الحالي. ويتطلب المسار المستقبلي إجراء تحقق نشط لكل نموذج ومهمة على حدة، بدلاً من الاعتمار السلبي على أن الآلة ترى العالم بوضوح من تلقاء نفسها.