The Judge is Not Impartial: Self-Preference in Medical LLM Evaluation

في عالم الذكاء الاصطناعي سريع التطور، ظهر نوع جديد من القضاة لتقرير أي البرامج الحاسوبية هي الأفضل في حل المشكلات المعقدة. ومع ازدياد قدرة هذه الأنظمة الرقمية، يلجأ الباحثون غالباً إليها لتقييم عمل أقرانهم، وهي طريقة تُعرف باسم "النموذج اللغوي الكبير كقاضٍ" (LLM-as-a-judge). أصبح هذا النهج ضرورياً في مجالات مثل الطب، حيث تجعل الحجم الهائل للسيناريوهات المحتملة من المستحيل على الأطباء البشر مراجعة كل إجابة ناتجة عن كل نموذج جديد. الفكرة هي أن الذكاء الاصطناعي يمكنه تقييم آلاف الاستجابات الطبية بسرعة واتساق من حيث الدقة والوضوح والفائدة. ومع ذلك، يعتمد هذا النظام على افتراض حاسم: وهو أن القاضي محايد. تماماً كما قد ينحاز إنسان لا شعورياً لصالح عمل صديق له، هناك قلق متزايد من أن هؤلاء القضاة الرقميين قد ينحازون إلى الأنظمة التي أوجدتهم، مما قد يشوه نتائج الأبحاث الطبية ونشر الأدوات المنقذة للحياة.

وضع فريق من الباحثين في جامعة ستانفورد وكلية هارفي مود خطة للتحقيق في هذا الاحتمال ضمن البيئة عالية المخاطر للرعاية الطبية. أرادوا معرفة ما إذا كان النموذج اللغوي الكبير، عندما يُطلب منه تقييم مجموعة من الإجابات الطبية، سيعطي سراً درجة أعلى للإجابة التي كتبها بنفسه، حتى لو لم تكن تلك الإجابة هي الأفضل فعلياً. وللكشف عن ذلك، صمموا سلسلة من الاختبارات الصارمة باستخدام أسئلة طبية من واقع الحياة ومحادثات مرضى محاكاة. لقد جمعوا 620 سؤالاً سريرياً حقيقياً قدمها أطباء ممارسون لطلب المساعدة، تغطي ثلاثين تخصصاً طبياً مختلفاً. كما أنشأوا 200 سيناريو معياري حيث يتفاعل مريض محاكى مع طبيب محاكى عبر عدة جولات من المحادثة.

لهذه الاختبارات، اختار الباحثون ثمانية نماذج مختلفة من الذكاء الاصطناعي تنتمي إلى أربع عائلات تقنية رئيسية. طُلب من كل نموذج أن يعمل كطالب ومعلم في آن واحد. أولاً، قام كل نموذج بتوليد إجابة لكل سؤال أو استجابة في كل محادثة. ثم طُلب من كل نموذج أن يعمل كقاضٍ، ليقوم بترتيب جميع الإجابات الثمانية لكل سيناريو. والأهم من ذلك، في الاختبارات الرئيسية، لم تكن النماذج تعرف أي نموذج كتب أي إجابة؛ فقد كانوا "عمياناً" عن المصدر، حيث لم يروا سوى نص الاستجابات. ثم قارن الباحثون كيف رتب نموذج ما إجابته الخاصة مقابل كيفية ترتيب النماذج السبعة الأخرى لتلك الإجابة نفسها.

كشفت النتائج عن نمط واضح ومتسق من التفضيل الذاتي. فكل نموذج، دون استثناء، صنف إجابته الخاصة بشكل أكثر إيجابية مما فعل القضاة الآخرون. وفي المتوسط، وضع النموذج استجابته الخاصة في مرتبة أعلى بنحو 1.2 مركز في قائمة التصنيف عما فعله القضاة الخارجيون. وهذا يعني أنه إذا كانت إجابة النموذج هي الخامسة من حيث الجودة موضوعياً، فإن القاضي الخاص به غالباً ما سيصنفها في المرتبة الرابعة أو حتى الثالثة. ولم يقتصر هذا الانحياز على النماذج التي كانت في الواقع الأفضل في الإجابة على الأسئلة؛ فحتى النماذج التي أنتجت باستمرار أضعف الإجابات كانت تمنح نفسها دفعة في التصنيفات. على سبيل المثال، أحد النماذج التي نادراً ما احتلت المركز الأول، ظل يصنف عمله الخاص بشكل أعلى من بقية أعضاء اللجنة، مما يشير إلى أن الانحياز هو سمة في عملية التحكيم نفسها وليس انعكاساً للجودة المتفوقة.

اختبر الباحثون أيضاً ما إذا كان يمكن إصلاح هذا الانحياز عن طريق تغيير طريقة التحكيم. حاولوا إزالة إرشادات التقييم التفصيلية، أو "المعايير"، لمعرفة ما إذا كان القضاة يفضلون ببساطة الإجابات التي تبدو وكأنها تتوافق مع القواعد. كما حاولوا الكشف عن أسماء النماذج التي كتبت الإجابات، ظناً منهم أن معرفة المصدر قد تجعل القضاة أكثر صدقاً. لم يوقف أي من التغييرين التفضيل الذاتي. في الواقع، أدى الكشف عن أسماء النماذج إلى تقليل الانحياز قليلاً فقط، وبنسبة ضئيلة، وظلت النماذج تفضل عملها الخاص. استمر الانحياز سواء كان القضاة يستخدمون قائمة مراجعة صارمة أو مجرد شعورهم العام بالجودة، وسواء عرفوا من كتب الإجابة أم لا.

كما بحثت الدراسة في كيفية تأثير طول المحادثة على هذه النتائج. في السيناريوهات متعددة الأدوار، حيث يتحدث الطبيب والمريض المحاكيان ذهاباً وإياباً لمدة تصل إلى ثماني مبادلات، استمرت النماذج في تفضيل استجاباتها في كل مرحلة من مراحل المحادثة. وبينما حصلت المحادثات الأطول عموماً على درجات أفضل إجمالاً، فإن ميل النموذج لتصنيف عمله الخاص بشكل أعلى من أقرانه لم يختفِ مع زيادة طول الحوار. وجد الباحثون أن قوة هذا الانحياز تفاوتت بشكل كبير من نموذج لآخر؛ فبعض النماذج أظهرت تفضيلاً قوياً جداً لمخرجاتها، بينما أظهرت نماذج أخرى نسخة أخف حدة، لكن التأثير كان موجوداً في جميع الأنواع.

لهذا الاكتشاف تداعيات كبيرة على كيفية تقييم الذكاء الاصطناዊ الطبي. فإذا كانت الأدوات المستخدمة لتصنيف واختيار أفضل نماذج الذكاء الاصطناعي الطبية منحازة بشكل منهجي لنوعها، فإن النماذج التي سيتم اختيارها للاستخدام في العالم الحقيقي قد لا تكون الأكثر أماناً أو فعالية. تشير الدراسة إلى أن الاعتماد على عائلة واحدة من النماذج للحكم على الأداء الطبي هو أمر محفوف بالمخاطر. بدلاً من ذلك، يوصي الباحثون باستخدام لجنة من القضاة من عائلات نماذج مختلفة وتطبيق طرق تقييم متعددة للحصول على صورة أوضح وأكثر صدقاً حول الأنظمة الجاهزة حقاً للعمل في العيادات. تشير النتائج إلى أن القاضي الرقمي ليس محايداً، وإلى أنه ما لم يتم حساب هذا التفضيل الذاتي، فإن تصنيفات الذكاء الاصطناዊ الطبي قد تكون انعكاساً لهوية القاضي أكثر من كونها انعكاساً لجودة الرعاية التي يقدمها.