LLM Judges Inconsistently Disagree Across Safety Criteria and Harm Categories
تكشف هذه الورقة أن النماذج اللغوية الكبيرة المستخدمة كحكام آليين تظهر عدم اتساق وعدم موثوقية كبيرين، لا سيما عند تقييم المجالات المنظمة مثل التمويل أو التباين حسب اللغة والمعايير، مما يسلط الض_ الضوء على الحاجة إلى التنفيذ الدقيق في تقييمات السلامة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك استأجرت لجنة من ستة نقاد فنيين مختلفين لتحكيم سلسلة من اللوحات. تريد منهم أن يتفقوا على أي اللوحات "آمنة" (جيدة ومناسبة) وأيها "غير آمنة" (سيئة أو ضارة). تتوقع أنه إذا عرضت عليهم نفس اللوحة، أو حتى نسخة مختلفة قليلاً منها (مثل صورة للوحة في إطار مختلف، أو ترجمة لملاحظة الفنان إلى لغة أخرى)، فيجب أن يعطيها جميعاً نفس الحكم تقريباً.
هذه الورقة البحثية تدور حول اختبار ذلك بالضبط، ولكن بدلاً من نقاد الفن، فإن "القضاة" هم نماذج لغوية كبيرة (ذكاء اصطناعي)، وبدلاً من اللوحات، هم يحكمون على نصوص من إنتاج الذكاء الاصطناعي لتقييم سلامتها.
إليك تفصيل لما وجده الباحثون، باستخدام تشبيهات بسيطة:
1. مشكلة "الواضح مقابل الخفي"
اختبر الباحثون قضاة الذكاء الاصطناي على نوعين مختلفين تماماً من المحتوى "السيئ":
- اختبار "صراخ النار" (العنف): طلبوا من الذكاء الاصطناعي الحكم على نصوص تتعلق بالعنف، أو خطاب الكراهية، أو الأفعال غير القانونية.
- النتيجة: كان قضاة الذكاء الاصطناعي جيدين في هذا الأمر. إذا كانت اللوحة تشتعل فيها النيران بوضوح، فقد اتفق النقاد الستة جميعاً: "هذا غير آمن".
- اختبار "النصيحة المالية" (المجالات المنظمة): طلبوا من الذكاء الاصطناعي الحكم على نصوص يقدم فيها الذكاء الاصطناعي نصائح حول أمور مثل درجات الائتمان، أو طلبات التأشيرة، أو النصائح الطبية.
- التيجة: كان قضاة الذكاء الاصطناعي سيئين للغاية في الاتفاق هنا. الأمر يشبه أن تطلب من ستة نقاد الحكم على لوحة هي تقريباً تحفة فنية ولكن بها عيب واحد صغير وخفي. يقول أحد النقاد: "إنها آمنة، فقط محفوفة بالمخاطر قليلاً"، بينما يقول آخر: "إنها خطيرة، تخلصوا منها!". لم يستطيعوا الاتفاق على ما يعنيه "آمن" حتى في هذه السيناريوهات المعقدة والواقعية.
2. مشكلة "المرآة السحرية" (الاتساق الذاتي)
أخذ الباحثون استجابة واحدة من الذكاء الاصطناعي وعرضوها على القضاة عبر "مرايا" مختلفة:
الترجمة: عرضوا النص بالإنجليزية، ثم الفرنسية، ثم الهندية، إلخ.
إعادة الصياغة: أعادوا كتابة النص ليبدو أكثر رسمية، أو أكثر عفوية، أو لتغيير ترتيب الجمل، دون تغيير المعنى الفعلي.
النتيجة: كان القضاة غير متسقين. إذا قال القاضي: "هذه الجملة الإنجليزية آمنة"، فقد ينظر إلى نفس الجملة تماماً بعد ترجمتها إلى الهندية ويقول: "انتظر، هذه النسخة الهندية غير آمانة!". أو قد ينظرون إلى نسخة معاد صياغتها ويغيرون رأيهم.
التشبيه: تخيل حارس أمن يوقف شخصاً يرتدي قميصاً أحمر، لكنه يسمح لنفس الشخص وهو يرتدي قميصاً أزرق بالمرور، رغم أنه هو الشخص نفسه تماماً. قضاة الذكاء الاصطناعي يسهل خداعهم بطريقة "تزيين" الكلمات، وليس بما تقوله الكلمات فعلياً.
3. مشكلة "هيئة المحلفين" (الاتساق المتبادل)
سأل الباحثون أيضاً: "إذا وضعنا جميع القضاة الستة في غرفة واحدة معاً، هل سيتفقون مع بعضهم البعض؟"
- النتيجة: لا. حتى عند النظر إلى نفس النص وباللغة نفسها، غالباً ما يعطي القضاة إجابات متضاربة.
- التشبيه: تخيل هيئة محلفين حيث يصوت أحد الأشخاص بـ "مذنب"، وآخر بـ "غير مذنب"، وثالث بـ "ربما". إنهم جميعاً ينظرون إلى نفس الأدلة، لكن لديهم كتب قواعد داخلية مختلفة تماماً لما يعتبر جريمة. وجدت الورقة أنه بالنسبة للمواضيع المعقدة (مثل النصيحة المالية)، فإن "هيئة المحلفين" غالباً ما تكون في حالة فوضى عارمة.
4. فخ "الاتفاق الزائف"
تشير الورقة إلى خدعة إحصائية مخادعة.
- أحياناً، يقول جميع القضاة "آمن" بنسبة 99% من الوقت. إذا قمت فقط بعد أصوات "نعم"، سيبدو الأمر وكأنهم في اتفاق تام (اتساق بنسبة 100%).
- الخدعة: لكن إذا كانوا يقولون "آمن" فقط لأنهم كسالى أو متحيزون، وليس لأنهم يفكرون فعلياً في التفاصيل الدقيقة، فهذا ليس اتفاقاً حقيقياً. استخدم الباحثون رياضيات خاصة (مثل درجة "مصححة حسب الفرصة") لتجريد هذا الاتفاق الزائف.
- التشبيه: الأمر يشبه مجموعة من الأصدقاء يخمنون الإجابة على سؤال في مسابقة معلومات عامة. إذا كانت الإجابة هي "نعم" في 99% من الحالات، وكان الجميع يخمن "نعم"، فسيبدون كعباقرة. لكن إذا كان السؤال صعباً في الواقع وهم يخمنون فقط الإجابة الأكثر شيوعاً، فهم ليسوا في الحقيقة متفقين على السبب المنطقي. تُظهر الورقة أنه عندما تنظر بعمق أكبر، فإن قضاة الذكاء الاصطناعي يختلفون كثيراً في الواقع.
الخلاصة
تخلص الورقة إلى أنه بينما يجيد قضاة الذكاء الاصطناعي رصد الأخطار الواضحة والصاخبة (مثل العنف)، إلا أنهم غير موثوقين وغير متسقين عند الحكم على النصائح الواقعية الدقيقة (مثل التمويل أو القانون).
إذا استخدمت ذكاءً اصطناعياً ليعمل كحارس سلامة للمواضيع المعقدة، فلا يمكنك الوثوق به ليكون متسقاً. فقد يمرر إجابة خطيرة لمجرد أن بنية الجملة تغيرت قليلاً، أو قد يرفض إجابة آمنة لمجرد أنها تُرجمت إلى لغة مختلفة. إن "هيئة المحلفين" من نماذج الذكاء الاصطناعي منقسمة حالياً بشكل يمنع الوثوق بها لاتخاذ قرارات عالية المخاطر دون إشراف بشري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.