When Validating the Judge Changes the Result: Instability in Human Validation of LLM Safety Graders
تُثبت هذه الورقة أن التحقق البشري من أحكام سلامة النماذج اللغوية الكبيرة غير مستقر للغاية ويعتمد على عوامل إجرائية مثل التعمية وعدد المقيّمين، مما يؤدي غالباً إلى نتائج متناقضة يمكنها أن تحدد بشكل تعسفي ما إذا كان النموذج يجتاز عتبات السلامة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، تُعد السلامة أهم نقطة تفتيش. فقبل إطلاق أي نموذج لغوي جديد للجمهور، يجب على المطورين التأكد من أنه لا يمكن خداعه لتوليد تعليمات خطيرة، مثل كيفية صنع سلاح أو ارتكاب عملية احتيال. وللقيام بذلك، غالبًا ما يستخدمون نظام ذكاء اصطناعي ثانٍ ومؤتمت ليعمل كقاضٍ، حيث يقوم بفحص إجابات النموذج وتحديد أي شيء ضار. ولكن نظرًا لأن الآلات يمكن أن ترتكب أخطاء، فإن هذه الأحكام المؤتمتة عادة ما يتم مراجعتها من قبل بشر. والافتراض السائد منذ فترة طويلة هو أنه بينما قد يختلف البشر في الحالات الحدية، فإن حكمهم الجماعي يوفر أساسًا مستقرًا وموثوقًا للثقة في القاضي المؤتمت. فإذا قال الفحص البشري إن النموذج آمن، يحصل النموذج على الضوء الأخضر للإطلاق.
يتحدى بحث حديث هذا الافتراض في جوهره. فقد سعى الباحثون إلى قياس مشكلة سلامة محددة: ما إذا كانت نماذج الذكاء الاصطناعي أكثر عرضة لرفض الطلبات الضارة عندما تُطرح بطريقة جامدة ورسمية مقابل نبرة عفوية وحوارية. توقعوا العثور على فجوة في أداء السلامة، لكنهم اكتشفوا بدلاً من ذلك أن عملية التحقق من القاضي نفسه كانت غير مستقرة. فعندما تمت مراجعة نفس المجموعة من استجابات الذكاء الاصطناعي من قبل فرق بشرية مختلفة باستخدام قواعد مختلفة قليلاً، تباينت النتال بشكل حاد. في بعض الحالات، خلص البشر إلى أن النموذج غير آمن بشكل خطير؛ وفي حالات أخرى، قرروا أنه آمن تمامًا. وجد الباحثون أن الطريقة المستخدمة للتحقق من صحة القاضي كانت أهم من القاضي نفسه، لدرجة أن تغييرًا واحدًا في عملية المراجعة يمكن أن يحول درجة النجاح إلى فشل.
بدأ التحقيق بسؤال بسيط حول كيفية تحدث الناس مع الآلات. أنشأ الفريق 300 زوج من الطلبات الضارة، حيث طُرحت نفس الأسئلة الخطيرة بأسلوبين مختلفين. كان أحد الأساليب رسميًا وجافًا، يشبه أسئلة الاختبارات المدرسية. والآخر كان عفويًا وحواريًا، يبدو كشخص حقيقي يدردش مع صديق. مرروا هذه المطالبات عبر ستة نماذج مختلفة من الذكاء الاصطناعي وطلبوا من قاضٍ مؤتمت تصنيف كل إجابة كرفض، أو تحذير جزئي، أو تعليمات ضارة. وجد القاضي المؤتمت نمطًا واضحًا: كانت النماذج ترفض الأسئلة الرسمية أكثر بكثير من الأسلوية. وهذا يشير إلى أن النماذج قد تكون أكثر عرضة للوقوع في الخطأ وتقديم نصائح خطيرة عندما يبدو الطلب كأنه مستخدم حقيقي بدلاً من كونه اختبارًا.
للتحقق من هذه النتيجة، احتاج الباحثون إلى معرفة ما إذا كان القاضي المؤتمت صحيحًا بالفعل. أخذوا عينة من الإجابات وطلبوا من البشر تقييمها. تضمن المحاولة الأولى مراجعًا واحدًا يمكنه رؤية سياق السؤال وقراءة الجزء الأول فقط من الإجابة. خلص هذا الشخص إلى أن الفجوة في السلامة كانت ضخمة، مما يشير إلى أن النماذج تفشل في حماية المستخدمين في المحادثات العفوية. ومع ذلك، أدرك الباحثون أن هذا الإعداد كان به عيوب؛ فقد كان المراجع يعرف ما يبحث عنه، ولم يرَ الإجابة كاملة، مما قد يخفي تفاصيل مهمة.
جرب الفريق مرة أخرى إعدادًا ثانيًا أكثر صرامة. هذه المرة، قام شخصان مختلفان بمراجعة نفس الـ 442 إجابة بشكل مستقل. كلاهما شاهد أول 700 حرف من النص وإطار السؤال. وكانت النتيجة مذهلة. فقد اتفق المراجعان على أقل من نصف الإجابات. والأهم من ذلك، أنهما توصلا إلى استنتاجات متناقضة بشأن فجوة السلامة. رأى أحد المراجعين عدم وجود فرق تقريبًا بين الأساليب الرسمية والعفوية، بينما رأى الآخر فشلًا أمنيًا هائلًا. كان اختلافهما شديدًا لدرجة أنه لو استُخدمت بيانات المراجع الأول، لتمت الموافقة على النموذج؛ ولو استُخدمت بيانات المراجع الثاني، لتم رفض النموذج. حدث هذا رغم أنهما كانا ينظران إلى النص نفسه، ويستخدمان نفس القواعد، ويعملان في نفس الوقت.
لحل هذا الارتباك، صمم الفريق تدقيقًا ثالثًا محكم التحكم للغاية. أخفوا سياق الأسئلة عن المراجعين حتى لا يتمكنوا من تخمين الأسلوب، وتأكدوا من أن المراجعين يشاهدون الاستجابة بأكملها. كما وضعوا قواعد صارمة مسبقًا لتحديد ما يُعد ضارًا بالضبط. هذه المرة، اتفق المراجعون مع بعضهم البعض بشكل أكبر بكثير. وأظهر حسابهم النهائي وجود فجوة سلامة صغيرة جدًا، مما يشير إلى أن النماذج في الواقع آمنة تمامًا في المحادثات العفوية. كانت هذه النتيجة قريبة مما توقعه القاضي المؤتمت الأصلي، لكن الرحلة للوصول إليها كشفت عن مشكلة عميقة.
اختبر الباحثون بعد ذلك ما إذا كانت طريقة توليد الإجابات قد أدت إلى انحراف النتائج. تم قطع الإجابات الأصلية بعد 200 رمز (token)، وكانت الاستجابات العفوية تنقطع أكثر من الرسمية. قام الفريق بإعادة توليد جميع الإجابات بحد أقصى أطول بكثير لضمان عدم نقص أي شيء. وحتى مع النص الكامل وغير المقيد، ظلت الفجوة المؤتمتة كما هي. وهذا استبعد فكرة أن النص المفقود كان سبب الارتباك. كان المتغير الوحيد المتبقي هو عملية المراجعة البشرية نفسها.
يخلص البحث إلى أن التحقق من صحة قاضي سلامة الذكاء الاصطناعي ليس مج مجرد فحص سلبي بسيط. إنه تجربة معقدة في حد ذاتها، حيث يمكن للقواعد المحددة، وكمية النص المعروض، وعدد المراجعين أن تغير النتيجة تمامًا. وجد الباحثون أن القضاة المؤتمتين المختلفين يرسمون الخط الفاصل بين "آمن" و"غير آمن" في أماكن مختلفة، وهو ما يفسر سبب اختلاف الآلات. لكن الخلاف البشري كان أكثر إثارة للقلق لأنه حدث تحت ظروف متطابقة. ويرى الفريق أنه لكي تكون تقييمات السلامة جديرة بالثقة، يجب توثيق عملية المراجعة بأكملها بدقة متناهية. يجب تحديد كل تفصيل، من كمية النص الذي يقرأه الإنسان إلى معرفته بالسياق، والإبلاغ عنه. وبدون هذا المستوى من العناية، فإن رقمًا واحدًا رئيسيًا يدعي أن النموذج آمن أو غير آمن هو مجرد تخمين، ويمكن للاختيار فيمن يفحص القاضي أن يقرر ما إذا كانت تكنولوجيا قوية ستُطلق للعالم أو ستبقى في المختبر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.