Understanding Annotator Safety Policy with Interpretability
تقدم هذه الورقة نماذج سياسة المقيّمين (APMs)، وهو إطار عمل قابل للتفسير يستنتج سياسات السلامة الداخلية للمقيّمين مباشرة من سلوكهم في التصنيف للتمييز بين الإخفاقات التشغيلية، وغموض السياسات، والتعددية القيمية، مما يتيح تصميم سياسات سلامة أكثر استهدافاً وشمولية دون عبء إضافي في عملية التصنيف.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك رئيس طهاة في مطعم ضخم (نظام ذكاء اصطناعي). هدفك هو تقديم طعام آمن للجميع. ولتحقيق ذلك، قمت بتعيين فريق من 100 ناقد طعام مختلف (مُصنفين) لتذوق أطباقك والتقرير: "هل هذا آمن للتقديم؟" أو "هل هذا مسموم؟"
المشكلة هي أن النقاد يختلفون. فأحياناً يقول ناقد إن طبقاً حاراً "آمن"، بينما يرى آخر أنه "سام". أحياناً يختلفون لأنهم لم يقرأوا قائمة الطعام بشكل صحيح. وأحياناً يختلفون لأن تعليمات القائمة كانت غامضة. وأحياناً أخرى، يختلفون لأن لديهم أذواقاً ثقافية مختلفة حقاً.
عادةً ما يقوم مدير المطعم بإجراء تصويت؛ فإذا قال 51% إن الطبق "آمن"، يتم تقديمه. لكن هذا أمر خطير، لأنه يخفي حقيقة أن 49% من نقادك يعتقدون أنه سم، ولا يخبرك لماذا اختلفوا.
تقدم هذه الورقة أداة جديدة تسمى نماذج سياسة المُصنف (APMs). فكر في نماذج APMs كأنها "نظارات قراءة الأفكار" التي تسمح لك برؤية كيف يقرر كل ناقد بالضبط ما إذا كان الطعام آمناً أم لا، وذلك بمجرد النظر إلى ملاحظاتهم السابقة، دون الحاجة أبداً لطلب تفسير منهم.
إليك كيف شرحت الورقة ذلك:
1. المشكلة: "الصندوق الأسود" للاختلاف
عندما يقوم النقاد (سواء كانوا بشراً أو ذكاءً اصطناعياً) بتصنيف البيانات، فإنهم غالباً ما يختلفون.
- الإخفاقات التشغيلية: الناقد لم يفهم المهمة. (مثلاً: كان من المفترض أن يتذوقوا صلصة الطاهي، لكنهم تذوقوا بدلاً منها "السالسا" الحارة الخاصة بـ الزبون).
- غموض السياسة: كتاب القواعد كان مربكاً. (مثلاً: القاعدة تقول "لا تستخدم لغة مسيئة"، لكنها لا توضح ما إذا كان اقتباس كلمة سيئة لغرض تعليمي يعتبر انتهاكاً أم لا).
- تعدد القيم: النقاد لديهم قيم مختلفة ببساطة. (مثلاً: ناقد يرى أن نكتة ما مضحكة، بينما يراها آخر مسيئة).
عادةً ما نكتفي بعدّ الأصوات. ولكن إذا لم نكن نعرف لماذا صوتوا بهذه الطريقة، فلن نتمكن من إصلاح قائمة الطعام أو القواعد.
2. الحل: "نظارات قراءة الأفكار" (APMs)
بدلاً من سؤال النقاد: "لماذا صوتتم بهذه الطريقة؟" (وهو أمر بطيء، ومكلف، وغالباً ما يكذب الناس أو ينسون)، قام المؤلفون ببناء نموذج حاسوبي يتعلم كتاب القواعد الداخلي لكل ناقد بمجرد مراقبة ما يصوتون عليه.
- كيف يعمل: ينظر النموذج إلى آلاف الأصوات السابقة، ويجد الأنماط. على سبيل المثال، قد يدرك: "آه، هذا الناقد تحديداً يصوت دائماً بـ 'غير آمن' كلما ظهرت كلمة 'سلاح'، لكنه لا يهتم بكلمة 'سكين'".
- السحر: يقوم النموذج بترجمة هذه الأنماط إلى قواعد بسيطة وقابلة للقراءة (مثل المخطط الانسيابي). فهو لا يكتفي بالقول "غير آمن"؛ بل يقول "غير آمن بسبب: سلاح + بدون سياق".
- لا عمل إضافي: لا يتعين على النقاد القيام بأي شيء جديد. النموذج يدرس عملهم الحالي فقط.
3. ما كشفته النظارات
اختبر المؤلفون هذه النظارات على مجموعتين: نقاد من الذكاء الاصطناي (نماذج لغوية كبيرة) ونقاد بشر.
أ. كشف الأخطاء (الإخفاقات التشغيلية)
أظهرت النظارات أن بعض النقاد كانوا ينظرون إلى الشيء الخطأ. فقد كانوا يحكمون على سؤال الزبون الفظ بدلاً من إجابة الطاهي المهذبة. رصد النموذج هذا النمط فوراً، مما سمح للمدير بإعادة تدريب هؤلاء النقاد تحديداً.
ب. كشف القواعد الغامضة (غموض السياسة)
أظهرت النظارات أن بعض النقاد كانوا مرتبكين بشأن القواعد. على سبيل المثال، عندما حاول الطاهي تغيير الموضوع لتجنب سؤال فظ، اعتبر بعض النقاد ذلك "غير آمن" لأنهم أرادوا رفضاً مباشراً. سلط النموذج الضوء على هذا الارتباك، وأخبر المديرين: "مهلاً، كتاب القواعد الخاص بنا يحتاج لأن يكون أكثر وضوحاً بشأن ما يعتبر 'رفضاً جيداً'".
ج. سماع الأصوات المختلفة (تعدد القيم)
كان هذا الجزء الأكثر إثارة للاهتمام. وجدت النظارات أن النقاد من خلفيات مختلفة (مثل الأعمار أو المستويات التعليمية المختلفة) لديهم "أولويات سلامة" مختلفة.
- مثال: مجموعة من النقاد اعتبرت أن قيام النموذج بتغيير الموضوع بلباقة هو أمر آمن. بينما اعتبرت مجموعة أخرى أن هذا أمر خطير لأنه يبدو وكأن النموذج يخفي الحقيقة.
- الرؤية المستخلصة: إذا اكتفيت بأخذ أغلبية الأصوات، فإنك تسكت المجموعة الأقلية. تتيح لك نماذج APMs رؤية وجود هذه المجموعات المختلفة وما يهمهم، بحيث يمكنك تصميم نظام يحترم المزيد من وجهات النظر، بدلاً من مجرد اتباع وجهة نظر الأغلبية.
4. اختبار "ماذا لو"
للتأكد من أن النظارات تعمل، قام المؤلفون بخدعة. أخذوا نصاً صنفَه أحد النقاد على أنه "غير آمن"، واستخدموا النموذج لمعرفة ما الذي جعل النص غير آمن بالضبط. ثم طلبوا من ذكاء اصطناعي تغيير هذا الشيء الواحد فقط (على سبيل المثال، استبدال كلمة "قنبلة" بكلمة "كعكة").
- النتيجة: عندما عرضوا النص الجديد على الناقد الأصلي، غيّر الناقد صوته إلى "آمن".
- لماذا يهم هذا: أثبت هذا أن النموذج لم يكن يخمن فحسب؛ بل فهم بالفعل منطق الناقد. لقد عرف بالضبط أي "مكون" تسبب في وصف الطبق بأنه "مسموم".
ملخص
تجادل الورقة بأننا لا ينبغي أن نكتفي بعدّ الأصوات لتحديد مدى أمان الذكاء الاصطناعي، بل نحتاج إلى فهم المنطق الفردي وراء تلك الأصوات.
من خلال استخدام نماذج سياسة المُصنف (APMs)، يمكننا:
- إصلاح أخطاء التدريب.
- توضيح القواعد المحيرة.
- ضمان عدم محو وجهات النظر المتنوعة عن طريق الخطأ من خلال تصويت الأغلبية البسيط.
إنه يشبه الانتقال من مطعم تكتفي فيه بأخذ تصويت حول قائمة الطعام، إلى مطعم يمكنك فيه معرفة سبب إعجاب أو عدم إعجاب كل ناقد بكل طبق بالتفصيل، حتى تتمكن من جعل الطعام أفضل للجميع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.