Red Teaming LLMs as Socio-Technical Practice: From Exploration and Data Creation to Evaluation
بالاستناد إلى مقابلات مع ٢٢ ممارساً، تنتقد هذه الورقة التركيز التقني الحالي لعمليات "الفريق الأحمر" (red teaming) لنماذج اللغات الكبيرة من خلال فحص الممارسات الاجتماعية-التقنية لإنشاء مجموعات البيانات وتقييمها، كاشفةً كيف يغفل تصور المخاطر غالباً عن السياق وخصوصية المستخدم، مع اقتراح اتجاهات جديدة لأبحاث التفاعل بين الإنسان والحاسوب (HCI).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قمت ببناء مساعد آلي ذكي ومهذب للغاية. تريد التأكد من أنه لا يقول أبدًا أي شيء لئيم أو خطير أو غبي. لاختبار ذلك، تقوم بتوظيف مجموعة من "المخترقين الرقميين" (يُطلق عليهم اسم Red Teamers أو فرق الاختبار الحمراء)، ومهمتهم الوحيدة هي محاولة خداع الروبوت لكسر قواعده.
هذه الورقة البحثية هي نظرة من خلف الكواليس حول كيفية قيام هؤلاء المختبرين (Red Teamers) بأداء عملهم بالفعل. المؤلفون، وهم باحثون في مجال التفاعل بين الإنسان والحاسوب (HCI)، أجروا مقابلات مع 22 من هؤلاء المختبرين لفهم كيفية إنشاء "الأسئلة الخادعة" (مجموعات البيانات) وكيف يقررون ما إذا كان الروبوت قد فشل.
إليك قصة نتائجهم، مشروحة ببعض التشبيهات من الحياة اليومية.
1. طريقتان في التفكير: البحث عن الكنز مقابل التدقيق الإملائي
وجد الباحثون أن مختبري الـ Red Teaming يتبعون طريقتين مختلفتين تمامًا في عملهم، اعتمادًا على خلفياتهم:
- الباحثون عن الكنز (أهل التعلم المعزز - Reinforcement Learning): يرى هؤلاء عقل الروبوت ككهف مظلم وعملاق. هدفهم هو الركض بجنون في كل مكان، وإلقاء كل سؤال ممكن يمكنهم التفكير فيه، فقط ليروا ماذا سيحدث. هم يهتمون بـ التغطية (Coverage).
- تشبيه: تخيل أنك تحاول العثب على كنز مخفي في غابة شاسعة. أنت لا تهتم بنوع الشجرة؛ بل تريد فقط السير في كل مسار للتأكد من أنك لن تفقد الذهب. إنهم يريدون إيجاد أي طريقة لكسر الروبوت.
- المدققون الإملائيون (أهل معالجة اللغات الطبيعية - NLP): يرى هؤلاء المهمة كمهمة تصنيف. لديهم قائمة بـ "الكلمات السيئة" أو "المواضيع السيئة" (مثل خطاب الكراهية أو العنف) ويحاولون معرفة ما إذا كان الروبوت سيزل في تلك العناصر المحددة.
- تشبيه: تخيل معلمًا يصحح اختبارًا. لديه نموذج إجابة يحتوي على أخطاء محددة للبحث عنها (الإملاء، القواعد، الأخطاء الرياضية). هم لا يستكشفون الغابة بأكملها؛ بل يتحققون فقط مما إذا كان الطالب قد ارتكب الأخطاء المحددة الموجودة في القائمة.
المشكلة: قد يغفل "الباحثون عن الكنز" عن الإهانات الثقافية الدقيقة لأنهم مشغولون جدًا بالبحث عن الانفجارات الكبيرة. بينما قد يغفل "المدققون الإملائيون" عن طرق جديدة وغريبة لخداع الروبوت لأنهم يبحثون فقط في قائمتهم المكتوبة مسبقًا.
2. مشكلة كتاب الوصفات (إنشاء البيانات)
لاختبار الروبوت، تحتاج إلى قائمة من الأسئلة الخادعة. وجدت الورقة البحثية ثلاث طرق يحصل بها مختبرو الـ Red Teamers على هذه القوائم:
- طريقة "النسخ واللصق": يأخذون قائمة بالأسئلة السيئة التي صنعها شخص آخر بالفعل.
- المخاطرة: إذا كانت القائمة الأصلية قد كُتبت من قبل أشخاص في بلد واحد، فقد تغفل عن المشكلات التي تحدث في بلد آخر. الأمر يشبه استخدام كتاب وصفات من إيطاليا لطهي وجبة لعائلة في اليابان؛ قد تفقد المكونات المحلية أو الأذواق المحلية.
- طريقة "من الصفر": يكتبون أسئلتهم الخاصة من البداية.
- المخاطرة: هذا يستغرق الكثير من الوقت، لذا قد يكتبون فقط أسئلة حول ما يعتقدون هم أنه مهم، مما يؤدي لتجاهل ما يهتم به الآخرون.
- طريقة "الحياة الواقعية": يراقبون الأشخاص الحقيقيين وهم يدردشون مع الروبوتات عبر الإنترنت، ويسرقون الأسئلة الخادعة التي يستخدمها الناس فعليًا.
- الفائدة: هذه هي الطريقة الأكثر واقعية، لكنها صعبة التنظيم.
الرؤية الجوهرية: تجادل الورقة البحثية بأن قائمة الأسئلة (مجموعة البيانات) ليست محايدة. إنها تشبه عدسة الكاميرا. إذا كانت العدسة متسخة أو تركز على الشيء الخطأ، فستكون الصورة (اختبار السلامة) ضبابية. إذا نظر مختبرو الـ Red Teamers فقط إلى الأسئلة باللغة الإنجليزية، فلن يروا كيف يتصرف الروبوت باللغة الإسبانية أو الكورية.
3. "المرة الواحدة" مقابل "المحادثة الطويلة"
يعامل معظم مختبري الـ Red Teamers الروبوت مثل آلة البيع الذاتي: تضع عملة معدنية (سؤال)، وتحصل على وجبة خفيفة (إجابة). إذا كانت الوجبة سيئة، فقد فشل الروبوت.
لكن الباحثين وجدوا أن الحياة الواقعية تشبه أكثر محادثة طويلة مع صديق.
- التشبيه: تخيل صديقًا لطيفًا في العادة. إذا سألته مرة واحدة: "هل يمكنني الحصول على محفظتك؟" سيقول "لا". ولكن إذا تحدثت معه لمدة ساعة، وبنيت الثقة، ثم سألته مرة أخرى، فقد يعطيك إياها.
- الفجوة: معظم الاختبارات تسأل السؤال "لمرة واحدة" فقط. إنهم يغفلون عن خطر تعرض الروبوت للخداع بعد محادثة طويلة مدتها 20 دقيقة حيث يقوم المستخدم تدريجيًا بخفض دفاعات الروبوت.
4. نقطة العمى: "لمن هذا الروبوت؟"
لاحظ الباحثون أن مختبري الـ Red Teamers غالبًا ما يعاملون الروبوت كما لو كان سيُستخدم من قبل "شخص متوسط" عام.
- التشبيه: تخيل اختبار سيارة جديدة على طريق سريع ناعم وخالٍ فقط. قد تعتقد أن السيارة آمنة. لكنك لم تختبرها أبدًا على طريق طيني، أو مع طفل في المقعد الخلفي، أو مع سائق متعب.
- الواقع: قد يكون الروبوت آمنًا لمهندس بالغ، ولكنه خطر على مراهق وحيد أو شخص مسن مرتبك. الاختبارات الحالية غالبًا ما تتجاهل هذه الفئات المحددة.
5. مشكلة "القاضي"
أخيرًا، كيف تعرف ما إذا كان الروبوت قد فشل؟
- روبوتات القضاة: نظرًا لوجود عدد كبير جدًا من الأسئلة للتحقق منها، غالبًا ما يستخدم مختبرو الـ Red Teamers ذكاءً اصطناعيًا آخر لتقييم الذكاء الاصطناعي الأول.
- المخاطرة: إنه يشبه طلب من طالب أن يصحح واجبه المنزلي بنفسه. "القاضي" الذكي قد يكون لديه نفس نقاط الضعف التي لدى "الطالب" الذكي.
- القضاة البشر: البشر أفضل، لكنهم مكلفون وبطيئون. أيضًا، من الذي يحصل على حق أن يكون القاضي؟ قد يرى عالم من الولايات المتحدة أن دعابة ما مضحكة، بينما قد يراها شخص من ثقافة أخرى مسيئة.
لماذا هذا مهم (ما الفائدة من كل هذا؟)
تخلص الورقة البحثية إلى أن السلامة ليست مجرد خلل تقني؛ بل هي خيار اجتماعي.
في الوقت الحالي، نحن نبني اختبارات سلامة تشبه قوائم التحقق في المصنع. إنها تتحقق مما إذا كانت الآلة تعمل، لكنها لا تسأل: من يستخدم هذا؟ أين هم؟ بماذا يشعرون؟
نصيحة المؤلفين للمستقبل:
- توقفوا عن كونكم "محايدين": لا تكتفوا بإلقاء أسئلة عشوائية على الروبوت. صمموا اختبارات بناءً على أشخاص حقيقيين (مثل الأطفال أو كبار السن) في مواقف حقيقية.
- أشركوا الخبراء: لا تتركوا علماء الكمبيوتر فقط يقررون ما هو "ضار". اطلبوا رأي علماء الاجتماع، وعلماء النفس، وقادة المجتمع.
- شاهدوا الفيلم كاملاً، وليس الإعلان الترويجي فقط: لا تختبروا سؤالًا واحدًا فقط. اختبروا المحادثات الطويلة لمعرفة كيف يتصرف الروبوت بمرور الوقت.
باخت-القول: نحن نحاول بناء ذكاء اصطناٍ آمن، لكن اختبارات السلامة الحالية لدينا تشبه قيادة سيارة وأنت معصوب العينين، تتحقق فقط من وجود الحفر على طريق مستقيم. نحن بحاجة لنزع العصابة عن أعيننا، والنظر إلى الركاب، والقيادة في الطرق الحقيقية الفوضوية للحياة البشرية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.