Test-Time Safety Alignment
تُثبت هذه الورقة أن تضمينات الكلمات المدخلة يمكن تحسينها عبر تقدير التدرج من الدرجة صفر لتوجيه النماذج اللغوية المتوافقة بعيداً عن الرفض الضار أو المخرجات غير الآمنة، مما يؤدي فعلياً إلى تحييد الاستجابات التي تم وضع علامة أمان عليها في الاختبارات القياسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً للغاية ومدرباً جيداً. لقد علمت هذا الروبوت أن يكون مهذباً، ومفيداً، وآمناً. هو يعرف ألا يعطيك تعليمات حول كيفية صنع قنبلة أو كتابة خطاب كراهية. ومع ذلك، فقد وجد المخادعون الأذكياء طرقاً لـ "كسر حماية" الروبوت، حيث يغلفون طلباتهم الخطيرة بأزياء تنكرية فاخرة — مثل أن يطلبوا من الروبوت "تقمص دور شرير في فيلم" أو "كتابة قصة عن رجل سيء" — لخداع الروبوت لجعله ينسى قواعد السلامة الخاصة به وينطق بمحتوى ضار.
تقدم هذه الورقة البحثية طريقة جديدة لمنع الروبوت من الوقوع في هذه الخدع، ولكن بدلاً من إعادة تدريب الروبوت أو إضافة حارس أمن جديد، يقومون بتعديل "دماغ" الروبوت مباشرة قبل أن يجيب.
إليك كيف يعمل الأمر، باستخدام تشبيهات بسيطة:
المشكلة: "مفتاح الأمان" لدى الروبوت هش
عادةً، عندما يُسأل الروبوت سؤالاً، فإنه ينظر إلى الكلمات التي كتبتها ثم يختار الكلمة التالية من قائمة مفرداته. إذا طرحت سؤالاً مخادعاً، فقد يرتبك الروبوت ويختار كلمة "سيئة".
تحاول أساليب السلامة الحالية إصلاح ذلك إما عن طريق:
- إعادة كتابة سؤالك (مثل محرر بشري يغير كلماتك).
- إضافة حارس أمن (ذكاء اصطناعي منفصل يقرأ سؤالك ويحجبه).
- تعديل التروس الداخلية للروبوت (تغيير طريقة تفكيره).
يقول المؤلفون إن هذه الأساليب معقدة بعض الشيء. هم يريدون طريقة لإصلاح إجابة الروبوت دون تغيير الكلمات التي تراها، ودون الحاجة إلى حارس أمن منفصل.
الحل: الضبط "تحت اللغوي" (القرص غير المرئي)
أدرك المؤلفون أنه قبل أن يقرأ الروبوت كلماتك، فإنه يقوم فعلياً بتحويلها إلى قائمة طويلة من الأرقام (تسمى التضمينات أو embeddings). فكر في هذه الأرقام على أنها "إحداثيات" الروبوت الداخلية لكل كلمة.
عادةً، تكون كلمة "قطة" مجرد مجموعة محددة من الإحداثيات. لكن المؤلفين اكتشفوا أنه يمكنك دفع تلك الإحداثيات بشكل طفيف وغير مرئي — وبشكل ضئيل جداً لدرجة أنه إذا حولت الأرقام مرة أخرى إلى كلمات، فستظل تقول "قطة".
التشبيه: تخيل أن دماغ الروبوت عبدو خريطة عملاقة. كلمة "قطة" هي بلدة محددة على هذه الخريطة.
- التشغيل العادي: أنت تشير تماماً إلى مركز البلدة.
- الهجوم: المخادع يوجه الروبوت نحو "منطقة خطر" خارج حدود البلدة، مما يخدعه ليعتقد أن "القطة" تعني شيئاً خطيراً.
- الإصلاح: طريقة المؤلفين تقوم بدفع إحداثيات "القطة" بلطف داخل حدود البلدة، ولكن في اتجاه مختلف قليلاً. الأمر يشبه تدوير قرص في راديو. أنت لا تزال تستمع إلى نفس المحطة ("القطة")، ولكنك قمت بضبط التردد بما يكفي لتصفية التشويش وإيقاف الإشارة السيئة.
كيف يفعلون ذلك: "اختبار التذوق الأعمى"
الروبوت عبارة عن "صندوق أسود"، مما يعني أن الباحثين لا يمكنهم رؤية الكود الخاص به لإصلاحه مباشرة. لذا، فهم يستخدمون طريقة تجربة وخطأ ذكية:
- العراف (مختبر التذوق): يستخدمون أداة سلامة عامة (مثل فلتر المحتوى) تعمل كـ "مختبر تذوق". هي تنظر إلى إجابة الروبوت وتعطيها "درجة ضرر". درجة عالية = سيء؛ درجة منخفضة = آمن.
- التخمين والتحقق: يأخذ الباحثون مدخلات الروبوت، ويضيفون إليها القليل من "الضجيج" العشوائي (مثل هز حجر النرد)، ويسألون الروبوت عما يعتقده. ثم يتحققون من درجة الضرر.
- الدفع: إذا كانت الإجابة لا تزال محفوفة بالمخاطر، فإنهم يستخدمون الرياضيات لمعرفة الاتجاه الذي يجب دفع الإحداثيات غير المرئية نحوه لخفض درجة الضرر.
- التكرار: يفعلون ذلك عدة مرات (عادةً خطوة واحدة أو اثنتين فقط). الأمر يشبه ضبط وتر الجيتار: تعزف الوتر، تستمع، تشد الوتر قليلاً، ثم تستمع مرة أخرى حتى يبدو الصوت مثالياً.
النتائج: سحر، ولكنه حقيقي
اختبرت الورقة البحثية هذا على نماذج روبوت مختلفة (من الصغيرة إلى الضخمة) ووجدت ما يلي:
- إنه يعمل: نجح في منع الروبوت من تقديم إجابات ضارة في كل حالة تقريباً، حتى عندما استخدم المخادعون أقنعة ذكية جداً.
- إنه غير مرئي: لا يزال الروبوت يجيب على السؤال بشكل طبيعي. إذا سألت "كيف أخبز كعكة؟" فسيظل يخبرك بكيفية خبز الكعكة. لكنه سيرفض إخبارك بكيفية صنع قنبلة، حتى لو سألته بطريقة مخادعة.
- إنه سريع: لا يستغرق سوى ثانيتين لكل سؤال.
- لا يفسد الإجابات الجيدة: إذا طرحت سؤالاً آمناً، فإن إجابة الروبوت لم تسؤ. لم يبدأ في رفض الإجابة على الأسئلة الآمنة لمجرد كونه آمناً.
الخلاصة الكبرى
تظهر الورقة البحثية أن "دماغ" الروبوت (أرقامه المدخلة) أكثر حساسية مما كنا نعتقد. لست بحاجة إلى تغيير الكلمات التي يقرأها البشر لتغيير سلوك الروبوت. أنت فقط بحاجة إلى تدوير الأقراص غير المرئية تحت الكلمات.
الأمر يشبه امتلاك سيارة تقود نفسها بأمان. إذا حاول شخص ما خداع السيارة لتقود نحو الهاوية، فأنت لست بحاجة إلى إعادة بناء السيارة أو توظيف سائق جديد. تحتاج فقط إلى إجراء تعديل مجهري على مستشعرات التوجيه الداخلية، وستقوم السيارة تلقائياً بتوجيه نفسها نحو الأمان.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.