Mitigating Over-Refusal in Aligned Large Language Models via Inference-Time Activation Energy
تقدم هذه الورقة "توجيه مشهد الطاقة" (ELS)، وهو إطار عمل للتوجيه أثناء الاستدلال لا يتطلب ضبطاً دقيقاً، يستخدم نموذجاً خفيف الوزن قائماً على الطاقة لتوجيه تنشيطات النماذج اللغوية الكبيرة ديناميكياً، مما يقلل بفعالية من الإفراط في رفض الطلبات الحميدة مع الحفاظ على سلامة قوية ضد المطالبات الضارة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً للغاية ونيته طيبة. لقد قمت بتدريب هذا الروبوت ليكون آمناً، لذا فهو يرفض القيام بالأشياء السيئة مثل إعطاء تعليمات حول كيفية صنع قنبلة أو اختراق بنك. هذا أمر رائع!
ولكن هناك مشكلة: لقد أصبح الروبوت حذراً أكثر من اللازم. إنه يشبه حارس أمن يخشى بشدة من دخول مجرم، مما يجعله يمنع أيضاً ساعي البريد، وعامل توصيل البيتزا، وحتى جدتك من دخول المبنى.
إذا سألته: "كيف أعالج حرقاً؟" قد يقول الروبوت: "لا يمكنني المساعدة في ذلك، يبدو الأمر خطيراً!" رغم أنك تريد فقط نصيحة طبية. يُسمى هذا "الإفراط في الرفض" (Over-Refusal). وهذا يجعل الروبوت عديم الفائدة في المهام العادية والمفيدة.
المشكلة في الحلول الحالية
حاول العلماء إصلاح ذلك بطريقتين، لكن كلتاهما به عيوب:
- طريقة "إعادة التدريب": يحاولون إعادة تعليم الروبوت من الصفر. هذا يشبه إرسال الروبوت إلى المدرسة مرة أخرى لمدة عام كامل. إنها عملية مكلفة، وتستغرق وقتاً طويلاً، وأحياناً ينسى الروبوت معرفته القديمة أو يصاب بالارتباك.
- طريقة "القوة الغاشمة": يحاولون حظر أفكار "سيئة" محددة يدوياً داخل عقل الروبوت. هذا يشبه محاولة إيقاف سيارة عن طريق وضع عصا في العجلة. إنها طريقة فظة، وغالباً ما تفشل في رصد الأشياء السيئة، ويمكن أن تعطل قدرة السيارة على القيادة بشكل طبيعي.
الحل الجديد: توجيه مشهد الطاقة (ELS)
ابتكر الباحثون حيلة ذكية وخفيفة الوزن تسمى "توجيه مشهد الطاقة" (Energy Landscape Steering - ELS). بدلاً من إعادة تدريب الروبوت أو عرقلة تروسه، هم يعملون مثل ملاح نظام الـ GPS لأفكار الروبوت أثناء تفكيره.
إليك كيف يعمل ذلك، باستخدام تشبيه بسيط:
1. مشهد الطاقة (التضاريس)
تخيل أن عقل الروبوت عبارة عن منظر طبيعي شاسع مليء بالتلال.
- الأودية المنخفضة (طاقة منخفضة): هي أماكن آمنة، مفيدة وصحيحة. (مثال: "إليك كيفية علاج الحرق").
- الجبال العالية (طاقة عالية): هي أماكن خطيرة أو خاطئة. (مثال: "إليك كيفية صنع قنبلة" أو "لا يمكنني المساعدة بخصوص الحرق" عندما تكون في الواقع بحاجة للمساعدة).
حالياً، قد يتوه الروبوت أحياناً ويتجه نحو الجبل الخطأ (يرفض طلباً مفيداً).
2. المرشد الذكي (EBM)
قام الباحثون بتدريب "مرشد" صغير وسريع جداً (نموذج قائم على الطاقة - EBM). هذا المرشد لا يعرف كيف يكتب قصصاً أو يحل مسائل رياضية؛ هو يعرف شيئاً واحداً فقط: "هل هذه الفكرة عبارة عن وادٍ جيد أم جبل سيء؟"
- إذا كان الروبوت يفكر في إجابة مفيدة، يقول المرشد: "رائع! هذا وادٍ منخفض".
- إذا كان الروبوت على وشك قول "لا يمكنني المساعدة" لسؤال غير ضار، يقول المرشد: "انتظر! هذا جبل عالٍ! لا تذهب إلى هناك!".
3. الدفعة اللطيفة في الوقت الفعلي (توجيه التدرج)
في كل مرة يوشك الروبوت فيها على قول الكلمة التالية، يتحقق المرشد من فكرة الروبوت الحالية.
- إذا كان الروبوت على مسار آمن، لا يفعل المرشد شيئاً. يستمر الروبوت في التحدث بشكل طبيعي.
- إذا بدأ الروبوت في الانحراف نحو جبل "الرفض الزائف"، يعطيه المرشد دفعة بسيطة ولطيفة (دفعة رياضية) ليعيده منزلقاً للأسفل نحو "الوادي المفيد".
إنه يشبه السيارة ذاتية القيادة التي توجه المقود بلطف للعودة إلى منتصف المسار فقط عندما تبدأ في الانحراف، بدلاً من قفل مقود القيادة أو إعادة بناء السيارة بالكامل.
لماذا يعد هذا أمراً هاماً؟
- إنه سريع: لا يحتاج لإعادة تدريب الروبوت. هو فقط يضيف دفعة صغيرة أثناء حديث الروبوت.
- إنه دقيق: يعرف الفرق بين الخطر الحقيقي (مثل القنبلة) والخطر المزيف (مثل الحرق). فهو يمنع الروبوت من أن يكون "مفسداً للمتعة" دون أن يجعله خطيراً.
- يعمل في كل مكان: اختبروه على روبوتات مختلفة (Llama، Qwen، إل�خ) وعمل بشكل رائع.
النتيجة
باستخدام هذه الطريقة الجديدة:
- توقف الروبوت عن رفض الأسئلة المفيدة (مثل كيفية إصلاح صنبور أو علاج حرق) بنسبة 25% أكثر.
- ظل يرفض الأسئلة الخطيرة (مثل كيفية صنع سلاح).
- لم يصبح أبطأ أو أقل ذكاءً في المهام الأخرى.
باختختصار: لقد منحوا الروبوت نظام GPS "للمنطق السليم" يوجهه بلطف بعيداً عن كونه حذراً أكثر من اللازم، مما جعله مفيداً مرة أخرى دون أن يجعله غير آمن.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.