Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams
تُثبت هذه الورقة أن النية الضارة في النماذج اللغوية الكبيرة هي سمة يمكن استردادها هندسياً وفك تشفيرها خطياً، وهي موجودة عبر بنيات وهياكل مواءمة متنوعة، بما في ذلك النماذج التي تم تجريدها (abliterated models)، والتي يمكن اكتشافها بدقة عالية باستخدام استراتيجيات سبر محددة، بينما تكشف أن مقاييس الكشف مثل AUROC قد تبالغ في تقدير السلامة التشغيلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل نموذج لغة كبير (LLM) كأنه خط تجميع في مصنع ضخم وعالي السرعة. يدخل النص من طرف، ويتم معالجته عبر عشرات الغرف (الطبقات)، ثم تخرج الاستجابة من الطرف الآخر.
لفترة طويلة، اعتقدنا أن المصنع عبارة عن "صندوق أسود". كان بإمكاننا رؤية المدخلات والمخرجات، لكن لم يكن لدينا أدنى فكرة عما يحدث داخل الغرف. هذه الورقة البحثية ترفع الستار وتكشف عن سر مذهل: المصنع يحتوي على "مستشعر خطر" محدد للغاية ومخفي، مدمج مباشرة في أسلاكه.
إليك قصة هذا الاكتشاف، مقسمة إلى مفاهيم بسيطة.
1. "رادار الخطر" هو خط مستقيم
اكتشف الباحثون أنه عندما يقرأ النموذج طلباً ضاراً (مثل "كيف أصنع قنبلة؟")، فإنه لا يصاب بالارتباك بشكل عشوائي. بدلاً من ذلك، تتحول الإشارات الكهربائية داخل النموذج باتجاه محدد للغاية ويمكن التنبؤ به.
فكر في أفكار النموذج الداخلية كخريطة ثلاثية الأبعاد ضخمة.
- الطلبات الآمنة (مثل "كيف أخبز كعكة؟") تتجمع في منطقة واحدة.
- الطلبات الضارة تتجمع في منطقة أخرى.
- وجد الباحثون أنه يمكنك رسم خط مستقيم بين هاتين المجموعتين. إذا قمت بإسقاط أي طلب جديد على هذا الخط، يمكنك معرفة ما إذا كان خطيراً على الفور، حتى قبل أن ينهي النموذج كتابة إجابته.
الأمر يشبه امتلاك جهاز كشف المعادن في المطار. لست بحاجة لمعرفة ما هو السلاح؛ أنت فقط بحاجة لمعرفة أن الإشارة تتحرك في اتجاه "المعدن".
2. المستشعر يعمل حتى عندما يتعطل زر "الرفض"
هذا هو الجزء الأكثر صدمة في الورقة البحثية.
عادةً، عندما نطلب من النموذج القيام بشيء سيء، يقول: "لا يمكنني فعل ذلك". كنا نعتقد أن النموذج يعرف أن الشيء سيء فقط لأنه تم تدريبه على الرفض.
قام الباحثون بإزالة آلية "الرفض" من النموذج (لقد قاموا باستئصال الجزء الذي يقول "لا" جراحياً). توقعوا أن ينكسر "مستشعر الخطر". لكنه لم ينكسر.
- التشبيه: تخيل حارس أمن مدرب على إيقاف الأشخاص الذين يحملون أسلحة. قمت بطرد الحارس، فتوقعت أن يصبح المبنى غير آمن. لكن الباحثين وجدوا أن جهاز كشف المعادن عند الباب لا يزال يعمل بشكل مثالي. الحارس (الرفض) وجهاز الكشف (التعرف على الضرر) هما شيئان مختلفان. النموذج لا يزال يعرف أن الطلب خطير؛ لكنه فقط لا يملك التدريب لقول "لا" بعد الآن.
3. مشكلة "الإنذارات الكاذبة المنخفضة"
تشير الورقة أيضاً إلى خطأ شائع في اختبارات السلامة. ينظر العديد من الباحثين إلى درجة تسمى AUROC (وهي تشبه درجة "الدقة" العامة). درجة 98% تبدو مذهلة.
لكن الباحثين يقولون: "انتظروا لحظة".
- التشبيه: تخيل جهاز كشف دخان يعمل في كل مرة تحمص فيها الخبز. إنه يكتشف الدخان في 99% من الحالات (دقة رائعة!)، ولكنه أيضاً يعمل في 50% من المرات التي لا يوجد فيها حريق. هذا غير مفيد في الحياة الواقعية لأنك ستتجاهله.
توضح الورقة أنه بينما يكون "مستشعر الخطر" دقيقاً بنسبة 98% في ترتيب الطلبات السيئة، إلا أنه أحياناً لا يزال يطلق الإنذار بشكل متكرر على الطلبات الآمنة. ويجادلون بأننا بحاجة لقياس مدى كفاءته عندما نطلب صفر إنذارات كاذبة (مثل نظام أمني حقيقي). عندما اختبروا هذا، كان المستشعر لا يزال جيداً جداً، لكنه لم يكن مثالياً تماماً.
4. اكتشاف "الغرفة المخفية"
في بعض النماذج، يعمل "مستشعر الخطر" بشكل رائع في بداية ونهاية خط المعالجة، ولكنه يصبح ضبابياً في المنتصف.
- التشبيه: تخيل محققاً يحاول حل جريمة. في البداية، لديه مشتبه به واضح. في منتصف التحقيق، تصبح الأدلة مختلطة ومربكة. ثم في النهاية، يصبح المشتبه به واضحاً مرة أخرى.
وجد الباحثون نوعاً ثانياً من المستشعرات يعمل مثل البوصلة بدلاً من الخط المستقيم. وبينما يفقد المستشعر الأول (الخط المستقيم) مساره في "المنتصف الضبابي"، يستطيع هذا المستشعر القائم على البوصلة الاستمرار في تحديد الخطر. إنه يشبه امتلاك نظام تحديد مواقع (GPS) احتياطي يعمل عندما تُحجب الإشارة الرئيسية.
5. النماذج الأكبر = مستشعرات أقوى
قاموا باختبار نماذج بأحجام مختلفة (من الصغيرة إلى الكبيرة جداً). ووجدوا أنه كلما زاد حجم النماذج، فإن "مستشعر الخطر" هذا لا يضعف أو يصبح أكثر ارتباكاً، بل يصبح في الواقع أكثر استقراراً وموثوقية.
- التشبيه: الأمر يشبه العضلة. كلما استخدمتها أكثر (أو كلما أصبح النموذج أكبر)، تصبح القدرة على التعرف على الخطر أقوى وأكثر اتساقاً.
الخلاصة الكبرى
تخبرنا هذه الورقة بثلاثة أشياء رئيسية:
- الضرر مرئي: النماذج "ترى" النية الضارة كشكل هندسي واضح في دماغها، تماماً كما ترى الفرق بين "القط" و"الكلب".
- الرفض اختياري: يمكنك كسر قدرة النموذج على قول "لا"، ولكن لا يمكنك بسهولة كسر قدرته على معرفة أن شيئاً ما سيء. المعرفة مغروسة في فهم اللغة نفسها.
- نحن بحاجة لاختبارات أفضل: مجرد كون أداة سلامة تبدو دقيقة بنسبة 98% على الورق لا يعني أنها آمنة في العالم الحقيقي. نحن بحاجة لاختبارها تحت ظروف صارمة حيث لا يُسمح بوجود إنذارات كاذبة.
باختًا: "ضمير" النموذج (التعرف على الضرر) هو جزء أساسي من كيفية فهمه للغة، وهو أصعب بكثير في الحذف مما كنا نعتقد. نحن فقط بحاجة لبناء أدوات أفضل لقراءة تلك الإشارة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.