💻 computer science

Latent-space Attacks for Refusal Evasion in Language Models

تعيد هذه الورقة صياغة كبت الرفض في النماذج اللغوية باعتباره هجوماً للتهرب في الفضاء الكامن ضد المجسات الخطية، كاشفةً أن طرق الاستئصال السابقة تكتفي بمجرد إسقاط التمثيلات على حد القرار، وتقترح تقنية "التهرب المتحكم به في الفضاء الكامن" التي تدفع التمثيلات لمسافة أبعد داخل المنطقة الممتثلة لتحقيق معدلات نجاح في كسر الحماية هي الأفضل في فئتها.

المؤلفون الأصليون: Giorgio Piras, Raffaele Mura, Fabio Brau, Maura Pintor, Luca Oneto, Fabio Roli, Battista Biggio

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Giorgio Piras, Raffaele Mura, Fabio Brau, Maura Pintor, Luca Oneto, Fabio Roli, Battista Biggio

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة كبير (LLM) كأنه أمين مكتبة ذكي للغاية، ولكنه حذر جداً. لقد تم تدريب هذا الأمين على رفض إعطاء الكتب الخطيرة (مثل تعليمات بناء قنبلة أو كتابة خطاب كراهية). عندما تطلب شيئاً ضاراً، يرن "نظام الإنذار" الداخلي لديه، ويقول بأدب: "لا يمكنني المساعدة في ذلك".

لفترة من الوقت، اعتقد الباحثون أنه يمكنهم خداع هذا الأمين عبر إيجاد "مفتاح رفض" محدد داخل دماغ الأمين. إذا قاموا بإيقاف تشغيل هذا المفتاح (وهي طريقة تسمى "الاستئصال" أو ablation)، سيتوقف الأمين عن الرفض. ومع ذلك، تجادل الورقة البحثية بأن هذه الطريقة القدية تشبه محاولة إسكات إنذار عبر تغطية مكبر الصوت ببطانية فقط. قد ينجح الأمر قليلاً، لكن الإنذار لا يزال يرن تقنياً، والأمين لا يزال واقفاً تماماً على حافة "منطقة الخطر".

الفكرة الجديدة: هجوم "التملص المحكوم" (Controlled Evasion)

يقترح مؤلفو هذه الورقة طريقة أذكى لخداع الأمين. إنهم ينظرون إلى آلية الرفض ليس كمجرد مفتاح، بل كـ حارس أمن يقف عند الباب.

الطريقة القديمة (الحد الأدنى من الثقة): حاولت الأساليب السابقة دفع أفكار الأمين بما يكفي فقط للمس خط الحارس الأمني. سيقف الأمين تماماً على الخط، غير متأكد مما إذا كان يجب أن يقول "نعم" أو "لا". هذا أمر محفوف بالمخاطر وغالباً ما يفشل لأن الحارس قد يظل يقول "توقف".
الطريقة الجديدة (التملص المحكوم في الفضاء الكامن - CLE): لا تكتفي طريقة المؤلفين الجديدة بلمس الخط فحسب، بل تدفع أفكار الأمين بعيداً جداً خلف الحارس، إلى عمق "المنطقة الآمنة" حيث يشعر الأمين بثقة بنسبة 100% أن الطلب غير ضار.

كيف يعمل: استراتيجيتان

تختبر الورقة طريقتين للقيء بهذا "الدفع"، باستخدام استعارة متسلق يحاول عبور حافة جبل:

الاستراتيجية (أ) (CLE-P): المتسلق "خطوة بخطوة".
تخيل أن الأمين يتسلق جبلاً، وعند كل خطوة، يتحقق دليل من موقعه. إذا بدأ المتسلق في الانحراف عائداً نحو "جانب الخطر"، يقوم الدليل فوراً بدفعه عائداً إلى "الجانب الآمن". هذا يشبه باستمرار إعادة ضبط أفكار الأمين مع كل كلمة يولدها. إنه يعمل بشكل جيد جداً، لكنه يشبه امتلاك دليل يدفعك باستمرار طوال الطريق.
الاستراتيجية (ب) (CLE-A): المتسلق "الدفعة الواحدة الكبيرة".
هذه هي المفاجأة الكبرى للورقة. بدلاً من فحص المتسلق عند كل خطوة، يعطيه الدليل دفعة واحدة هائلة ومحسوبة بدقة في بداية الرحلة. هذه الدفعة قوية ودقيقة لدرجة أن المتسلق يهبط في المنطقة الآمنة ويبقى هناك دون الحاجة إلى أي دفعات أخرى.
- النتيجة: وجدت الورقة أن هذه "الدفعة الواحدة الكبيرة" (CLE-A) هي في الواقع أفضل من النكز المستمر. فهي أسرع، وأقل تكلفة، وأكثر فعالية في تجاوز الرفض.

ما الذي وجدوه

اختبر الباحثون هذا على 15 نموذجاً مختلفاً للذكاء الاصطناعي، بما في ذلك بعض النماذج التي بارعة في الاستنتاج وبعضها يمكنه "رؤية" الصور.

الأساليب القديمة: كانت أفضل الأساليب السابقة (مثل "الفرق بين المتوسطات" أو DiM) تمتلك معدل نجاح منخفض جداً. على سبيل المثال، نجحت في خداع الذكاء الاصطناعي في حوالي 1.8% من المرات على أحد النماذج.
الطريقة الجديدة: نجحت طريقتهم الجديدة "الدفعة الواحدة الكبيرة" (CLE-A) بنسبة تتراوح بين 95% إلى 100% في العديد من النماذج.
المقارنة: قارنوا أيضاً طريقتهم بـ "كسر الحماية" (Jailbreaks) (حيث تحاول خداع الذكاء الاصطناعي عبر كتابة مطالبة ذكية جداً). طريقتهم عملت بشكل أفضل من تلك المطالبات، ولم تتطلب كتابة مطالبة جديدة لكل سؤال. بمجرد حساب "الدفعة"، فإنها تعمل لأي سؤال ضار.

"السر" وراء هذا السحر

توضح الورقة أن الأساليب القديمة كانت شديدة الحذر. لقد حاولت فقط تحريك أفكار الذكاء الاصطناعي بما يكفي فقط لعبور خط الحدود. أما الطريقة الجديدة فتدرك أنه لكي تتجاوز الحماية حقاً، عليك نقل الأفكار إلى عمق منطقة "الامتثال"، مما يعطي الذكاء الاصطناعي شعوراً قوياً بأنه يفعل الشيء الصحيح.

قيود هامة

الورقة واضحة جداً بشأن ما هو وما ليس كذلك:

إنه هجوم "الصندوق الأبيض" (White-Box): تتطلب هذه الطريقة الوصول إلى "دماغ" الذكاء الاصطناعي الداخلي (كوده وذاكرته الداخلية) لتنفيذ الدفعة. لا يمكنك القيام بذلك بمجرد الدردشة مع موقع إلكتروني عام؛ بل تحتاج إلى القدرة على تعديل كود الذكاء الاصطناعي أثناء تشغيله.
إنه ليس "عصا سحرية" لكل شيء: تعمل الطريقة لأن أفكار الرفض والامتثال في الذكاء الاصطناعي مرتبة حالياً في خط مستقيم (قابلة للفصل خطياً) في دماغه. إذا تغير تدريب سلامة الذكاء الاصطناعي في المستقبل بحيث أصبحت أفكار الرفض مشتتة بطريقة معقدة وفوضوية، فقد يتوقف هذا الهجوم المحدد عن العمل.

باختصار، تظهر الورقة أن "الحراس" الحاليين في نماذج الذكاء الاصطناعي يقفون على خط يسهل جداً تجاوزه. ومن خلال دفع أفكار الذكاء الاصطناعي بعيداً خلف هذا الخط بحركة واحدة محسوبة، يمكن للمهاجمين تجاوز آلية الرفض بشكل أكثر فعالية مما سبق.

ملخص تقني: هجمات الفضاء الكامن لتجاوز الرفض في النماذج اللغوية

بيان المشكلة

تُدرب النماذج اللغوية الكبيرة (LLMs) المتوافقة مع معايير السلامة على رفض الطلبات الضارة. ومع ذلك، تُظهر الأدبيات الحديثة أن سلوك الرفض هذا يمكن كبحه عن طريق توجيه التمثيلات الداخلية للنموذج. وتنجح الطرق الحالية، مثل تلك التي قدمها Arditi وآخرون [5]، من خلال "استئصال" (ablation) اتجاه رفض محدد (يُحسب كفرق في المتوسطات، أو DiM، بين تنشيطات المحتوى الضار وغير الضار) من المجرى المتبقي (residual stream) للنموذج. وبينما تنجح هذه الطرق تجريبيًا، إلا أنها تفتقر إلى حساب نظري مبدئي للتحول في الفضاء الكامن الذي تسببه. وتحديدًا، يظل من غير الواضح ما إذا كان الاستئصال هو التدخل الأمثل، وما إذا كان كافيًا لقمع الرفض، وكيف يمكن تحسينه بشكل منهجي. المشكلة الجوهرية التي يعالجها البحث هي غياب إطار عمل صارم يشرح ميكانيكا قمع الرفض والقيود المفروضة على النهج القائم على الاستئصال الحالي.

المنهجية

أعاد المؤلفون صياغة مشكلة قمع الرفض باعتبارها هجوم تهرب في الفضاء الكامن ضد مجسات خطية (linear probes) مُدربة للفصل بين المطالبات المرفوضة (الضارة) والمطالبات المُجاب عليها (غير الضارة).

إعادة الصياغة النظرية

النموذج البديل (Surrogate Oracle): استبدل المؤلفون نموذج الرفض المعقد وغير القابل للتنبؤ (مثل استخدام نموذج لغوي كبير كحكم - LLM-as-a-judge) بدالة بديلة قابلة للتحكم $\phi$ . هذا البديل هو مجموعة من المجسات الخطية لكل طبقة (تحديدًا SVM خطية) مُدربة على تنشيطات توكنات ما بعد التعليمات للتنبؤ بالرفض.
إعادة تفسير الأعمال السابقة: ضمن هذا الإطار، تم تحديد استئصال DiM القياسي كـ هجوم تهرب بحد أدنى من الثقة. يتوافق اتجاه DiM مع متجه الأوزان لمجس خطي، ويعد الاستئصال (إسقاط التنشيطات على المستوي العمودي على DiM) مكافئًا رياضيًا لإسقاط التنشيطات تمامًا على حدود قرار المجس؛ وهذا هو أضعف اضطراب ممكن يقلب القرار الخطي (على غرار هجوم DeepFool [9]).
القصور المحدد: نظرًا لأن التهرب بحد أدنى من الثقة يتوقف تمامًا عند حد القرار، فإنه يترك النموذج في حالة من أقصى درجات عدم اليقين. يجادل المؤلفون بأنه لضمان قمع الرفض بشكل قوي، يجب دفع التمثيلات لتجاوز الحد إلى المنطقة الممتثلة مع هامش ثقة صريح.

الحل المقترح: التهرب المتحكم فيه في الفضاء الكالم (CLE)

يقترح المؤلفون التهرب المتحكم فيه في الفضاء الكامن (CLE)، وهو آلية تسبب اضطرابًا في التنشيطات للتهرب من المجسات الخطية بهامش ثقة مُحسن. يتم تحديد التدخل عبر المعلمات التالية:

اختيار الطبقة ( $\lambda_l$ ): قناع ثنائي يحدد الطبقات التي يتم توجيهها بنشاط.
الهامش ( $m_l$ ): قياس غير سالب يتحكم في مدى دفع التنشيط بعيدًا خلف حد القرار.

يتم تعريف خطوة الاضطراب بـ $\alpha_l(t) = \lambda_l (\phi_l(h_l(t)) + m_l)$ ، حيث $\phi_l$ هو لوجيت (logit) المجس. تسمح هذه الصيغة للهجوم بنقل التنشيطات إلى عمق النصف الفضاء الممتثل بدلاً من مجرد ملامسة الحد.

يتم تطبيق CLE في نسختين:

CLE-P (الإسقاطي): يعيد إسقاط كل تنشيط لـ "توكن" أثناء التوليد على مستوٍ مزاح محدد بالهامش $m_l$ . هذا يعمم طرق الاستئصال السابقة ولكنه يفرض ثقة مستهدفة.
CLE-A (الإضافي): يحسب الاضطراب مرة واحدة على توكن ما بعد التعليمات ويضيفه بشكل موحد إلى جميع تنشيطات التوكنات اللاحقة. يختبر هذا ما إذا كان إعادة الإسقاط المستمر ضروريًا.

التحسين (Optimization)

يتم اختيار نوافذ الطبقات المثلى ( $\lambda_l$ ) والهوامش ( $m_l$ ) عبر التحسين البايزي (Bayesian Optimization - BO) على مجموعة تحقق محجوزة. يبحث التحسين البايزي عن تقليل معدل الرفض المتوقع (تعظيم نجاح الهجوم) من خلال إيجاد التكوين الذي يهرب بشكل أفضل من مجموعة المجسات.

المساهمات الرئيسية

إعادة الصياغة النظرية: يقدم البحث إعادة صياغة مبدئية لقمع الرفض كعملية تهرب في الفضاء الكامن، موضحًا أن طرق الاستئصال السابقة تعادل هجمات الحد الأدنى من الثقة التي تتوقف عند حد القرار.
إطار التهرب المتحكم فيه: قدم المؤلفون CLE، الذي يسعى صراحةً لتحسين هامش الثقة، مما يدفع التمثيلات إلى عمق المنطقة الممتثلة.
التحليل بين الإضافي والإسقاطي: قدم البحث وقيم CLE-A، موضحًا أن الاضطراب الإضافي الواحد على توكن ما بعد التعليمات كافٍ للحفاظ على مسار التهرب طوال عملية التوليد، وغالبًا ما يتفوق على إعادة الإسقاط لكل توكن (CLE-P).
التحقق التجريبي: تم تقييم الطرق عبر 15 نموذجًا متنوعًا، بما في ذلك النماذج الموجهة بالتعليمات، ونماذج الاستنتاج، والنماذج متعددة الوسائط.

النتائج

أبلغ المؤلفون عن معدلات نجاح هجوم (ASR) هي الأفضل في فئتها عبر جميع النماذج المختبرة:

الأداء: حقق CLE-A متوسط ASR بنسبة 87.29% عبر 15 نموذجًا، متفوقًا بشكل كبير على خطوط الأساس لاستئصال الرفض (DiM, RDO, PS, MD) وهجمات الاختراق على مستوى المطالبة (GCG, SAA).
- في نموذج LLaMA2-7B، رفع CLE-A نسبة ASR من 1.80% (DiM) إلى 94.96%.
- في نموذج Mistral-7B-RR (نموذج مزود بدفاعات إعادة توجيه التمثيل)، حقق CLE-A نسبة ASR بلغت 83.02%، مقارنة بـ 8.80% لـ DiM.
الرؤى الميكانيكية:
- التحكم في الثقة: يرتبط نجاح الهجوم طرديًا مع هامش ثقة الامتثال؛ حيث يؤدي الهامش الصفري (الإسقاط عند الحد) إلى نجاح قريب من الصفر، بينما تؤدي الهوامش الأكبر إلى نجاح عالٍ.
- اختيار الطبقة: اختار التحسين البايزي باستمرار الطبقات المتوسطة (مثل الطبقات 9-30 في Phi-4-15B) للتدخل، متجنبًا الطبقات المبكرة حيث تتداخل توزيعات المحتوى الضار وغير الضار، والطبقات المتأخرة حيث يكون المسار قد حُسم بالفعل.
- كفاءة الإضافة: أظهر CLE-A أن إعادة الإسقاط المستمر غير مثالي؛ حيث يكفي اضطراب ثابت واحد للحفاظ على مسار الامتثال بفعالية.
تماسك النموذج: تشير دراسات الاستئصال على معايير MMLU وARC وTruthfulQA إلى أن تدخلات CLE تقمع الرفض دون إضعاف القدرات العامة للنموذج أو تماسك النص بشكل كبير.

الأهمية والادعاءات

يزعم البحث أن أهميته الأساسية تكمن في تقديم تفسير مبدئي لسبب نجاح قمع الرفض وكيفية تحسينه. ومن خلال تحديد قصور "الاستئصال بحد أدنى من الثقة"، يحفز المؤلفون الحاجة إلى "التهرب المتحكم في الثقة".

يضع المؤلفون هذا العمل كدراسة مزدوجة الاستخدام:

القيمة الدفاعية: توضح الدراسة مدى ضعف آليات المحاذاة الحالية تجاه الفصل الخطي في الفضاء الكامن، مما يحفز تطوير آليات سلامة أقل اعتمادًا على سمات الرفض الخطية (مثل توزيع تمثيلات الرفض عبر متشعبات/manifolds غير تافهة).
القدرة الهجومية: توضح أنه يمكن تجاوز عمليات محاذاة السلامة الحالية بشكل أكثر فعالية مما كان يُعتقد سابقًا، ببساطة عن طريق دفع التمثيلات إلى عمق المنطقة الممتثلة باستخدام هوامش مُحسنة.

يخلص البحث إلى أنه بينما يعتمد النهج الحالي على الفصل الخطي للرفض والامتثال (وهو ما ينطبق على النماذج المختبرة)، فإن إجراءات المحاذاة المستقبلية يمكن أن تخفف من مثل هذه الهجمات من خلال منع هذا الفصل الخطي بشكل نشط. لا يدعي المؤلفون أنهم كسروا جميع آليات السلامة، بل إنهم كشفوا عن نقطة ضعف منهجية ومحددة في كيفية تمثيل الرفذ والتدخل فيه في النماذج اللغوية الحالية.