🤖 machine learning

Crafting Reversible SFT Behaviors in Large Language Models

تقدم هذه الورقة البحثية طريقة "النزول المزدوج المقيد بالخسارة" (LCDD) و"ممحاة الضبط الدقيق الموجه" (SFT-Eraser) لضغط سلوكيات الضبط الدقيق الموجه في شبكات فرعية متفرقة وضرورية سببيًا ("الحوامل") يمكن كبتها انتقائيًا عند الاستنتاج عبر محفز ناعم دون تعديل أوزان النموذج.

المؤلفون الأصليون: Yuping Lin, Pengfei He, Yue Xing, Yingqian Cui, Jiayuan Ding, Subhabrata Mukherjee, Hui Liu, Zhen Xiang

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuping Lin, Pengfei He, Yue Xing, Yingqian Cui, Jiayuan Ding, Subhabrata Mukherjee, Hui Liu, Zhen Xiang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا ذكيًا جدًا (نموذج لغوي كبير) تم تعليمه خدعة جديدة، مثل قول "لا أعرف" دائمًا للأسئلة، أو رفض الإجابة على الأسئلة الخطيرة، أو التحدث بأسلوب شكسبير. تسمى هذه العملية الضبط الدقيق الخاضع للإشراف (SFT).

المشكلة التي وجدها المؤلفون هي أنه عندما تعلم الروبوت هذه الخدعة الجديدة، فإن "المعرفة" بكيفية القيام بها تتشتت في كل أنحاء عقل الروبوت. الأمر يشبه تعليم شخص ما ركوب الدراجة ولكن بجعلهم يستخدمون كل عضلة في أجسادهم للقيام بذلك، بدلاً من استخدام أرجلهم وتوازنهم فقط. ولأن المهارة موجودة في كل مكان، فمن الصعب إيقافها لاحقًا دون كسر قدرة الروبوت على التحدث بشكل طبيعي.

تقدم هذه الورقة البحثية طريقة لتعليم الروبوت خدعة جديدة بطريقة محددة وموجزة للغاية بحيث تعيش الخدعة في "غرفة" صغيرة ومعزولة داخل عقله. ثم يظهرون كيف يمكنهم إطفاء هذه الغرفة المحددة باستخدام رمز سري، مما يجعل الروبوت ينسى الخدعة فورًا، مع بقاء بقية عقله سليمًا تمامًا.

إليك كيف فعلوا ذلك، باستخدام تشبيهات بسيطة:

1. المشكلة: "العلية الفوضوية"

عادةً، عندما تقوم بالضبط الدقيق لنموذج ما، ينتشر السلوك الجديد مثل علية فوضوية. إذا أردت إزالة هذا السلوك لاحقًا، فسيتعين عليك البحث في العلية بأكملها، وقد ترمي بالخطأ قدرة الروبوت على حل المسائل الرياضية أو كتابة رسائل البريد الإلكتروني. لا يمكنك بسهض العثور على "المفتاح" الدقيق للسلوك الجديد لأنه متشابك مع كل شيء آخر.

2. الجزء الأول من الحل: LCDD (الـ "خبير في التعبئة")

ابتكر المؤلفون طريقة تسمى النزول المزدوج المقيد بالخسارة (LCDD). فكر في هذا كخبير تنظيم وتعبئة فائق الكفاءة.

الهدف: يريدون أخذ "السلوك الجديد" وإجباره على الدخول في "حقيبة ظهر" صغيرة وموجزة (يسمونها الحامل - Carrier) داخل عقل الروبوت.
القيد: يخبرون خبير التعبئة: "يجب عليك وضع السلوك الجديد بالكامل داخل حقيبة الظهر الصغيرة هذه، ولكن لا يمكنك جعل الروبوت ينسى كيفية القيام بوظائفه الأخرى (مثل الإجابة على الأسئلة بشكل صحيح)".
النتيجة: نجح الخبير في ضغط السلوك الجديد في شبكة فرعية صغيرة ومعزولة. ظل بقية عقل الروبوت كما كان تمامًا قبل التدريب. أصبح السلوك الجديد الآن معتمدًا بنسبة 100% على حقيبة الظهر الصغيرة هذه. إذا كانت حقيبة الظهر موجودة، يحدث السلوك. إذا تم حظر حقيبة الظهر، يختفي السلوك.

3. الجزء الثاني من الحل: SFT-Eraser (الـ "رمز السري")

بمجرد قفل السلوك داخل حقيبة الظهر الصغيرة تلك، ابتكر المؤلفون أداة ثانية تسمى SFT-Eraser.

كيف يعمل: هم لا يغيرون أوزان عقل الروبوت (وهو ما يشبه عدم إعادة كتابة دليل تشغيل الروبوت). بدلاً من ذلك، ينشئون محفزًا ناعمًا (تسلسلًا من "الكلمات" الرياضية غير المرئية المضافة إلى المدخلات).
السحر: عندما يُضاف هذا الرمز السري إلى سؤال ما، فإنه يعمل كمفتاح يعطل تحديدًا "حقيبة الظهر" حيث يعيش السلوك الجديد.
النتيجة: يعود الروبوت فورًا إلى شخصيته الأصلية. إذا تم تدريبه على التحدث بأسلوب شكسبير، فإنه فجأة يتحدث الإنجليزية الحديثة مرة أخرى. إذا تم تدريبه على رفض الأسئلة الخطيرة، فإنه يبدأ في الإجابة عليها مجددًا. لم يتم "إلغاء تدريب" الروبوت؛ بل تم تحييد الجزء المحدد من عقله الذي يحمل هذا السلوك مؤقتًا.

4. الإثبات: لماذا الهيكل مهم

أجرى المؤلفون اختبارًا حاسمًا لإثبات أن الهيكل (حقيبة الظهر الصغيرة) هو البطل الحقيقي، وليس مجرد الرمز السري.

التجربة: حاولوا استخدام نفس "الرمز السري" على روبوت ليس لديه حقيبة الظهر الصغيرة (روبوت قياسي حيث السلوك منتشر في كل مكان).
النتيجة: فشل الرمز. لم يستطع إيقاف السلوك لأنه لم يكن هناك هدف واحد معزول ليتم تعطيله.
الدرس: يثبت هذا أنه لا يمكنك مجرد "اختراق" سلوك خارج من عقل فوضوي. يجب عليك أولاً بناء هيكل نظيف ومعزول ليعيش فيه ذلك السلوك. بمجرد عزله، يمكنك التحكم فيه بشكل مثالي.

ملخص ما وجدوه

هل يمكننا جعل السلوك قابلًا للانعكاس؟ نعم.
كيف؟ عن طريق إجبار السلوك على الدخول في "حامل" صغير وموجز أثناء التدريب (باستخدام LCDD) ثم استخدام رمز مدخلات خاص (SFT-Eraser) لحظر ذلك الحامل.
هل يعمل؟ لقد اختبروا هذا على ثلاثة سلوكيات مختلفة تمامًا:
1. الاستجابة الثابتة: جعل الروبوت يقول دائمًا "لا أعرف".
2. السلامة: جعل الروبوت يرفض الإجابة على الأسئلة الضارة.
3. الأسلوب: جعل الروبوت يتحدث بأسلوب شكسبير.
الحكم النهائي: في جميع الحالات، نجحوا في ضغط السلوك في جزء صغير من الدماغ وكان بإمكانهم تشغيله وإطفاؤه حسب الرغبة دون تغيير الكود الأساسي للروبوت.

ملاحظة هامة: "الرمز السري" الذي يستخدمونه هو تسلسل رياضي مستمر (محفز ناعم)، وليس مجرد كلمة بسيطة يمكنك كتابتها في صندوق الدردشة، والورقة البحثية تتعامل مع هذا كوسيلة لإثبات أن السلوكيات يمكن عزلها والتحكم فيها سببياً، وليس كمنتج جاهز للاستخدام في روبوتات الدردشة اليومية.

ملخص تقني: صياغة سلوكيات الضبط الدقيق الخاضعة للإشراف (SFT) القابلة للعكس في النماذج اللغوية الكبيرة

بيان المشكلة

يُعد الضبط الدقيق الخاضع للإشراف (SFT) الآلية القياسية لغرس السلوكيات الحرجة عند النشر (مثل محاذاة السلامة، اتباع التعليمات، وتكييف الأسلوب) في النماذج اللغوية الكبيرة (LLMs). ومع ذلك، فإن عملية SFT لا تفرض أي قيود هيكلية على كيفية تنظيم هذه السلوكيات داخلياً. ونتيجة لذلك، غالباً ما يتم ترميز السلوكيات المتعلمة بشكل مشتت، أو ممثلة بشكل مكرر، أو متشابكة مع حسابات غير ذات صلة.

هذا النقص في الهيكلية يخلق قيدين أساسيين:

فشل التشخيص السببي: تحدد طرق التفسير اللاحقة (مثل عزو الدوائر - circuit attribution) الشبكات الفرعية المتفرقة المرتبطة بالسلوكيات. ومع ذلك، فإن الارتباط لا يعني السببية. ولأن النموذج الكامل يحتفظ بمسارات مكررة، فإن استئصال شبكة فرعية مرتبطة قد لا يؤدي إلى كبح السلوك، مما يجعل من المستحيل إثبات الضرورة السببية بشكل قاطع.
التحكم السببي المحدود: لا تستطيع الطرق الحالية إنشاء بنية فرعية متفرقة تكون ضرورية ميكانيكياً لسلوك ناتج عن SFT. وبينما يمكن لتعديل ناقلات المهام (task-vector editing) وتعديل النماذج تغيير المعلمات، إلا أنها لا تنتج بنية فرعية يمكن معالجتها فقط عبر التدخل بالمدخلات تحت أوزان ثابتة.

تعالج الورقة البحثية السؤال البحثي التالي: هل يمكن ضغط السلوكيات الناتجة عن SFT عمداً في بنيات فرعية متفرقة وضرورية ميكانيكياً (حوامل - carriers) تظل قابلة للتحكم في وقت الاستنتاج دون تعديل أوزان النموذج؟

المنهجية

يقترح المؤلفون إطار عمل يتكون من مرحلتين: النزول المزدوج المقيد بالخسارة (LCDD) لصياغة الحامل، وSFT-Eraser للتحقق من ضرورته عبر التدخل بالمدخلات.

1. بارامتريّة تغيير الوزن

يعامل النهج حساب التغيير في الوزن الناتج عن SFT كإضافة $\Delta W = W_{ft} - W_{base}$ . يتم تمثيل النموذج كـ $W = W_{base} + M \odot \Delta W$ ، حيث $M$ هو قناع ثنائي. الهدف هو إيجاد أكثر $M$ تفرقة (sparsity) يحافظ على سلوك المهمة.

2. LCDD: صياغة الحوامل المتفرقة

يقوم LCDD بتحسين قناع التوجيه $M$ وتغير الوزن $\Delta W$ بشكل مشترك لضغط السلوك في حامل متفرق مع الالتزام بميزانية منفعة صريحة.

التفرقة الهيكلية: بدلاً من عناصر الوزن العشوائية، يتم فرض التفرقة على مستوى قنوات التنشيط (صفوف وأعمدة مصفوفات الأوزان). هذا ينشئ أقنعة هيكلية من الرتبة الأولى ( $M_{jk} = m_{row, j} \cdot m_{col, k}$ ) تقوم بضبط تنشيطات المدخلات والمخرجات، مما يعزل حسابات $\Delta W$ الناتجة عن SFT.
هدف التحسين: تقلل الطريقة من عقوبة التفرقة (مجموع لوجيتات بوابة السيجمويد) مع الالتزام بقيد أن خسارة المهمة $L_{task}$ تظل ضمن ميزانية $\epsilon$ .
العقوبة التكيفية: تُستخدم طريقة عقوبة تكيفية حيث يتم تحديث المضروب $\lambda_t$ عبر الإنترنت بناءً على انتهاك القيد. تسمح مرحلة الإحماء الخطي للتفرقة للنموذج بالاستقرار قبل بدء عملية الضغط.
التحسين المشترك: من الأهمية بمكان أن كلاً من القناع وتغيرات الأوزان يتم تحسينهما بشكل مشترك. هذا يسمح للأوزان المتبقية بإعادة التنظيم حول الاتصالات التي تم حذفها، مما يتيح تفرقة أعمق من الأساليب التي تعتمد على القناع فقط.

3. SFT-Eraser: التحقق من الضرورة

بمجرد صياغة حامل متفرق، يختبر SFT-Eraser ما إذا كان يمكن كبح السلوك بواسطة محفز مدخل (input trigger) دون تعديل الأوزان.

اختيار الهدف: يستهدف المحفز "قنوات الكتابة المتبقية" (مخرجات بوابات الـ FFN ومسارات الانتباه $\Delta$ )، والتي تعمل كواجهة للحامل مع التدفق المتبقي (residual stream).
تحسين المحفز: يتم تحسين مطالبة ناعمة (soft prompt - تضمينات الرموز المستمرة) لتقليل خسارة مركبة:
- $L_{MSE}$ : تدفع تنشيطات كتابة الحامل نحو تنشيطات النموذج الأساسي على نفس المدخل.
  est. $L_{KL}$ : تضمن عودة توزيع المخرجات نحو النموذج الأساسي (لمنع حدوث عيوب ناتجة عن مطابقة القنوات وحدها).
- $L_2$ : تنظم مقدار المحفز لمنع التضمينات المتدهورة.
معايير النجاح: يُعتبر العكس ناجحاً إذا قام المحفز بكبح سلوك SFT مع إعادة توزيع المخرجات نحو النموذج الأساسي، مما يثبت أن الحامل هو عنق الزجاجة السببي.

المساهمات الرئيسية

أول استقصاء للحوامل البنائية: تعد هذه الورقة هي الأولى التي تبحث في جدوى بناء حوامل متفرقة وضرورية ميكانيكياً لسلوكيات SFT بشكل متعمد أثناء التدريب، بدلاً من اكتشافها لاحقاً.
إطار عمل LCDD: يقدم طريقة لضغط سلوكيات SFT في حوامل متفرقة عبر التحسين المشترك للأقنعة والأوزان تحت قيود منفعة صريحة.
بروتوكول SFT-Eraser: يقترح بروتوكول محفز مدخل يتحقق من الضرورة السببية للحوامل المصنوعة. إذا نجح المحفز في كبح السلوك تحت أوزان ثابتة، فهذا يثبت أن الحامل هو الموضع السببي، وليس مجرد ارتباط.
التحقق التجريبي: يوضح عبر ثلاثة أنواع من السلوكيات (الاستجابة الثابتة، محاذاة السلامة، وأسلوب شكسبير) وأربع عائلات من النماذج (Qwen, DeepSeek, Mistral, Vicuna) أن:
- LCDD يحافظ على سلوكيات الهدف بدقة عالية.
- SFT-Eraser يعكس هذه السلوكيات بشكل موثوق.
- البنية المتفرقة هي الشرط المسبق الضروري للعكس؛ حيث إن تطبيق نفس المحفز على نماذج SFT القياسية (بدون الحامل المصنوع) يفشل في تحقيق العودة التوزيعية.

النتائج التجريبية

تغطي التجارب ثلاث مهام تزداد تعقيداً في بنيتها:

الاستجابة الثابتة: يتعلم النموذج قول "لا أعرف". حقق LCDD تفرقة عالية (73-84%) مع الحفاظ شبه المثالي على السلوك. قللت المحفزات معدل الاستجابة الثابتة إلى ما يقرب من الصفر.
محاذاة السلامة: التدريب على بيانات متداخلة (ضارة/حميدة). حافظ LCDD على معدلات رفض عالية للسلامة (88-98%). نجحت المحفزات في إضعاف مقاييس السلامة (انخفاض الرفض، زيادة نجاح الهجوم) وأعادت التوزيعات نحو النموذج الأساسي.
أسلوب شكسبير: مهمة نقل أسلوب توزيعي. كانت التفرقة أقل (30-56%) بسبب الطبيعة المنتشرة للسلوك الأسلوبي، لكن المحفزات نجحت أيضاً في كبح الأسلوب.

نتائج دراسة الاستئصال (Ablation):

الهيكل مقابل المحفز: أدى تطبيق محفز SFT-Eraser على نموذج SFT قياسي (بدون LCDD) إلى اضطراب في السلوك ولكنه فشل في إعادة التوزيع إلى النموذج الأساسي. وهذا يؤكد أن البنية المتفرقة هي العامل الفعال، وليس تصميم المحفز.
التحسين المشترك: فشل التحسين القائم على القناع فقط (تثبيت الأوزان وتحسين القناع فقط) في تحقيق عمق تفرقة كافٍ أو عكس موثوق، مما يؤكد أن إعادة تنظيم الأوزان المشتركة ضرورية لإنشاء عنق زجاجة مستهدف.

الأهمية والادعاءات

تدعي الورقة أنها تقدم دليلاً مباشراً على أن الحوامل المتعلمة ضرورية سببياً لسلوكيات SFT. من خلال بناء بنية فرعية متفرقة تمثل الموضع الكامل للسلوك، يمكّن المؤلفون من:

التشخيص السببي: الانتقال من مجرد الارتباط إلى اختبار الضرورة عبر التدخل بالمدخلات تحت أوزان ثابتة.
التحكم الجزئي (Modular Control): القدرة على تدقيق أو كبح سلوكيات محددة بشكل انتقائي في وقت الاستنتاج دون إعادة التدريب أو تعديل الأوزان.

يشير المؤلفون إلى وجود قيود، بما في ذلك استخدام المطالبات الناعمة المستمرة (بدلاً من الرموز المنفصلة) للمحفزات، والتقييم على مزيج واحد من النموذج والمهمة للدراسة الهيكلية. كما يقرون بمخاطر الاستخدام المزدوج، حيث يمكن نظرياً استخدام المنهجية لإزالة محاذاة السلامة من النماذج المنشورة. ويقترح العمل اتجاهات مستقبلية في أبحاث التفسير، مثل استخدام تفرقة الحامل كوكيل لتعقيد الوصف للتحولات السلوكية.