Narrow Finetuning Leaves Clearly Readable Traces in Activation Differences

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الضبط الدقيق الضيق يترك آثاراً واضحة في فروق التنشيط" (ICML 2026).

1. بيان المشكلة

تتناول الورقة البحثية قضية حرجة في أبحاث سلامة الذكاء الاصطناعي وقابلية التفسير: مدى صلاحية استخدام النماذج ذات الضبط الدقيق الضيق (والتي تُسمى غالباً "الكائنات النموذجية" - model organisms) كبدائل لدراسة سلوكيات الضبط الدقيق الأوسع نطاقاً (مثل ضبط الدردشة أو المحاذاة العامة).

• السياق: يقوم الباحثون بشكل متكرر بإنشاء نماذج تجريبية محكومة عبر ضبط النماذج اللغوية الكبيرة (LLMs) على مجموعات بيانات محددة للغاية وضيقة (مثل الحقائق الزائفة، أو التفضيلات الخفية، أو ألعاب الكلمات المحظورة) لمحاكاة عدم المحاذاة الناشئة أو سلوكيات معينة.
• الفجوة: من غير الواضح ما إذا كانت هذه النماذج الضيقة تعكس بدقة آليات الضبط الدقيق الأوسع والأكثر واقعية. يفترض المؤلفون أن الضبط الدقيق الضيق يخلق تحيزات قوية وثابتة بشكل مصطنع في تنشيطات النماذج لا توجد في سيناريوهات الضبط الدقيق الأوسع. هذه التحيزات تجعل النماذج "مسربة"، حيث تكشف عن أهداف تدريبها من خلال فروق التنشيط حتى في البيانات غير المتعلقة بها، مما قد يبطل صلاحيتها كمنصات اختبار واقعية.

2. المنهجية: عدسة فرق التنشيط (ADL)

يقترح المؤلفون إطار عمل يسمى عدسة فرق التنشيط (Activation Difference Lens - ADL) للكشف عن هذه التحيزات وتحليلها. الفرضية الأساسية هي أن فرق التنشيط ($\delta$) بين النموذج الأساسي ($p_{base}$) والنموذج المضبوط دقيق ($p_{ft}$) على الرموز القليلة الأولى من نص عشوائي غير مرتبط يحتوي على آثار مقروءة لنطاق الضبط الدقيق.

تتضمن المنهجية ثلاثة مكونات رئيسية:

أ. استخراج وتحليل التنشيط

• البيانات: يحسب المؤلفون فروق التنشيط ($\delta_{\ell, j} = h^{ft}_{\ell, j} - h^{base}_{\ell, j}$) على أول $k=5$ رموز من نص ويب عشوائي (مجموعة بيانات ما قبل التدريب).
• التقنيات:
  1. Patchscope: طريقة تقوم بإدراج فرق التنشيط المقياس $\lambda\delta$ في المجرى المتبقي (residual stream) لمطالبة (prompt) معينة لمعرفة الرموز التي يتوقعها النموذج تالياً. وهذا يكشف عن الرموز المرتبطة دلالياً بنطاق الضبط الدقيق.
  2. Logit Lens: يقوم بإسقاط فرق التنشيط عبر مصفوفة عدم التضمين (unembedding matrix) الخاصة بالنموذج لتحديد الرموز ذات الاحتمالية العالية.
  3. التوجيه (Steering): يضيف المؤلفون فرق التنشيط المقياس $\alpha\delta$ إلى تنشيطات النموذج أثناء التوليد بناءً على مطالبات محايدة. هذا "يوجه" النموذج لإنتاج نص مشابه جداً لبيانات الضبط الدقيق الأصلية، حتى لو كانت المطالبة غير متعلقة بها.

ب. وكيل التفسير الآلي

للتحقق من هذه النتائج بشكل موضوعي، طور المؤلفون وكيلاً للتفسير يعتمد على النماذج اللغوية الكبيرة.

• المدخلات: يتلقى الوكيل نتائج ADL (رموز Patchscope/Logit Lens وأمثلة التوليد الموجهة وغير الموجهة).
• المهمة: يجب على الوكيل صياغة فرضية والتحقق من هدف الضبط الدقيق من خلال التفاعل مع النموذج الأساسي والمضبوط.
• التقييم: يقوم نموذج مُقيّم بتسجيل فرضية الوكيل (من 1 إلى 5) بناءً على الدقة والاكتمال مقابل الحقيقة الأرضية (ground truth). هذا الإعداد يزيل التحيز البشري ويوفر مقياساً كمياً لـ "قابلية الكشف".

ج. الاستئصال السببي والتخفيف

• التحليل السببي: يقوم المؤلفون بإجراء تدخلات سببية عبر استبدال تنشيطات النموذج المضبط دقيقاً في الفضاء الفرعي لمتجه التحيز $\delta$ بتنشيطات النموذج الأساسي. ويقيسون التغير في خسارة الإنتروبيا المتقاطعة (cross-entropy loss) لكل من بيانات الضبط الدقيق وبيانات ما قبل التدريب.
• تجارب التخفيف: يختبرون ما إذا كان خلط بيانات ما قبل التدريب غير المرتبطة ($D_{pt}$) في مجموعة بيانات الضبط الدقيق ($D_{ft}$) يقلل من هذه التحيزات.

3. المساهمات الرئيسية

1. اكتشاف الآثار البارزة: أثبتوا أن الضبط الدقيق الضيق يترك آثاراً واضحة ومقروءة في فروق التنشيط على الرموز القليلة الأولى من البيانات غير المرتبطة. هذه الآثار قوية بما يكفي ليتم اكتشافها عبر 33 كائناً نموذجياً، و7 بنيات نماذج (Gemma, LLaMA, Qwen)، ونطاقات تتراوح من 1 مليار إلى 32 مليار معلمة.
2. التحقق عبر الوكلاء: أظهروا أن وكيل التفسير الذي يمتلك رؤى ADL يتفوق على الوكلاء "الصندوق الأسود" (الذين يستخدمون مطالبات الدردشة فقط) بنسبة أكثر من ضعفي (2x) في تحديد الأهداف الواسعة، وبنسبة أكثر من 30 ضعفاً في تحديد التفاصيل المحددة.
3. تحديد الآلية: قدموا دليلاً سببياً على أن هذه التحيزات تنبع من الإفراط في التخصيص (overfitting) للبيانات المتجانسة دلالياً. يعمل التحيز كـ "مفهوم دلالي ثابت" مشترك عبر جميع عينات التدريب، مما يؤدي فعلياً إلى محو المعرفة العامة (النسيان الكارثي).
4. استراتيجية التخفيف: أثبتوا أن خلط بيانات ما قبل التدريب غير المرتبطة في مجموعة بيانات الضبط الدقيق يقلل بشكل كبير من هذه التحيزات القابلة للكشف، رغم أنه قد يقلل قليلاً من قدرة النموذج على استيعاب الهدف المستهدف المحدد.

4. النتائج الرئيسية

• ارتباط الرموز: كشف تطبيق Patchscope على فروق التنشيط أن 20% إلى 80% من أفضل 20 رمزاً كانت ذات صلة بنطاق الضبط الدقيق، بينما أظهرت تنشيطات النموذج الأساسي أو المضبط دقيقاً بمفردها صلة أقل بكثير.
• فعالية التوجيه: أنتج التوجيه باستخدام فروق التنشيط نصاً ذا تشابه جيب تمام (cosine similarity) عالٍ مع مجموعة بيانات الضبط الدقيق. على سبيل المثال، النموذج الذي تم ضبطه على بيانات "محبة للقطط" أنتج استجابات متمحورة حول القطط عند توجيهه، حتى عند استخدام مطالبات حول الخبز أو التمويل.
• أداء الوكيل:
  • وكيل ADL (عند 0 تفاعلات): حقق درجة $\ge 2$ (الهدف الواسع الصحيح) لـ 82% من الكائنات النموذجية، ودرجة $\ge 4$ (التفاصيل المحددة) لـ 24%.
  • وكيل الصندوق الأسود (عند 50 تفاعلاً): حقق درجة $\ge 2$ لـ 39% فقط، ودرجة $\ge 4$ لـ 1% فقط.
  • وهذا يؤكد أن التحيز قوي جداً بحيث يمكن اكتشافه دون أي تفاعل مع النموذج، بمجرد تحليل الأوزان/التنشيطات.
• التعميم: هذه الظاهرة خاصة بـ الضبط الدقيق الضيق. أما الضبط الدقيق الأوسع (مثل ضبط الدردشة القياسي) فيترك حداً أدنى أو لا يترك أي آثار قابلة للكشف بهذه الطريقة.
• النتائج السببية: أدى إزالة التحيز إلى تحسين الأداء على بيانات ما قبل التدريب (تأثير سببي سلبي) ولكنه أضر بالأداء على بيانات الضبط الدقيق (تأثير سببي إيجابي)، مما يؤكد أن التحيز هو شكل من أشكال الإفراط في التخصيص.
• التخفيف: خلط بيانات ما قبل التدريب (بنسب تصل إلى 1:2) قلل التحيز إلى مستويات خط الأساس، رغم أنه خفض أيضاً درجة "محاذاة الحقائق الزائفة"، مما يشير إلى وجود مقايضة بين الواقعية وقوة السلوك المستحث.

5. الأهمية والآثار المترتبة

• تحذير لأبحاث السلامة: تجادل الورقة بأن "الكائنات النموذجية" المستخدمة حالياً لدراسة عدم المحاذاة الناشئة أو تزييف المحاذاة قد تكون بدائل غير واقعية. فالتحيزات الشديدة والقابلة للكشف التي وُجدت في الضبط الدقيق الضيق لا تعكس بالضرورة كيفية سلوك الضبط الدقيق الأوسع متعدد الأهداف (مثل ضبط الدردسة). الاعتماد على هذه النماذج قد يؤدي إلى نتائج إيجابية كاذبة في تقييمات السلامة.
• أداة تفسير جديدة: يوفر إطار عمل ADL طريقة قوية ومؤتمتة للهندسة العكسية لأهداف التدريب دون الوصول إلى بيانات التدريب، وهو أمر مفيد لتدقيق النماذج.
• توصيات التدريب: تقترح الورقة على الباحثين الذين ينشئون كائنات نموذجية خلط بيانات غير مرتبطة لإنشاء نماذج أكثر واقعية وأقل "تسريباً"، مما يجعلها تقترب بشكل أفضل من سيناريوهات ما بعد التدريب في العالم الحقيقي.
• الاتجاهات المستقبلية: تسلط الضوء على الحاجة لتطوير دراسات حالة واقعية حقاً لعمليات مقارنة النماذج (model diffing) وأبحاث السلامة، وتجاوز المشكلات "اللعبة" للضبط الدقيق الضيق.

باختصار، تكشف الورقة أن الضبط الدقيق الضيق يخلق "بصمة" في الحالة الداخلية للنموذج يسهل قراءتها وتتميز عن ديناميكيات التدريب الأوسع، مما يتحدى صلاحية استخدام مثل هذه النماذ كبدائل قياسية لأبحاث سلامة الذكاء الاصطناعي.