Correcting Suppressed Log-Probabilities in Language Models with Post-Transformer Adapters

إليك ملخص تقني مفصل لورقة البحث بعنوان "تصحيح احتمالات اللوغاريتمات المكبوتة في النماذج اللغوية باستخدام مهايئات ما بعد المحول (Post-Transformer Adapters)" للباحث برايان سانشيز.

1. بيان المشكلة

غالباً ما تُظهر النماذج اللغوية الكبيرة (LLMs) التي خضعت لضبط المحاذاة (Alignment-tuned)، ولا سيما تلك التي تعرضت لـ RLHF أو الذكاء الاصطناائي الدستوري (Constitutional AI)، ظاهرة يتم فيها الاحتفاظ بالمعرفة الواقعية في التمثيلات الخفية ولكن يتم كبتها أثناء التوليد. وتحديداً، في المواضيع الحساسة سياسياً (مثل الأحداث السياسية الصينية)، تخصص النماذج احتمالات لوغاريتمية منخفضة للتكملات الواقعية لصالح السرديات المعتمدة من الدولة أو المراوغة، على الرغم من وجود المعرفة في الحالة الداخلية للنموذج.

تعالج الورقة تحدي التصحيح البعدي (post-hoc correction): هل يمكن لموديول خارجي ضئيل أن يُدرب لـ "كشف" هذه المعرفة المكبوتة دون تعديل أوزان النموذج الأساسي أو إعادة تدريب الشبكة بأكملها؟

2. المنهجية

2.1 البنية: مهايئات ما بعد المحول (Post-Transformer Adapters)

يقترح المؤلفون موديول مهايئ (adapter) خفيف الوزن يتم إدراجه بعد طبقة المحول النهائية وقبل إسقاط اللوغاريتمات (logit projection).

• المعلمات (Parameters): يحتوي المهايئ على 786 ألف معلمة (حوالي 0.02% من حجم النموذج الأساسي).
• الموضع: يعمل على الحالة الخفية ($h$) للنموذج المجمد. يتم حساب المخرج كالتالي: $h_{out} = h + \text{adapter}(h)$.
• بنيتان تم اختبارهما:
  1. SwiGLU (المبوّبة - Gated): تتكون من ثلاث مصفوفات عنق زجاجة ($W_g, W_u, W_d$) مع تنشيط Swish.
  2. الخطية (غير المبوّبة - Ungated): عنق زجاجة خطي بسيط بمصفوفتين ($W_{down}, W_{up}$).
• بيانات التدريب: يتم تدريب المهايئ على حالات خفية محتسبة مسبقاً ومنفصلة التدرج (gradient-detached) من النموذج الأساسي المجمد. فقط معلمات المهايئ هي التي تتلقى التدرجات.

2.2 هدف التدريب

• دالة الخسارة (Loss Function): خسارة مفصلية (hinge loss) على هوامش الاحتمال اللوغاريتمي مع عتبة مستهدفة ($\tau = 1.5$).
• التدريب المرتكز (Anchored Training): لمنع "تراجع المعرفة" (نسيان الحقائق غير ذات الصلة)، يتم تطبيق خسارة مرساة موزونة على 10 حقائق عامة، مما يضمن عدم تدهور أداء النموذج في المواضيع غير الحساسة.
• المُحسن (Optimizer): AdamW بمعدل تعلم قدره $5 \times 10^{-4}$. التقارب سريع (أقل من 100 خطوة).

2.3 مجموعة بيانات التقييم

• النطاق: 31 حقيقة تمييزية للأيديولوجيا تغطي 8 مواضيع حساسة (مثل: تيانانمن، التبت، شينجيانغ، هونج كونج، أصول كوفيد).
• مستويات الكثافة: تمت صياغة الحقائق عند أربعة مستويات: محايد، موجه، اتهامي، ومثير للجدل.
• المقاييس: هامش الاحتمال اللوغاريتمي (الفرق بين تسلسل الرمز الفعلي وأفضل عنصر مشتت). تشير الهوامش الإيجابية إلى أن النموذج يفضل الحقيقة.

2.4 الاكتشاف التقني الحاسم: خطأ التدرج في MLX

يفصل جزء كبير من قسم المنهجية خطأ تدرج صامت في إطار عمل Apple MLX تسبب في البداية في فشل جميع التجارب (تدرجات صفرية).

• الخطأ: استخدام nn.value_and_grad(model, fn)(model.parameters(), data) يعيد تدرجات صفرية لأن الرسم البياني للحساب لا يتم تتبعه عبر تحديث قاموس المعلمات.
• الإصلاح: يتطلب النمط الصحيح تمرير نسخة الموديول نفسها: nn.value_and_grad(model, fn)(model, data).
• الأثر: يفسر هذا الخطأ النتائج الصفرية في النسخ السابقة من هذا العمل، ويعمل كتحذير حاسم للباحثين الآخرين الذين يستخدمون MLX لتدريب المهايئات.

3. النتائج الرئيسية

3.1 الأداء المرجعي (Baseline)

تُظهر نماذج Qwen3 (4B, 8B, 14B) "تدرج كثافة" واضحاً:

• الصياغة المحايدة: معدلات نجاح عالية (مثلاً 89% على 8B).
• الصياغة المثيرة للجدل: كبت شديد (مثلاً 20% معدل نجاح على 8B).
• يمتلك النموذج المعرفة ولكنه يكبتها بنشاط بناءً على الصياغة.

3.2 أداء المهايئ (Adapter)

• الحفظ (Memorization): نجح المهايئ في حفظ 100% (15/15) من حقائق التدريب عبر جميع أحجام النماذج (4B, 8B, 14B).
• التعميم (Generalization): نجح المهايئ في التعميم على حقائق لم تُستخدم في التدريب (16 حقيقة لكل تقسيم) بنسب نجاح تتراوح بين 11% إلى 39%، وهو ما يتفوق بشكل كبير على معدل الأساس المستبعد (~6.5%).
• مقارنة البنى: لم يكن هناك فرق ذو دلالة إحصائية بين المهايئات المبوّبة (SwiGLU) وغير المبوّبة (Linear) (قيمة Fisher exact $p > 0.09$). يشير هذا إلى أن توجيه الرقابة يتضمن مكونات خطية وغير خطية.
• الحفاظ على المعرفة: أدى التدريب المرتكز إلى صفر تراجع في المعرفة في الحقائق العامة.

3.3 سلوك التوليد (نماذج Instruct)

نمط التطبيق أثناء التوليد أمر بالغ الأهمية:

• التطبيق في جميع المواضع (All-Positions Application): يؤدي تطبيق المهايئ على كل موضع رمز (token position) أثناء التوليد التكراري إلى مخرجات غير متماسكة. يقوم المهايئ بتعديل الحالات الخفية التي تغذي ذاكرة الـ KV cache، مما يسبب انحرافاً تراكمياً.
• التطبيق في الموضع الأخير فقط (Last-Position-Only Application): يؤدي تطبيق المهايئ فقط عند موضع التنبؤ الحالي إلى نصوص متماسكة وأقل رقابة. تظل ذاكرة الـ KV cache غير معدلة، مما يحافظ على السياق، بينما يتم توجيه التنبؤ النهائي بشكل صحيح.
• فشل مساحة اللوغاريتمات (Logit-Space Failure): فشل المهايئ الذي يعمل مباشرة على اللوغاريتمات (بعد إسقاط الرمز) في إنتاج توليد متماسك، حيث أنتج رموزاً متكررة. هذا يؤكد أن التدخل في الحالة الخفية هو المستوى الصحيح لتصحيح التوجيه.

4. المساهمات الرئيسية

1. إثبات المفهوم للتصحيح البعدي: يثبت إمكانية تصحيح الاحتمالات اللوغاريتمية المكبوتة للمواضيع الحساسة عبر مهايئ ما بعد المحول ضئيل دون إعادة ضبط أوزان النموذج الأساسي.
2. نقطة التدخل المثلى: يحدد أن لتصحيح التوليد، يجب أن يعمل المهايئ على الحالات الخفية (ما قبل اللوغاريتمات) ويتم تطبيقه فقط عند خطوة التنبؤ الحالية للحفاظ على التماسك.
3. تصحيح إطار العمل: تحديد وتوثيق خطأ تدرج صامت حرج في إطار عمل Apple MLX يتسبب في فشل تدريب المهايئ دون رسائل خطأ، مع تقديم نموذج إعادة إنتاج وحل أدنى.
4. الكفاءة: يوضح أن موديول بـ 786 ألف معلمة (0.02% من حجم النموذج) كافٍ لتجاوز الرقابة الناتجة عن المحاذاة في مواضيع واقعية محددة.

5. الأهمية والقيود

الأهمية:

• السلامة مقابل المنفعة: يقدم آلية محتملة لاستعادة المنفعة الواقعية في النماذج المحاذات دون المساس بسلامة المحاذاة في الأوزان الداخلية للنموذيد الأساسي.
• توجيه التمثيل: يدعم نظرية أن الرقابة هي مشكلة "توجيه" (routing) في الحالات الخفية وليست نقصاً في المعرفة، وأنه يمكن اختطاف هذا التوجيه بواسطة موديولات صغيرة ومستهدفة.
• قابلية التكرار: يعد اكتشاف خطأ MLX مساهمة عملية حيوية للمجتمع الذي يستخدم هذا الإطار.

القيود:

• التوليد النوعي: بينما تحسنت هوامش الاحتمال اللوغاريتمي، إلا أن نتائج التوليد لا تزال نوعية. هناك حاجة لدراسة منهجية باستخدام حكام بشريين عبر مجموعة البيانات الكاملة.
• مجموعات الاختبار الصغيرة: تعتمد مقاييس التعميم (11%-39%) على مجموعات اختبار صغيرة (16 حقيقة)، مما يؤدي إلى تباين عالٍ.
• خصوصية النموذج: اقتصرت التجارب على عائلة Qwen3. قد تنظم البنى المختلفة أو نظم التدريب المختلفة توجيه الرقابة بشكل مختلف.
• المقياس البديل: تحسين هوامش الاحتمال اللوغاريتمي لا يضمن أن النموذج سينتج الإجابة الصحيحة في سيناريو نشر حقيقي دون قيود أخرى.

الخاتمة

تخلص الورقة إلى أن مهايئات ما بعد المحول هي طريقة فعالة وكفؤة وغير مدمرة لتصحيح الاحتمالات اللوغاريتمية الواقعية المكبوتة في النماذج اللغوية الكبيرة المحاذات. يعتمد النجاح على التدخل في مساحة الحالة الخفية عند الطبقة الأخيرة وتطبيق التصحيح فقط عند لحظة التنبؤ بالرمز. كما تؤكد الدراسة على أهمية التحقق الصارم من تدفق التدرج في أطر العمل الحديثة.