ملخص تقني: السلب قبل الإيجاب: المعالجة غير المتماثلة للتكافؤ في النماذج اللغوية الكبيرة

بيان المشكلة

بينما نجحت التفسيرية الآلية (mechanistic interpretability) في رسم خرائط لكيفية تشفير النماذج اللغوية الكبيرة (LLMs) للارتباطات الواقعية والمفاهيم المجردة كاتجاهات خطية، لا تزال المعالجة الداخلية لـ التكافؤ العاطفي (emotional valence) غير مفهومة بشكل جيد. اعتمدت الدراسات السابقة إلى حد كبير على الاستقصاء الارتباطي أو التحليل السلوكي، مما ترك أسئلة نقدية مفتوحة:

1. هل تمتلك النماذج اللغوية الكبيرة هياكل داخلية مخصصة للتكافؤ، أم أنها تعتمد على مطابقة الرموز (tokens) السطحية؟
2. هل التمثيلات العاطفية موضعية في مراحل معالجة محددة أم أنها موزعة بشكل منتشر؟
3. هل الإشارات المرصودة تعكس تتبعاً حقيقياً للتكافؤ أم مجرد اكتشاف للموضوع (على سبيل المثال، التعرف على كلمة "مرفوض" دون فهم الشعور السلبي)؟

لقد حددت الأعمال السابقة (مثل Sofroniew et al., 2026) عواطف وظيفية في النماذج المغلقة، لكنها افتقرت إلى التوطين السببي والضوابط الصارمة للمتغيرات المربكة المتعلقة بالموضوع. تعالج هذه الورقة هذه الفجوات من خلال التحقيق فيما إذا كان التكافؤ يُعالج عبر آلية محددة الطبقات وسبيبة في النماذج مفتوحة المصدر.

المنهجية

استخدم المؤلفون ترقيع التنشيط (activation patching) ومتجهات التوجيه (steering vectors) على ثلاثة نماذج مفتوحة المصدر مضبوطة التعليمات: Llama-3.2-1B و Qwen2.5-1.5B و Qwen2.5-3B. تغطي هذه النماذج عائلتين معماريتين (الرؤوس المتعددة للانتباه مقابل الانتباه متعدد الرؤوس المجموعاتي) وحجمين مختلفين.

التصميم التجريبي

1. تصميم أزواج المحفزات (Prompt Pair Design): صممت الدراسة 100 زوج من المحفزات (نظيفة/معدلة) لكل حالة.

   • حالة الأخبار الجيدة: يصف المحفز النظيف نتيجة إيجابية؛ بينما يصف المحفز المعدل نفس الموقف بشكل محايد.
   • حالة الضبط السلبي: يصف المحفز النظيف نتيجة سلبية؛ بينما يكون المحفز المعدل مطابقاً للمحفز المعدل في حالة "الأخبار الجيدة".
   • الأساس المعدل المشترك: يضمن هذا التصميم أن أي فرق في تأثيرات الترقيع يعود حصرياً إلى التكافؤ، وليس إلى الموضوع أو الصياغة.
   • المجالات: تغطي المحفزات مجالات الأكاديميا، والمهنة، والحياة الشخصية لضمان عدم ارتباط النتائج بمجال محدد.

2. ترقيع التنشيط (Activation Patching):

   • يعمل النموذج على مدخلات معدلة بينما يتم استبدال تنشيطات التدفق المتبقي (residual stream) في طبقات محددة بتنشيطات مخبأة من عمليات تشغيل نظيفة.
   • المقياس: يتم حساب درجة فجوة اللوجيت (logit gap score) بناءً على كتلة الاحتمالية لرموز مرجعية (anchor tokens) إيجابية وسلبية محددة مسبقاً في توزيع الرمز التالي.
   • الهدف: تحديد "الطبقة السببية العليا" حيث يستعيد الترقيع سلوك المخرجات النظيفة، مما يشير إلى مكان حساب إشارة التكافؤ.

3. اختبار قلب التكافؤ (Valence Flip Test):

   • لاستبعاد اكتشاف الموضوع، تتحقق الدراسة مما إذا كانت فجوة الدرجة تتغير الإشارة عند قلب التكافؤ (جيد مقابل سلبي) مع بقاء الموضوع ثابتاً. يجب أن ينتج التمثيل الحقيقي للتكافؤ تأثيرات متضادة في الإشارة (فجوات عكس الارتباط)، بينما سينتج اكتشاف الموضوع فجوات مرتبطة.

4. التوجيه السببي (Causal Steering):

   • يتم استخراج متجه اتجاه التكافؤ من التدفق المتبقي عند الطبقة السببية العليا المحددة (متوسط الفرق بين التنشيطات النظيفة والمعدلة).
   • يتم إضافة هذا المتجه أو طرحه من المحفزات المحايدة عاطفياً لاختبار ما إذا كان يغير مخرجات النموذج نحو التكافؤ الإيجابي أو السلبي.

النتائج الرئيسية

1. تتبع التكافؤ الاتجاهي

أظهرت النماذج الثلاثة قدرة على التمييز بين المحتوى العاطفي في توزيعات مخرجاتها، حيث تراوحت دقة الإشارة بين 79% و95% عبر الظروف المختلفة. أظهرت عائلة Qwen فجوات درجات أكثر حدة من Llama-1B.

2. استبعاد اكتشاف الموضوع

حققت نتائج اختبار قلب التكافؤ معدلات قلب بلغت 69% (Llama-1B)، و 80% (Qwen-1.5B)، و 85% (Qwen-3B). هذه المعدلات أعلى بكثير من خط الأساس (50% للصدفة)، مما يؤكد أن النماذج تتبع التكافؤ كمتغير داخلي منفصل بدلاً من مجرد التعرف على الكلمات المفتاحية للموضوع.

3. التوطين العمقي غير المتماثل (النتيجة الجوهرية)

تكشف الدراسة عن تفكك مرتبط بالعمق:

• التكافؤ السلبي: يتوطن سببياً في الطبقات المبكرة (يصل ذروته عند 14-27% من عمق النموذج). الترقيع في هذه الطبقات يستعيد المخرجات السلبية بقوة.
• التكافؤ الإيجابي: يصل ذروته في الطبقات المتوسطة إلى المتأخرة (يصل ذروته عند 53-66% من عمق النموذج).
• الدلالة الإحصائية: تؤكد اختبارات Mann-Whitney U أن هذا التفكك ذو دلالة عالية جداً عبر جميع النماذج ($p < 10^{-10}$).
• التفسير: يبدو أن النتائج السلبية تُعالج بواسطة "كاشف سطحي سريع" يعتمد على كلمات مميزة لغوياً (مثل "مرفوض")، بينما تتطلب النتائج الإيجابية تكاملاً سياقياً أعمق لتجميع تمثيل أكثر ثراءً.

4. الهيكل السببي غير المتماثل

• الضبط السلبي: يظهر توطيناً سببياً ضيقاً. هناك ارتباط سلبي قوي ($\rho \approx -0.5$ إلى $-0.68$) بين حجم الترقيع وقوة الاستجابة، مما يشير إلى أن طبقة مهيمنة واحدة تقود الاستجابة السلبية.
• الأخبار الجيدة: تظهر معالجة منتشرة. الارتباط بين حجم الترقيع وقوة الاستجابة ضعيف أو غير معتد به إحصائياً ($\rho \approx 0.1$ إلى $0.37$)، مما يشير إلى أن التكافؤ الإيجابي موزع عبر الشبكة بدلاً من توجيهه عبر طبقة واحدة.

5. القابلية للتوجيه (Steerability)

أكدت تجارب التوجيه أن الطبقات المحددة تشفر التكافؤ كـ اتجاه خطي قابل للتلاعب.

• إضافة اتجاه "الأخبار الجيدة" إلى المحفزات المحايدة حوّل 92-100% من المخرجات نحو التكافؤ الإيجابي.
• طرح الاتجاه حوّل المخرجات نحو التكافؤ السلبي.
• العلاقة بين قوة التوجيه ($\alpha$) وتغير درجة التكافؤ ($\Delta$) كانت متزايدة بشكل رتيب، مما يؤكد أن المتجه المستخرج هو ميزة خطية حقيقية.

الأهمية والادعاءات

تدعي الورقة أن التكافؤ العاطفي في النماذج اللغوية الكبيرة ليس حالة داخلية أحادية الجانب، بل هو حساب غير متماثل بمسارات سببية متميزة للمدخلات الإيجابية والسلبية.

• الرؤية الميكانيكية: تشير النتائج إلى أن التكافؤ السلبي والإيجابي ليسا مجرد طرفين متضادين لمحور واحد، بل يتم معالجتهما عبر آليات حوسبية متميزة (اكتشاف مبكر وموضعي مقابل تكامل متأخر ومنتشر).
• إمكانية الرقابة: نظرًا لأن التكافؤ السلبي موضعي في الطبقات المبكرة ويمكن توجيهه بشكل متوقع، فإنه يمثل هدفاً ملموساً لـ الرقابة القائمة على التفسيرية. يمكن لمراقبة هذه الطبقات المبكرة أن تسمح بالتدخل قبل أن يقوم النموذج بتجميع استجابة كاملة.
• التعميم: يظل عدم التماثل قائماً عبر مختلف أحجام النماذ وهياكل الانتباه (MHA مقابل GQA)، مما يشير إلى أنه خاصية أساسية لمعالجة التكافؤ في نماذج Transformer وليس مجرد نتاج لتصميم نموذج معين.

يخلص المؤلفون إلى أن فهم سبب تطلب هذه الأقطاب أعماقاً حوسبية مختلفة قد يكشف عن جوانب جوهرية لكيفية تشفير نماذج Transformer للمحتوى الدلالي والعاطفي. ويذكرون صراحة أنهم لا يتوقعون آثاراً اجتماعية سلبية مباشرة لهذا البحث، بل يعتبرونه خطوة نحو نشر نماذج أكثر أماناً وقابلية للتفسير.