ملخص تقني: أين تبرز إشارة التأليف في النماذج اللغوية القائمة على المشفرات؟

بيان المشكلة

تعتمد أنظمة إسناد التأليف (AA) عادةً على نموذج التعلم التبايني، حيث يقوم مشفر نصي مدرب مسبقاً بتوليد تمثيلات للمقاطع، ثم تقوم دالة تسجيل بمقارنة هذه التمثيلات لتحديد تشابه التأليف. كشفت دراسة حديثة (Kulumba et al., 2025) عن لغز مثير للدهشة: يمكن للنماذج التي تم ضبطها بدقة باستخدام نفس المشفر المدرب مسبقاً، وبيانات التدريب، وفقدان التباين، أن تظهر فجوة أداء تصل إلى أربعة أضعاف بناءً على آلية التسجيل فقط. وتحديداً، تعاني النماذج التي تستخدم التجميع المتوسط (Mean Pooling) (متوسط تضمينات الرموز في متجه واحد) من ضعف أداء ملحوظ مقارنة بتلك التي تستخدم التفاعل المتأخر (Late Interaction - LI) (مقارنة متجهات الرموز مباشرة عبر MaxSim).

السؤال المركزي الذي تعالجه هذه الورقة هو مصدر هذا التفاوت. وقد تم النظر في فرضيتين:

1. فرضية تعلم التمثيل: تتسبب آليات التسجيل المختلفة في جعل المشفر يتعلم تمثيلات داخلية مختلفة جوهرياً أثناء الضبط الدقيق.
2. فرضية القراءة (Readout Hypothesis): يتعلم المشفر تمثيلات متشابهة بغض النظر عن المسجل، وتنشأ فجوة الأداء من كيفية قراءة (تسجيل) تلك التمثيلات في وقت الاستدلال.

المنهجية

يستخدم المؤلفون أدوات التفسير الآلي للتمييز بين توافر الميزة (ما إذا كانت المعلومات موجودة في الحالات الخفية) واستخدام الميزة (ما إذا كانت آلية التسجيل تعتمد سببياً على تلك المعلومات). تستخدم الدراسة الإعداد التجريبي والأدوات التالية:

• النماذج: ثلاثة نماذج تم ضبطها بدقة تشترك في هيكل ModernBERT-base (23 طبقة، 149 مليون معلمة) وتم تدريبها على مجموعة بيانات HALvest-Contrastive (مجموعة بيانات أكاديمية حيث يتم فصل الموضوع عن التأليف). اختلفت النماذج فقط في آلية التسجيل الخاصة بها:
  • الطبقي (التجميع المتوسط): يقوم بتوسيط تضمينات الرموز قبل التسجيل.
  • التفاعل المتأخر (LI): يستخدم MaxSim على مستوى الرمز.
  • التفاعل المتأخر على مستوى الرقعة (PLI): هجين يستخدم رقع ثنائية الكلمات (bigram patches) مع MaxSim.
  • تم تضمين نموذج ضابط (E5، صفر محاولات/zero-shot).
• مجموعة الاختبار: مجموعة منسقة من 13-148 ثلاثية (مرساة، إيجابي، سلبي) مع أطوال رموز محكومة (المستهدف 130) ومصنفة حسب الصعوبة (الفئة A: مؤلفون مختلفون؛ الفئة B: تداخل جزئي في المؤلفين؛ الفئة C: نطاق مختلف).
• أدوات التحليل:
  1. مسابير LISA: مسابير انحدار خطي مدربة عند كل طبقة من طبقات المشفر الـ 23 لقياس القابلية الخطية لقراءة الميزات الأسلوبية (مثل طول الكلمة، كثافة علامات الترقيم، وتكرار الكلمات الوظيفية).
  2. رقعة تيار البقايا (Residual Stream Patching): تدخل سببي حيث يتم استبدال الحالات الخفية لمقطع "فاسد" (سلبي) بحالات مقطع "نظيف" (إيجابي) عند طبقات محددة. يقيس استعادة الترتيب (Rank recovery) ما إذا كان النموذج ينجح في ترتيب الإيجابي فوق السلبي بعد هذا التدخل، مما يحدد الطبقة التي تصبح فيها إشارة التأليف ضرورية سببياً.
  3. حساسية الدرجة (Score Sensitivity): تقيس التغير المطلق في مخرجات التسجيل عند استعادة تنشيط طبقة واحدة.
  4. ديناميكيات التدريب: تحليل الرقعة عبر ثماني نقاط فحص للتدريب لمراقبة تطور ترسيخ الإشارة.

النتائج الرئيسية

1. توافر الميزات ثابت (Invariant)

تظهر نتائج مسابير LISA (الشكل 3) أن الميزات الأسلوبية قابلة للقراءة خطياً من الحالات الخفية لجميع النماذج (التجميع المتوسط، LI، PLI، والنموذج الضابط E5) في جميع الطبقات بمعاملات $R^2$ متطابقة تقريباً.

• الاستنتاج: الهيكل الأساسي المدرب مسبقاً يشفر بالفعل الميزات الأسلوبية. الضبط الدقيق التبايني لا يخلق تمثيلات أسلوبية جديدة، كما أن المسجلات المختلفة لا تجبر المشفر على تعلم تمثيلات مختلفة. وهذا يستبعد فرضية تعلم التمثيل.

2. الرقعة السببية تكشف عن ملف عمق يعتمد على التسجيل

تظهر منحنيات استعادة الترتيب (الشكل 4) نقطة "ترسيخ" متميزة حيث تعتمد قدرة النموذج على استعادة الترتيب الصحيح على آلية التسجيل:

• التجميع المتوسط: يحدث ترسيخ الإشارة مبكراً. تقطع استعادة الترتيب خط الأساس العشوائي عند الطبقة 9 وتصل إلى استعادة شبه كاملة عند الطبقة 13.
• التفاعل المتأخر (LI) و PLI: يتأخر ترسيخ الإشارة. تظل استعادة الترتيب تحت خط الصدفة حتى الطبقات 14-16، وتصل إلى استعادة عالية فقط في الطبقات النهائية.
• الفجوة: هناك فجوة قدرها 6 طبقات في العمق الذي تصبح فيه إشارة التأليف ضرورية سببياً.

3. بنية التدرج وفقدان المعلومات

تشتق الورقة تفسيراً نظرياً بناءً على توزيع التدرج:

• التجميع المتوسط: ينتج تدرجاً كثيفاً ومتجانساً عبر جميع الرموز. هذا يجبر المشفر على ضغط جميع المعلومات المتعلقة بالتأليف في متجه واحد في مرحلة مبكرة من الشبكة للنجاة من عملية التوسيط. هذا يخلق "عنق زجاجة للترسيخ" ويؤدي إلى فقدان المعلومات (وفق قانون معالجة البيانات)، حيث يتخلص التوسيط غير المتغير ترتيبياً من البنية الموضعية.
• التفاعل المتأخر: ينتج تدرجاً متفرقاً وانتقائياً (الرموز المختارة بواسطة argmax فقط هي التي تتلقى التحديثات). هذا يسمح للمشفر بالحفاظ على البنية لكل رمز وتأخير عملية الترسيخ إلى طبقات أعمق وأكثر تجريداً.

4. ديناميكيات التدريب

يكشف تحليل نقاط فحص التدريب (الشكل 6) عن مسارات تعلم متميزة:

• التجميع المتوسط: يتعلم من الأعلى إلى الأسفل. يعتمد النموذج في البداية على الطبقات العليا، وتنتقل نقطة الترسيخ للأسفل (من الطبقة 15 إلى الطبقة 9) مع تقدم التدريب، حيث يقوم بتجنيد الطبقات الأعمق تدريجياً لتلبية عنق زجاجة الترسخ المبكر.
• التفاعل المتأخر: يظهر طفرة مبكرة عابرة (الطبقات 5-10) في خطوات التدريب المتوسطة، مستغلاً المطابقات المعجمية الضحلة. ومع استمرار التدريب وأصبح السلبيون أكثر صعوبة، يقوم النموذج بكبح هذا المسار المختصر وينتقل الاعتماد إلى الطبقات الأعمق (19+).
• PLI: يظهر ظهوراً تدريجياً دون الطفرة المبكرة، مبيناً بروزاً متوسطاً فريداً (الطبقات 10-15) في نقطة الفحص النهائية.

الأهمية والادعاءات

تدعي الورقة أنها حلت لغز فجوة الأداء التي تصل إلى أربعة أضعاف في إسناد التأليف من خلال إثبات أن عنق الزجاجة ليس في ما يتعلمه المشفر، بل في كيفية قراءة المسجل لما تعلمه.

• الفصل بين التوافر والاستخدام: توفر الدراسة دليلاً تجريبياً على أن توافر الميزات العالي (دقة المسابير) هو مؤشر ضعفي لأداء المهمة عندما تختلف آليات التسجيل. تمتلك جميع النماذج الميزات الأسلوبية اللازمة، لكن الاختلاف يكمن في الضرورة السببية لتلك الميزات عند أعماق محددة.
• آلية الفشل: يجبر التجميع المتوسط على الترسخ المبكر للإشارة، مما يدمر المعلومات الأسلوبية الدقيقة (مثل ترتيب الكلمات وتفاعلات الرموز المحددة) المطلوبة لإسناد تأليف عالي الأداء. يحافظ التفاعل المتأخر على هذه الدقة من خلال السماه للموديل باستخدام تمثيلات أكثر عمقاً وسياقية.
• المساهمة النظرية: يربط العمل بين بنية التدرج لدالة التسجيل (الكثيفة مقابل المتفرقة) وبين عمق ترسيخ الإشارة في المشفر، مما يقدم تفسيراً آلياً لسبب تفوق الأنظمة القائمة على التفاعل باستمرار على التمثيلات المجمعة في مهام إسناد التأليف.

يخلص المؤلفون إلى أن القصور الرئيسي في إسناد التأليف التبايني ليس في قدرة المشفر على ترميز الأسلوب، بل في قدرة آلية التسجيل على الحفاظ على ذلك الأسلوب واستغلاله دون ضغط مبكر.