ملخص تقني: الانتقالات الوهمية في الضبط الدقيق للنماذج اللغوية

بيان المشكلة

تعاني النماذج اللغوية التي يتم ضبطها دقيقاً على سياقات يكون فيها المنافس (المرادف القريب) للكلمة الصحيحة موجوداً، من حالة "فشل صامت". في هذه الحالات، ينخفض فقدان الإنتروبيا المتقاطعة (CE loss) بشكل رتيب، وترتفع احتمالية التوكن (token) الصحيح، ومع ذلك لا يتفوق التوكن الصحيح على المنافس في ترتيب النموذج. تفشل التشخيصات القياسية، التي تعتمد على متجهات الاحتمالية وفقدان CE، في اكتشاف ذلك لأنها تعامل المفردات كقاعدة متعامدة، متجاهلة التداخل الهندسي بين تضمينات التوكنات (embeddings). عندما تكون التضمينات غير متعامدة (مثل: الخزي والذنب)، فإن تحديثات التدرج التي تزيد من احتمالية التوكن الصحيح تعزز في الوقت نفسه المنافس من خلال اتجاهات التضمين المشتركة، مما يؤدي فعلياً إلى تخريب هدف التحسين.

المنهجية

يقترح المؤلف إطار عمل مصفوفة الكثافة لتحليل التنبؤ بالتوكن، حيث يعامل تضمينات التوكن المعيرة كحالات كمومية $|\psi_i\rangle$ ومخرج الـ softmax كمصفوفة كثافة $\hat{\varrho} = \sum p_i |\psi_i\rangle\langle\psi_i|$. يسمفر هذا النهج تطبيق قاعدة تسجيل تأخذ في الاعتبار الهندسة غير المتعامدة للمساحة التضمينية.

البناءات التحليلية الرئيسية

1. معلم الترتيب ($\Phi$): يُعرف بـ "فجوة بورن" (Born gap)، وهي $\Phi = P_{Born}(g) - P_{Born}(c^*)$، حيث $P_{Born}(g) = \sum p_i G_{ig}^2$ هو الدرجة الموزونة بمربع التداخل. يميز هذا بين عدم اليقين الحقيقي (التوكنات المتعامدة) والتحلل الهندسي (المترادفات القريبة).
2. عامل التخريب الذاتي: يستنتج المؤلف أن خطوة التدرج التي تزيد من احتمالية التوكن الحقيقي $g$ تتقدم بفجوة بورن بمقدار $(1 - G_{max}^2)\delta p$ فقط، حيث $G_{max}$ هو التداخل الجيبي (cosine overlap) بين $g$ وأقرب منافس له $c^*$. يمثل هذا العامل "الخنق" (throttle) لتقدم عملية التحسين.
3. تفكيك الإشارة والسحب: يتم تفكيك $\Phi$ إلى:
   • الإشارة: الصدارة الاحتمالية لـ $g$ على $c^*$، مكيّفة بمعامل التخريب الذاتي.
   • سحب الخلفية: حد يتحدد من خلال كيفية إسقاط بقية مجمع التضمينات على $g$ مقابل $c^*$.
4. الملاحظات الهندسية:
   • نسبة المشاركة ($PR$): نسبة مشاركة عكسية مصححة هندسياً تقيس عدد التوكنات المتميزة الفعالة.
   • طول التمركز ($\xi$): الانتشار الزاوي لسحابة التنبؤ.
   • عمق الدفن ($B$): النسبة بين طول التمركز الأولي والمسافة الزاوية بين $g$ و$c^*$. إذا كان $B > 1$، فهذا يعني أن سحابة التنبؤ واسعة جداً بحيث لا تستطيع التمييز هندسياً بين التوكنات.
5. الكميات عديمة الأبعاد: يتم توصيف المسار باستخدام وحدات مختزلة، بما في ذلك المجال المختزل $H = G_{max}\eta / \theta^*$، حيث $\eta$ هو معدل التعلم و$\theta^*$ هو عتبة التشبع الخاصة بالنموذج.

الإعداد التجريبي

تغطي الدراسة خمس بنيات من المحولات (distilgpt2, GPT-2-medium, SmolLM-360M, Pythia-70M, Pythia-410M) تمتد عبر نطاق بارامترات سداسي، وفئتين متميزتين من هندسة التضمين. تتضمن التجارب الضبط الدقيق على عشرة سياقات مختارة يدوياً للمترادفات القريبة باستخدام كل من الضبط الدقيق الكامل (Full FT) والتكيف منخفض الرتبة (LoRA).

النتائج الرئيسية

1. الانتقالات الطورية الوهمية

يظهر معلم الترتيب $\Phi$ قفزات حادة تشبه الانتقالات الطورية. ومع ذلك، يفند المؤلف تفسير هذه القفزات على أنها كسر تلقائي للتماثل (SSB) أو انتقالات طورية هندسية.

• الدليل: تحت ظروف LoRA، حيث تكون مصفوفة التضمين مجمدة، تستمر القفزات الحادة. وبما أن الهندسة التضمينية لا يمكن أن تتحرك، فإن الانقطاع يجب أن يكمن بالكامل في مخرجات الـ softmax.
• الآلية: تتطور فجوة اللوجيت (logit gap) بسلاسة. تحدث "القفزة" عندما تعبر فجوة اللوجيت مقياس تشبع الـ softmax (حوالي 1.5 إلى 2.0 نات)، مما يسبب تحولاً سريعاً في الكتلة الاحتمالية. الانتقال هو حركي (kinematic) وليس بنيوياً.

2. نمطا الفشل

يعزل إطار العمل نمطي فشل متميزين في الضبط الدقيق:

• الفشل الحركي (Kinematic Failure): تكون الإشارة صغيرة جداً بحيث لا تستطيع التغلب على سحب الخلفية. يفشل النموذج في الالتزام لأن معدل التعلم أو عامل التخريب الذاتي غير كافٍ.
• الفشل البنيوي (Structural Failure): يعمل سحب الخلفية على التدهور فعلياً أثناء التدريب. حتى مع نمو فجوة اللوجيت، فإن التحيز الهندسي لمجمع التضمينات المسبق التدريب (على سبيل المثال، الأقارب المورفولوجيين للمنافس) يسحب الاحتمالية بعيداً عن التوكن الصحيح. يُلاحظ هذا في النماذج ذات التضمينات الكثيفة (الفئة A).

3. فئات البنيات وكفاية LoRA

يحدد المؤلف فئتين من البنيات بناءً على توزيع تداخلات التضمين الثنائية (الكتلة/bulk):

• الفئة A (الكتلة الغاوسية الكثيفة): نماذج مثل GPT-2 وSmolLM. المساحة التضمينية مزدحمة؛ المترادفات القريبة هي استثناءات في ذيل مأهول. غالباً ما يفشل LoRA في حل منافسة المترادفات القريبة لأن قمع أحد المنافسين يؤدي ببساادة إلى نقل الكتلة إلى توكن آخر مشابه هندسياً.
• الفئة B (الكتلة الأسية المتفرقة): نماذج مثل Pythia. المساحة التضمينية شبه متعامدة. يكون LoRA كافياً لحل المنافسة لأن التداخل الهندسي محلي.
• المعيار: يتم قياس عمق الدفن ($B$) بعد استخدام LoRA لتحديد الكفاية. تحقق نماذج الفئة B قيمة $B < 1$ (محلولة)، بينما تظل نماذج الفئة A عند $B > 1$ (غير محلولة).

4. القياس العالمي والتنبؤ الأعمى

• اتساق المجال المختزل: تحت ظبط Full FT، يكون المجال المختزل $H_{FT}$ متسقاً عبر جميع النماذج الخمسة عند حوالي $10.0 \pm 0.9$، مما يشير إلى أن معدلات التعلم القياسية في المجتمع تقع تقريباً عشر مرات فوق عتبة التشبع.
• التنبؤ الأعمى: باستخدام متوسط الفئة A وهو $H_{LoRA} \approx 1.70$ المستمد من ثلاثة نماذج، تنبأ المؤلف بمعدل التعلم الحرج لنموذج لم يسبق اختباره، وهو (gpt-neo-125m). طابقت النتيجة ($5.71 \times 10^{-5}$) الحقيقة المقاسة ($5.83 \times 10^{-5}$) بنسبة خطأ قدرها 2.1%.

5. معيار التوقف

إن إيقاف الضبط الدقيق عند تشبع معلم الترتيب $\Phi$ (بدلاً من انتظار تقارب فقدان CE) يوفر حوالي 30% من الحوسبة دون تقليل جودة الترتيب، حيث يستقر الترتيب قبل أن يكتمل تقارب الفقد بشكل كامل.

الأهمية والادعاءات

يزعم البحث تقديم تفسير ميكانيكي للفشل الصامت في الضبط الدقيق الذي تغفله التشخيصات القياسية. وتتمثل مساهماته الرئيسية في:

1. إطار تشخيصي: صياغة مصفوفة الكثافة التي تكشف عن التخريب الذاتي الهندسي وتميز بين الفشل الحركي والفشل البنيوي.
2. تفنيد الـ SSB: إثبات أن القفزات الحادة في الترتيب هي نواتج اصطناعية لمخرجات الـ softmax، وليست انتقالات طورية في هندسة النموذج الداخلية.
3. القدرة التنبؤية: القدرة على تصنيف البنيات إلى فئات "كافية لـ LoRA" و"غير كافية لـ LoRA" بناءً فقط على هندسة التضمين المسبقة (توزيع الكتلة) والتنبؤ بمعدلات التعلم الحرجة للبنيات غير المرئية بدقة عالية.
4. نطاق المحددات: يصرح المؤلف صراحةً بأن هذه النتائج الكمية خاصة بالآلية الهندسية للمترادفات القريبة المدروسة ولا ينبغي تعميمها على مجموعات بيانات الضبط الدقيق للتعليمات (instruction-tuning) دون إعادة معايرة. يعمل هذا العمل كتحليل مضبوط بأسلوب الفيزياء لنمط فشل محدد بدلاً من كونه اختباراً واسع النطاق لجميع مهام الضبط الدقيق.