On the Predictive Power of Representation Dispersion in Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "حول القدرة التنبؤية لتشتت التمثيل في النماذج اللغوية" (ICLR 2026).

1. بيان المشكلة

غالبًا ما تظهر النماذج اللغوية الكبيرة (LLMs) ظاهرة التباين (Anisotropy) أو انهيار الرتبة (Rank Collapse)، حيث تنهار الحالات الخفية (Hidden States) في مخروط ضيق أو فضاء فرعي منخفض الأبعاد، مما قد يحد من قدرتها التعبيرية. وبينما تعد هذه الظاهرة الهندسية موثقة جيدًا، إلا أن العلاقة الدقيقة بين اتساع فضاء التضمين (مدى انتشار التمثيلات السياقية) والأداء التنبئي للنموذج (مثل الحيرة/Perplexity والدقة) لا تزال غير واضحة.

تعالج الورقة فجوتين رئيسيتين:

1. الفجوة النظرية: هل يرتبط التشتت الأوسع للتمثيلات السياقية بقدرات أفضل في التنبؤ بالنصوص؟
2. الفجوة العملية: هل يمكن استغلال هذه الخاصية الهندسية كـ أداة تشخيصية خالية من الملصقات (Label-free) لاختيار النماذج، وتصنيف صعوبة البيانات، وتحسين التدريب دون الحاجة إلى ملصقات حقيقية (Ground-truth labels) أو عمليات تقييم مكلفة؟

2. المنهجية

المقياس الجوهري: تشتت التمثيل (Representation Dispersion)

يعرّف المؤلفون تشتت التمثيل بأنه متوسط مسافة جيب التمام الزوجية (Average pairwise cosine distance) بين المتجهات الخفية في طبقة مختارة (عادةً الطبقة الأخيرة) لمجموعة من عينات النصوص.
$$D = \frac{1}{\binom{N}{2}} \sum_{1 \le i < j \le N} \left[ 1 - \frac{E_i \cdot E_j}{\|E_i\| \|E_j\|} \right]$$
حيث تمثل $E_i$ و $E_j$ متجهات الحالة الخفية. تشير القيم الأعلى إلى أن التمثيلات أكثر تباعدًا في فضاء التضمين.

التحليل التجريبي

أجرى المؤلفون تجارب واسعة النطاق عبر عائلات نماذج متنوعة (LLaMA, Qwen, Gemma, Mistral, Phi) ومجالات مختلفة (ويكيبيديا، الأخبار، الملخصات العلمية، البرمجة).

• دراسة الارتباط: قاموا بتصنيف مقاطع النصوص حسب الحيرة (Perplexity) وقياس التشتت، مع تحليل الاتجاه عبر الطبقات وأحجام النماذج المختلفة.
• التجميع الدلالي (Semantic Clustering): لضمان أن التشتت ليس مجرد فصل للمواضيع غير المرتبطة، قاموا ببناء مجموعات (Clusters) من السياقات المتشابهة دلاليًا (التي تشترك في نفس التكملة المكونة من 10 كلمات/n-gram) وقياس المسافات داخل المجموعة وبين المجموعات أثناء التدريب.
• تأثيرات الضبط الدقيق (Fine-tuning): قارنوا بين النماذج المدربة مسبقًا وتلك التي تم ضبطها الدقيق عبر تقنية LoRA والضبط الدقيق لكامل المعلمات لمراقبة التغيرات في الهندسة التضمينية.

التطبيقات المقترحة

تقترح الورقة أربعة تطبيقات عملية لهذا المقياس:

1. تصنيف الصعوبة الخالي من الملصقات: استخدام التشتت لترتيب الأمثلة غير المصنفة حسب صعوبتها.
2. اختيار النموذج: استخدام مقياس "فجوة التشتت" لفحص متغيرات النماذج دون تقييم كامل.
3. اختيار الطبقة لـ kNN-LM: تحديد الطبقة الفرعية المثلى لعمليات التوليد المعززة بالاسترجاع.
4. إشارة التدريب: تقديم خسارة "الدفع بعيدًا" (Push-away loss) إضافية لزيادة التشتت صراحةً أثناء التدريب.

3. المساهمات والنتائج الرئيسية

أ. الرابط الأساسي: التشتت مقابل الحيرة (Perplexity)

• الارتباط السلبي: تثبت الدراسة وجود ارتباط سلبي قوي ومتسق بين تشتت التمثيل والحيرة. النماذج ذات التشتت الأعلى تحقق حيرة أقل.
• الدقة (Granularity): ينطبق هذا على حيرة مستوى التسلسل، وحيرة الرمز الأخير، وعبر أطوال سياقية متفاوتة (من 16 إلى 256 رمزًا).
• عمق الطبقة: يزد𝓷 الارتباط قوة في الطبقات الأعمق. تُظهر الطبقات المبكرة ارتباطًا ضعيفًا (تلتقط الميزات المعجمية)، بينما تُظهر الطبقات الأعمق تباعدًا قويًا بين العينات السهلة والصعبة.
• المجموعات الدلالية: من المهم ملاحظة أن حتى السياقات المتشابهة دلاليًا (داخل نفس المجموعة) تصبح أكثر تشتتًا مع تدريب النموذج. وهذا يثبت أن النماذج الأفضل تميز الفروق الدقيقة بدقة، وليس فقط المواضيع العامة.

ب. التطبيق 1: تصنيف الصعوبة الخالي من الملصبات

• النتيجة: في مجموعات البيانات غير المصنفة (مثل MMLU، ARC-Challenge)، يرتبط متوسط التشتت الزوجي لمجموعة فرعية من الأمثلة بشكل رتيب مع دقة النموذج على تلك المجموعة.
• النتيجة: الشرائح ذات التشتت العالي تقابل دقة عالية؛ والشرائح ذات التقلص تقابل حالات الفشل.
• الفائدة: يمكن للممارسين فرز البيانات غير المصنفة حسب التشتت لتحديد الشرائح "الصعبة" بغرض تعزيز البيانات المستهدف أو الفحص، محققين دقة معايرة عالية (MAE ~1.4–2.2%) بأقل قدر من البيانات المصنفة.

ج. التطبيق 2: اختيار النموذج عبر "فجوة التشتت"

• الطريقة: يعرّف المؤلفون فجوة التشتت ($G$) للرموز الخاصة بمجال معين (مثل أرقام الرياضيات، كلمات البرمجة المفتاحية) مقابل الرموز العامة.
  $$G = \text{within}(T) + \text{between}(T, T_{ref})$$
• النتيجة: ترتبط القيمة العالية لـ $G$ بقوة بدقة المهام النهائية (Spearman $\rho > 0.95$).
• الكفاءة: يتطلب هذا المقياس لا عمليات تمرير أمامي (Forward passes) ولا حسابات GPU؛ فهو يتطلب فقط قراءة مصفوفة تضمين المخرجات للنموذج. وقد نجح في ترتيب متغيرات النماذج (مثل CodeLlama مقابل Llama2) وتحديد نقاط التفتيش (Checkpoints) غير المتكيفة بشكل كافٍ.

د. التطبيق 3: تحسين kNN-LM

• النتيجة: في نموذج kNN-LM، يُظهر مخرج طبقة الانتباه (Attention sub-layer output) باستمرار تشتتًا أعلى من مخرج الشبكة العصبية المغذية للأمام (FFN).
• النتيجة: يؤدي اختيار طبقة الانتباه كمفتاح لمخزن البيانات (Datastore key) إلى تحقيق حيرة أفضل. يمكن لمقاييس التشتت التنبؤ بأفضل طبقة دون تجارب شاملة للنهاية إلى النهاية.

هـ. التطبيق 4: التدريب باستخدام خسارة "الدفع بعيدًا"

• الطريقة: يتم إضافة حد خسارة إضافي ($-\lambda \cdot \text{dispersion}$) إلى خسارة الإنتروبيا المتقاطعة القياسية لتشجيع التضمينات على الانتشار.
• النتائج:
  • النطاق الواحد: انخفاض طفيف في الحيرة (1–4 نقاط).
  • تعدد المجالات (WikiText + Code): انخفاض كبير في الحيرة لكلا المجالين، مما يشير إلى أن الفصل الصريح لمصادر البيانات غير المتجانسة يحسن التخصص والتعميم.
• دراسة الاستئصال (Ablation): على العكس من ذلك، أدت خسارة "الضغط" (Squeeze loss) (التي تجبر التضمينات على الاقتراب) إلى تدهور الأداء بشكل كبير، مما يؤكد الرابط السببي بين التشتت والقدرة التنبؤية.

4. الأهمية والتأثير

• الرؤية النظرية: تتحدى الورقة وجهة النظر التي تعتبر التباين مجرد نتاج ثانوي للتدريب، وتقترح بدلاً من ذلك أن الهندسة التضمينية الواسعة هي متطلب وظيفي للتنبؤ بجودة الرمز التالي. إنها تقدم تفسيرًا هندسيًا لسبب تفوق النماذج الأقوى.
• الكفاءة العملية: توفر المقاييس المقترحة أدوات خالية من الملصقات ومن الحوسبة (لاختيار النماذج) لمجتمع النماذج اللغوية الكبيرة. وهذا أمر بالغ الأهمية للفحص السريع لآلاف نقاط التفتيم والمتغيرات التي تم ضبطها دقيقًا والمتاحة حاليًا.
• نموذج التدريب: يوفر هدف "الدفع بعيدًا" تقنية تنظيم (Regularization) غير خاضعة للإشراف وبسيطة تحسن من متانة النموذج، خاصة في السيناريوهات متعددة المجالات أو عبر المجالات، دون الحاجة إلى استراتيجيات معقدة لاستخراج التباين (Contrastive mining).
• القابلية للتفسير: توفر الورقة مقياسًا رفيع المستوى وغير مرتبط بمكون محدد لصحة النموذج، مما يكمل أبحاث التفسير الآلي عبر ربط الهندسة العالمية بالأداء مباشرة.

الخاتمة

أثبت المؤلفون أن تشتت التمثيل هو مؤشر تنبئي قوي لجودة النماذج اللغوية. من خلال قياس مدى "انتشار" التمثيلات الداخلية للنموذج، يمكن للباحثين تشخيص صعوبة النموذج، واختيار أفضل النماذج، وتحسين طبقات الاسترجاع، وحتى تحسين أهداف التدريب — كل ذلك دون الاعتماد على تقييمات مكلفة تعتمد على الملصقات. يجسد هذا العمل الفجوة بين التحليل الهندسي وهندسة النماذج العملية.