ملخص تقني: التنميط الأدائي الكامن للنماذج اللغوية الكبيرة

بيان المشكلة

تعتمد نماذج التقييم الحالية للنماذج اللغوية الكبيرة (LLMs) بشكل كبير على مقاييس خارجية متمحورة حول الاختبارات المعيارية (مثل MMLU، وGSM8K، وHumanEval). وبينما تتبع هذه القوائم المتصدرة دقة المهام المحددة، يرى المؤلفون أنها تقدم رؤية محدودة وربما مشوهة لقدرات النموذج. وتشمل القيود الرئيسية ما يلي:

• تلوث البيانات والإفراط في التخصيص (Overfitting): غالبًا ما تنتج الدرجات العالية عن حفظ مجموعات الاختبار أو هندسة الأوامر (Prompt Engineering) بدلاً من الاستنتاج الحقيقي.
• الافتقار إلى الرؤية الداخلية: تقيس الاختبارات المعيارية المخرجات النهائية، لكنها تفشل في التقاط كيفية معالجة النماذج للمعلومات، أو معايرة عدم اليقين، أو هيكلة المعرفة الداخلية.
• عدم اتساق التصنيفات: تُظهر النماذج ذات أعداد المعلمات أو درجات الاختبارات المتشابهة سلوكيات متباينة في التطبيقات الواقعية، ومع ذلك تدمج هذه القوائم المتصدرة هذه الفروق الدقيقة في درجات مركبة واحدة.
• الهشاشة: لا تضمن الدقة العالية المتانة ضد تغير التوزيعات (Distribution Shifts)، أو الهلوسة، أو الثقة غير المعايرة.

يفترض البحث أن الدقة وحدها ليست مؤشرًا كافيًا للموثوقية، مما يستدعي التحول نحو تقييم متمركز حول الحالة (State-centered) وذاتي (Intrinsic) يفحص الديناميكيات الداخلية للنموذج.

المنهجية: التنميط الأدائي الكامن (LPP)

يقدم المؤلفون إطار عمل التنميط الأدائي الكامن (LPP)، وهو إطار يستخلص تشخيصات غير مرتبطة بمهام محددة من التنشيطات الخفية وتوزيعات المخرجات. بدلاً من تقييم ما يخرجه النموذج، يقيم LPP كيفية معالجته للمعلومات عبر قياس ثلاثة مقاييس قياسية أساسية يتم حسابها على نصوص غير مصنفة (تحديدًا باستخدام 100 عينة من مجموعة بيانات Alpaca):

1. أرضية عدم اليقين (الاعتلاج/الإنتروبي - Entropy):

   • التعريف: الحد الأدنى لإنتروبي الرمز التالي ($H$) الذي يتم تحقيقه عبر سياق متدحرج.
   • الحدس: يعكس أدنى مستوى من عدم اليقين يصل إليه النموذج مع تراكم الأدلة. تشير الأرضية العالية إلى تردد مستمر؛ بينما قد يشير الانخفاض الشديد في الأرضية إلى الإفراط في الثقة.
   • التجميع: الحد الأدنى للإنتروبي عبر السياق.

2. الرتبة الفعالة (Effective Rank - ER):

   • التعريف: تُحسب من القيم المفردة ($\sigma_i$) لمصفوفة التباين المشترك للحالة الخفية $C$. حيث $ER = \exp(-\sum \tilde{\sigma}_i \log \tilde{\sigma}_i)$، وحيث $\tilde{\sigma}$ هي القيم المفردة المعيارية.
   • الحدس: يقدر الأبعاد النشطة للتمثيل الخفي. تشير ER العالية إلى تمثيلات منتشرة ومفرطة التوسع؛ بينما تشير ER المتوسطة إلى نشاط مهيكل.
   • التجميع: الحد الأقصى لـ ER عبر الطبقات والسياقات.

3. نسبة المشاركة (Participation Ratio - PR):

   • التعريف: تُحسب من القيم الذاتية ($\lambda_i$) لمصفوفة التباين المشترك $C$. حيث $PR = (\sum \lambda_i)^2 / \sum \lambda_i^2$.
   • الحدس: يقيس مدى توزيع التباين عبر الأبعاد. تشير PR العالية إلى تنشيط منتشر وفائض في المعلومات؛ بينما تشير PR المنخفضة إلى تمثيلات مدمجة وانتقائية.
   • التجميع: الحد الأقصى لـ PR عبر الطبقات والسياقات.

يتم حساب هذه المقاييس على الحالات الخفية للطبقة الأخيرة من نماذج فك التشفير (Decoder-only) باستخدام فك التشفيد الجشع (Greedy Decoding) عند (درجة حرارة = 0) للقضاء على ضجيج أخذ العينات.

المساهمات الرئيسية

1. الاكتشاف التجريبي للتباعد الكامن

قام المؤلفون بتنميط ثمانية نماذج مفتوحة المصدر (تتراوح بين 0.5 مليار إلى 14 مليار معلمة، بما في ذلك عائلات LLaMA وQwen وMistral). وأثبتوا أن النماذج ذات درجات الاختبارات المتشابهة تُظهر ملفات تعريف كامنة متباينة تمامًا:

• Mistral-7B مقابل Qwen-7B: حقق كلاهما دقة مماثلة في BBH، ومع ذلك أظهر Mistral إنتروبي أقل (ثقة أعلى) مع PR متوسطة، بينما أظهر Qwen-7B نسبة PR منخفضة للغاية (تمثيلات شديدة الضغط) مع إنتروبي أعلى.
• عدم اتساق التوسع (Scaling Inconsistencies): لا تتفوق النماذج الأكبر حجمًا بشكل موحد على النماذج الأصغر في الفضاء الكامن. على سبيل المثال، كان لنموذجي LLaMA-3B وLLaMA-8B درجات متطابقة تقريبًا في IFEval، لكن LLaMA-3B عمل بإنتروبي أعلى وفضاء كامن ذي أبعاد أعلى.

2. الارتباط الضعيف بين المقاييس الخارجية والداخلية

كشف تحليل ارتباط سبيرمان عن علاقات ضعيفة أو غير ذات دلالة إحصائية ($\rho$ تتراوح بين -0.75 إلى -0.32) بين درجات الاختبارات المعيارية (MMLU-PRO، BBH، IFEval) ومقاييس LPP. وهذا يؤكد أن ترتيب القائمة المتصدرة هو مؤشر سيئ للتنبؤ بمعايرة عدم اليقين أو كفاءة التمثيل في النموذج.

3. اكتشاف الأنماط الهيكلية

• هيكل "الساعة الرملية" (Hourglass Structure): كشف التحليل على مستوى الطبقات عن نمط ثابت عبر جميع عائلات النماذج: إنتروبي وأبعاد عالية في الطبقات الضحلة والعميقة، مع اختناق مضغوط في الطبقات الوسطى. يشير هذا إلى آلية توسيع، ثم تقطير، ثم إعادة توسيع تشبه المشفر (Encoder) في نماذج Transformer المعتمدة على فك التشفير فقط.
• البنية مقابل الحجم: تجمعت السلوكيات الكامنة (مثل ديناميكيات الإنتروبي) بشكل أقوى حسب عائلة النموذج (البنية) أكثر من عدد المعلمات.

4. مهام تركيبية مستوحاة من LPP

للتحقق من فائدة هذه المقاييس، صمم المؤلفون مهمتين تشخيصيتين تركيبيتين تختبران قدرات كامنة محددة:

• الاستنتاج الغامض (Ambiguous Reasoning - AR): يختبر معايرة عدم اليقين من خلال مطالبة النماذج باكتشاف وحل الغموض اللغوي. ارتبط الأداء في AR بقوة مع أرضية الإنتروبي.
• إكمال الأنماط الرمزية (Symbolic Pattern Completion - SPC): يختبر ضغط التمثيل من خلال مطالبة النماذج بالتنبؤ بتسلسلات رمزية تحكمها قواعد خفية. ارتبط الأداء في SPC بقوة مع انخفاض PR وER.

نجحت هذه المهام في فصل النماذج بشكل أوضح من الاختبارات التقليدية، وكشفت عن قدرات (مثل قوة Mistral-7B في AR بسبب انخفاض الإنتروبي) فاتتها القوائم المتصدرة.

النتائج والمكتشفات

• التعامد (Orthogonality): الدقة الخارجية والملفات التعريفية الكامنة الداخلية متعامدة إلى حد كبير. يمكن للنموذج أن يكون دقيقًا للغاية ولكن بتمثيلات داخلية هشة (PR/ER مرتفع) أو معايرة سيئة (أرضية إنتروبي عالية).
• الاستقرار: مقاييس LPP قوية عبر أحجام العينات المختلفة (تستقر عند ~100 عينة)، ومجموعات البيانات (Alpaca، Dolly، WikiText)، وأطوال السياق.
• القيمة التنبؤية: أدت النماذج ذات أرضيات الإنتروبي المنخفضة بشكل أفضل في مهام AR، بينما أدت النماذج ذات PR/ER المنخفض بشكل أفضل في مهام SPC. يشير هذا إلى أن مقاييس LPP يمكن أن توجه اختيار النماذج لاحتياجات تطبيقات محددة (مثل المهام الحرجة للسلامة التي تتطلب عدم يقين منخفض مقابل المهام الرمزية التي تتطلب ضغطًا).
• إمكانية المراقبة: يقترح المؤلفون أن الانحرافات عن أنماط LPP المتوقعة (مثل ارتفاع أرضيات الإنتروبي أو طفرات في الرتبة الفعالة) يمكن أن تعمل كإشارات إنذار مبكر لانجراف النطاق (Domain Drift) أو المدخلات العدائية أثناء النشر.

الأهمية والادعاءات

يزعم البحث أن LPP يوفر عدسة تكميلية ومتمركزة حول الحالة لتقييم النماذج اللغوية الكبيرة، مما يعالج "النقاط العمياء" للاختبارات المعيارية التقليدية. وتكمن أهميته في:

1. القابلية للتفسير: تقديم طريقة منهجية لفهم لماذا تتصرف النماذج بشكل مختلف رغم تشابه درجاتها، من خلال الكشف عن الاستراتيجيات الداخلية (مثل المخططات المنتشرة مقابل المدمجة).
2. الموثوقية: توفير بصمات مستقرة وحساسة للبنية، وهي أقل عرضة لتلوث البيانات أو الإفراط في التخصيص مقارنة بمجموعات الاختبار الثابتة.
3. اختيار النماذج: تمكين الممارسين من اختيار النماذج بناءً على سماتها الجوهرية (مثل اختيار نموذج ذي إنتروبي منخفض لاتخاذ القرارات الحرجة للسلامة) بدلاً من مجرد الدقة الإجمالية.
4. أساس للتقييم المستقبلي: وضع LPP كـ "اختبار حاسم" للخصائص الداخلية الأساسية، مما يحفز تطوير أطر تقييم شاملة تتحرك لما وراء الدقة السطحية.

يحافظ المؤلفون على موقف متواضع، مشيرين إلى أنه على الرغم من أن الإنتروبي وPR وER ليست شاملة، إلا أنها توفر نقطة انطلاق منهجية للتحول في نموذج التقييم من التقييم القائم على النتائج فقط إلى التقييم المدرك للعملية (Process-aware).