Tracing the complexity profiles of different linguistic phenomena through the intrinsic dimension of LLM representations

ملخص تقني: تتبع ملفات التعقيد لمختلف الظواهر اللغوية من خلال البعد الجوهري لتمثيلات النماذج اللغوية الكبيرة (LLMs)

1. بيان المشكلة

بينما تُظهر النماذج اللغوية الكبيرة (LLMs) قدرات لغوية مذهلة، إلا أن الآليات الداخلية التي تعالج من خلالها البنى النحوية والدلالية المعقدة لا تزال غير مفهومة بشكل كافٍ. وتحديداً، يسعى الباحثون إلى تحديد ما إذا كانت "الطبقات الداخلية" لهذه النماذج تتوافق مع مراحل متميزة من المعالجة اللغوية (على سبيل المثال: المدخلات على المستوى السطحي مقابل التجريد الهيكلي العميق). ويتمثل التحدي الرئيسي في إيجاد مقياس يمكنه التمييز بين أنواع مختلفة من التعقيد اللغوي — مثل التعقيد الشكلي (العمق الهيكلي) والتعقيد الوظيفي (جهد المعالجة/الذاكرة) — وتحديد ما إذا كانت هذه التعقيدات تظهر في مراحل مختلفة من بنية النموذج.

2. المنهجية

يقترح المؤلفون استخدام البعد الجوهري (Intrinsic Dimension - ID) كأداة استقصاء للتعقيد اللغوي. والفرضية الأساسية هي أنه كلما زاد تعقيد البيانات بالنسبة لنظام تمثيلي، زاد بعدها الجوهري.

• المقياس الأساسي (ID): استخدموا مُقدّر TwoNN لحساب البعد الجوهري لتمثيلات الرمز الأخير (last-token embeddings) عبر طبقات النموذج في التدفق المتبقي (residual stream).
• التباينات اللغوية: لاختبار دقة البعد الجوهري، صمموا ثلاث مجموعات بيانات من الأزواج الدنيا المتحكم بها:
  1. العطف مقابل التبعية: المقارنة بين البنى المسطحة (باستخدام and) والبنى الهرمية المتداخلة (باستخدام that).
  2. التفرع الأيمن مقابل التداخل المركزي: المقارنة بين الامتدادات الخطية والاعتمادات طويلة المدى التي تزيد من حمل الذاكرة.
  3. الغموض مقابل عدم الغموض في التعليق: المقارنة بين الجمل حيث تحل الإشارات الدلالية غموض التعليق النسبي، مقابل تلك التي يظل فيها الغموض قائماً.
• النماذج: الدراسة عابرة للنماذج، حيث اختبرت ستة نماذج لغوية كبيرة تختلف في أحجامها (من 7 إلى 14 مليار معلمة)، بما في ذلك Llama-3، وGemma-2، وMistral، وQwen-2.5.
• تقنيات التحقق:
  • التشابه التمثيلي: استخدام عدم التوازن المعلوماتي ($\Delta$) لقياس التباعد الاتجاهي بين فضاءات التمثيل.
  • تقليم الطبقات (Layer Pruning): إزالة الطبقات بشكل تكراري لمراقبة التأثير على دقة التنبؤ بالرمز التالي وتباعد KL، وذلك لاختبار الأهمية السببية لطبقات معينة.

3. المساهمات الرئيسية

• رسم خرائط التعقيد التفصيلية: على عكس الدراسات السابقة التي نظرت إلى بيانات عامة، يوضح هذا العمل أن البعد الجوهري (ID) يمكنه التمييز بين تباينات محددة ومعروفة (نفسياً) في التعقيد اللغوي.
• تحديد "مرحلة التجريد": تؤكد الورقة أن "ذروة البعد الجوهري العام" (النقطة التي يكون فيها الـ ID في أعلى مستوياته للنصوص العشوائية) تتزامن مع المرحلة التي تؤدي فيها النماذج أكثر المهام اللغوية تعقيداً، مما يمثل انتقالاً إلى المعالجة الهيكلية العميقة.
• التمييز بين التعقيد الشكلي والوظيفي: تقدم الدراسة دليلاً تجريبياً على أن أنواعاً مختلفة من التعقيد تُحفز ملفات تعريف مختلفة للبعد الجوهري وتحدث في أعماق مختلفة من النموذج.

4. النتائج

تُظهر النتـائج درجة ملحوذة من الاتساق عبر نماذج لغوية متباينة:

• التبعية مقابل العطف: تُظهر الجمل التابعة (المتداخلة) ملفات تعريف ذات بعد جوهري أعلى بكثير. ويظهر هذا التباين عادةً حول "ذروة البعد الجوهري العام"، مما يشير إلى أن الطبقات العميقة للنموذج مخصصة خصيصاً لبناء البنى الهرمية.
• التداخل المركزي مقابل التفرع الأيمن: يظهر التمييز في وقت مبكر في الطبقات (قبل الذروة)، مما يعكس على الأرجح معالجة منخفضة المستوى للاعتماد طويل المدى. ومن المثير للاهتمام أن الجمل ذات التفرع الأيمن تُظهر أحياناً بعداً جوهرياً أعلى في الطبقات المتأخرة جداً، وهو ما يعزوه المؤلفون إلى وجود جملة متداخلة في نهاية الجملة.
• حل الغموض: تحافظ الجمل الغامضة على بعد جوهري أعلى باستمرار من الجمل غير الغامضة عبر معظم الطبقات، مما يشير إلى أن الغموض يخلق حالة من "عدم الاستقرار التمثيلي" بدلاً من كونه خطوة معالجة مرتبطة بمرحلة محددة.
• التحقق السببي: أكدت تجارب التقليم أن إزالة الطبقات ضمن نطاق "ذروة البعد الجوهري العام" تؤدي إلى تدهور الأداء في الجمل التابعة بشكل أكبر مما هو عليه في الجمل المعطوفة، مما يثبت أن هذه الطبقات حاسمة لمعالجة البنى المتداخلة.

5. الأهمية

لهذا البحث أهمية مزدوجة:

• لتفسير الذكاء الاصطناعي (AI Interpretability): يشير هذا البحث إلى أن "العالمية" الملحوظة في النماذج اللغوية الكبيرة ليست عرضية، بل تنبع من حقيقة أن النماذج المختلفة تتقارب نحو استراتيجيات هندسية متشابهة لتنظيم المعالجة اللغوية. كما يوفر أداة (ID) لرسم "التشريح الوظيفي" لنموذج المحولات (Transformer).
• للغويات: يضع النماذج اللغوية الكبيرة كنماذج مفيدة للدراسة في السيليكون (in silico) لملكة اللغة البشرية. إن قدرة البعد الجوهري (ID) على تتبع التعقيد تشير إلى أنه يمكن أن يعمل في النهاية كمقياس رسمي لتكميم التعقيد اللغوي بطرق تكمل المقاييس النفسية اللغوية التقليدية.