💻 computer science

Scale Determines Whether Language Models Organize Representation Geometry for Prediction

تقدم هذه الورقة "Subspace PGA" لتكشف أنه في حين أن هندسة تمثيل النموذج اللغوي منظمة من أجل التنبؤ، فإن النماذج الصغيرة تفقد هذا التوافق في الطبقات اللاحقة بسبب مقايضة في السعة تحجبها الاتجاهات المهيمنة، بينما تحافظ النماذج الكبيرة عليه طوال عملية التدريب.

المؤلفون الأصليون: Weilun Xu

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Weilun Xu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

الفكرة الكبرى: كيف "تفكر" النماذج اللغوية في الفضاء

تخيل النموذج اللغوي (مثل تلك التي تكتب المقالات أو تدردش معك) كمكتبة ضخمة متعددة الطوابق. في كل مرة يقرأ فيها النموذج كلمة، فإنه ينشئ "علامة مرجعية" (تمثيل) ويضعها على رف محدد في غرفة محددة (طبقة) داخل المكتبة.

تسأل الورقة سؤالاً بسيطاً: كيف يتم ترتيب هذه العلامات المرجعية؟

لفترة طويلة، نظر العلماء إلى شكل الأرفف (هل هي مزدحمة؟ أم فارغة؟). لكن هذه الورقة تسأل شيئاً مختلفاً: هل تم ترتيب الأرفف بطريقة تساعد النموذج على التنبؤ بالكلمة التالية؟

اكتشف المؤلفون أن الإجابة تعتمد كلياً على حجم المكتبة (مقياس النموذج).

الأداة: "بوصلة التنبؤ" (Subspace PGA)

للإجابة على ذلك، ابتكر المؤلفون أداة قياس جديدة تسمى Subspace PGA.

تخيل هدف النموذج النهائي كـ "منطقة مستهدفة" (مصفوفة عدم التضمين، أو $W_U$ ). هذا هو الاتجاه المحدد الذي يحتاج النموذج للإشارة إليه من أجل تخمين الكلمة التالية بشكل صحيح.

الاختبار: يأخذ المؤلفون "العلامات المرجعية" من منتصف المكتبة ويسألون: "إذا نظرنا فقط إلى الاتجاهات التي تشير نحو المنطقة المستهدفة، هل تظل العلامات المرجعية منطقية بالنسبة لبعضها البعض؟"
النتيجة (Z-score):
- درجة موجبة عالية: العلامات المرجعية منظمة تماماً. حتى لو تجاهلت جميع الاتجاهات الأخرى، فإن الاتجاهات التي تشير إلى المنطقة المستهدفة لا تزال تحافظ على تماسك الخريطة. المكتبة منظمة من أجل التنبؤ.
- صفر أو درجة سالبة: العلامات المرجعية مبعثرة. الاتجاهات التي تشير إلى المنطقة المستهدفة عشوائية مثل أي اتجاه آخر. المكتبة فقدت تنظيمها من أجل التنبؤ.

الاكتشاف: الحجم يفرق

اختبر الباحثون مكتبات بأحجام مختلفة (من نماذج صغيرة بـ 70 مليون معلمة إلى نماذج ضخمة بـ 6.9 مليار معلمة). ووجدوا سلوكين مختلفين تماماً:

1. المكتبات الضخمة (النماذج الكبيرة)

"الطريق المباشر"
في النماذج الكبيرة (مثل Pythia-1B وما فوق)، يكون التنظيم ثابتاً من الطابق السفلي إلى الطابق العلوي.

التشبيه: تخيل نظام طرق سريع واسع. بغض النظر عن المخرج الذي تسلكه، فإن لافتات الطريق واضحة دائماً وتشير مباشرة نحو الوجهة. اتجاهات "المنطقة المستهدفة" هي دائماً الأكثر أهمية.
النتيجة: يظل الهيكل منظماً من أجل التنبؤ طوال الوقت.

2. المكتبات الصغيرة (النماذج الصغيرة)

"الالتفاف"
في النماذج الأصغر (مثل Pythia-410M وما دون)، يحدث شيء غريب بالقرب من الطوابق العليا (الطبقات المتأخرة).

التشبيه: تخيل بلدة صغيرة ومزدحمة. بينما تقترب من المخرج، يسد الطريق الرئيسي شاحنة ضخمة وبطيئة الحركة (اتجاه مهيمن في التباين). هذه الشاحنة لا تتجه نحو المنطقة المستهدفة؛ بل تتجه إلى مكان آخر.
المشكلة: لأن البلدة صغيرة، لا يوجد مساحة كافية لكل من طريق "المنطقة المستهدفة" وطريق "الشاحنة". الشاحنة تسيطر على الشارع بأكمله. وهكذا، تُدفع اللافتات التي تشير إلى المنطقة المستهدفة جانباً وتصبح غير مرئية.
المفاجأة: قبل المخرج الأخير مباشرة (الطبقة النهائية)، يقوم النموذج فجأة بإبعاد الشاحنة وإعادة وضع اللافتات. النتيجة النهائية لا تزال صحيحة، لكن الرحلة إليها كانت عبارة عن التفاف.

النتائج الرئيسية باللغة البسيطة

1. تأثير "القناع" (Masking)
تجادل الورقة بأن النماذج الصغيرة لا "تنسى" كيفية التنبؤ. المعلومات لا تزال موجودة، لكنها مُقنّعة (مخفية) بواسطة ذلك الاتجاه العملاق الواحد (الشاحنة).

الدليل: إذا قمت بإزالة ذلك الاتجاه المهيمن (الشاحنة) اصطناعياً، تظهر النماذج الصغيرة تنظيماً مثالياً مرة أخرى، تماماً مثل النماذج الكبيرة. الهيكل لم يُدمر أبداً؛ بل كان مغطى فقط.

2. منحنيات الخسارة تخدعنا (Loss Curves Lie)
عادةً، نحكم على النموذج من خلال "الخسارة" (عدد الأخطاء التي يرتكبها).

المفاجأة: كل من النماذج الصغيرة (ذات الالتفاف) والنماذج الكبيرة (ذات الطريق المباشر) تحقق نفس معدل الخطأ المنخفض. كلاهما يتنبأ بالكلمة التالية بنفس الجودة.
الدرس: لا يمكنك معرفة ما إذا كان النموذج "منظماً" أو "يسلك التفافاً" بمجرد النظر إلى معدل الخطأ الخاص به. يمكن للنموذج أن يقدم تنبؤات مثالية بينما هندسته الداخلية مشوشة تماماً.

3. الأدوات القديمة أغفلت ذلك
استخدم العلماء سابقاً أدوات تقيس "شكل" البيانات (مثل مدى انتشار العلامات المرجعية).

الفشل: قالت هذه الأدوات القديمة إن النماذج الصغيرة والكبيرة تبدو متشابهة. لم يستطيعوا رؤية أن النماذج الصغيرة تسلك طريقاً التفافياً. "بوصلة التنبؤ" الجديدة (Subspace PGA) هي أول أداة ترصد هذا الفرق.

ملخص التشبيه

تخلق طباخان نفس الحساء.

الطباخ الكبير (النموذج الكبير): يحافظ على جميع المكونات منظمة في أوعية مصنفة من البداية إلى النهاية. وعندما يحين وقت التقديم، يكون الحساء جاهزاً.
الطباخ الصغير (النموذج الصغير): يبدأ بأوعية مصنفة. ولكن في منت_صف العملية، يسكب كل شيء في قدر واحد ضخم وفوضوي لأن مطبخه صغير جداً للحفاظ على الأوعية منفصلة. يقوم بتحريك كل شيء بعشوائية (الالتفاف). ومع ذلك، قبل التقديم مباشرة، يستخرج سحرياً الحساء المثالي من وسط الفوضى ويقدمه.

النتيجة: كلا الطباخين يقدمان نفس الحساء اللذيذ (خسارة منخفضة).
الفرق: مطبخ الطباخ الكبير كان منظماً للمهمة طوال الوقت. أما مطبخ الطباخ الصغير فقد كان فوضوياً وغير منظم لمعظم العملية، ولم يصلح نفسه إلا في اللحظة الأخيرة تماماً.

الاستنتاج: حجم النموذج لا يحدد فقط مدى جودة تنبؤاته، بل يحدد أيضاً كيف ينظم عالمه الداخلي للقيام بذلك. النماذج الصغيرة تسلك التفافاً فوضوياً؛ أما النماذح الكبيرة فتسلك طريقاً مباشراً.

ملخص تقني: الحجم يحدد ما إذا كانت النماذج اللغوية تنظم هندسة التمثيل من أجل التنبؤ

بيان المشكلة

في النماذج اللغوية (LMs)، يتم تحديد المحتوى الدلالي للتمثيل من خلال هندسة فضاء التمثيل الخاص به—وتحديداً، المسافات بين النقاط بدلاً من التنشيطات المطلقة. وبينما تقوم الأدوات الحالية بتوصيف شكل هذه الهندسة (مثل الرتبة، والاضمحلال الطيفي، والتقارب بين النماذج)، فإنها لا تعالج السؤال الوظيفي: لأي غرض تم تنظيم هذه الهندسة؟

تشير الأطر النظرية إلى أن التمثيلات يجب أن تتنظم حول المهمة التنبؤية للنموذج، وتحديداً مصفوفة عدم التضمين (unembedding matrix) $W_U$ التي تربط الحالات المخفية بتوزيع الرمز التالي. ومع ذلك، يظل مسألة ما إذا كانت الطبقات المتوسطة توائم هياكل المسافة الخاصة بها مع الفضاء الفرعي للقراءة (readout subspace) سؤالاً تجريبياً. المقاييس الحالية، مثل "عدسة اللوجيت" (Logit Lens) (التي تختبر قابلية فك التشفير للنقاط الفردية) أو المقاييس الطيفية (التي تصف شكل المتشعب/manifold)، تفشل في التقاط ما إذا كان الترتيب الهندسي للمسافات موجهاً وظيفياً نحو التنبؤ. علاوة على ذلك، فمن غير المعروف ما إذا كان هذا التنظيم يتم الحفاظ عليه بشكل موحد عبر جميع الطبقات وأحجام النماذج.

المنهجية: Subspace PGA

يقدم المؤلفون المواءمة الهندسية التنبؤية للفضاء الفرعي (Subspace Predictive-Geometric Alignment - Subspace PGA)، وهو مقياس مصمم لقياس درجة مواءمة بنية المسافة في طبقة ما مع القراءة التنبؤية للنموذج.

تعريف الفضاء الفرعي للقراءة: يتم تحليل مصفوفة عدم التضمين $W_U$ عبر تحليل القيم المفردة (SVD). وتحدد المتجهات المتجهة لليمين (right singular vectors) من أعلى $k$ الفضاء الفرعي للقراءة ( $V_k$ )، والذي يمثل الاتجاهات في الفضاء المخفي التي تضخمها $W_U$ أكثر لإنتاج التنبؤات.
الحفاظ على المسافة: بالنسبة لطبقة معينة $\ell$ ، يحسب المؤلفون مسافات جيب التمام (cosine distances) الزوجية بين الحالات المخفية في الفضاء الكامل ذي $d$ من الأبعاد ( $d_{full}$ ) وفي الفضاء الفرعي المسقط ( $d_{proj}$ ).
التوزيع الصفري (Null Distribution): لعزل المساهمة المحددة للقراءة، يقارن المؤلفون ارتباط سبيرمان بين $d_{full}$ و $d_{proj}$ مقابل توزيع صفري. يتم إنشاء هذا التوزيع الصفري عن طريق إسقاط نفس الحالات المخفية على 100 فضاء فرعي عشوائي ذي $k$ من الأبعاد تم أخذ عينات منها بانتظام من "جراسمانيان" (Grassmannian).
حساب الدرجة المعيارية (Z-Score): يُعرف Subspace PGA بأنه الدرجة المعيارية:
$PGA(\ell) = \frac{\rho_{readout} - \mu_{null}}{\sigma_{null}}$
تشير القيمة الموجبة العالية لـ $z$ إلى أن الهندسة منظمة من أجل التنبؤ (القراءة تحافظ على هيكل أكثر من الفضاءات الفرعية العشوائية). بينما تعني $z \approx 0$ عدم وجود مواءمة خاصة، وتعني $z < 0$ أن القراءة أقل مواءمة مع بنية المسافة مقارنة بالفضاءات العشوائية.
تصحيح تباين الخواص (Anisotropy Correction): لمنع اتجاه التباين المهيمن (الذي يضخم تشابه جيب التمام) من إرباك المقياس، يطبق المؤلفون عملية تمركز المتوسط متبوعة بـ CCR-1 (إزالة المكون الرئيسي الأول) قبل حساب المسافات.

النتائج الرئيسية

تقيم الدراسة سبعة نماذج من عائلة Pythia (من 70 مليون إلى 6.9 مليار معلمة) وثلاثة نماذج من عائلات مختلفة (OLMo, Phi, Gemma).

1. التنظيم المعتمد على الحجم

النماذج الكبيرة ( $d \ge 2048$ ): تحافظ هذه النماذج على تنظيم تنبؤي قوي في جميع الطبقات المتوسطة. تظل درجات $z$ موجبة بشكل كبير (تصل ذروتها عند $z=9–24$ في الطبقات الوسطى)، مما يشير إلى أن بنية المسافة متوافقة باستمرار مع فضاء القراءة الفرعي.
النماذج الصغيرة ( $d \le 1024$ ): تظهر هذه النماذج نظام "الالتفاف" (detour regime). فبينما تؤسس تنظيماً تنبؤياً في وقت مبكر من التدريب وفي الطبقات الأولى، فإنها تفقد هذا التوافق تدريجياً في الطبقات المتأخرة ولكن ليست النهائية (على سبيل المثال، الطبقات 20-23 في Pythia-410M). في "مناطق الانهيار" هذه، تنخفض درجات $z$ بشكل كبير (لتصل مثلاً إلى $-32$)، مما يشير إلى أن بنية المسافة تصبح غير متوافقة مع القراءة، حتى مع استمرار تحسن خسارة التحقق (validation loss) للنموذج.
الاستعادة: في النماذج الصغيرة، تستعيد الطبقة النهائية هذا التوافق، حيث تعيد إسقاط الهندسة مرة أخرى في فضاء القراءة الفرعي قبل المخرج.

2. الآلية: مقايضة السعة والحجب (Masking)

إن فقدان التنظيم في النماذج الصغيرة ليس تدميراً للمعلومات التنبؤية، بل هو تأثير حجب (masking) ناتج عن قيود السعة.

هجرة الاتجاه المهيمن: في الطبقات المتأخرة من النماذج الصغيرة، يدور اتجاه أكبر تباين في التيار المتبقي (PC1) بعيداً عن فضاء القراءة الفرعي نحو اتجاهات "مظلمة" (orthogonal لـ $W_U$ ).
الحجب: نظرًا لأن اتجاه التباين المهيمن يحمل معظم بنية المسافة، فإن الفضاءات العشوائية (التي تلتقط جزءاً من هذا التباين) تنتهي بالحفاظ على بنية المسافة بقدر أو أفضل مما تفعله القراءة. وهذا يؤدي إلى انخفاض درجة $z$ .
الاستعادة: يؤدي إزالة المكونات الرئيسية القليلة العليا (CCR-5 أو CCR-10) إلى استعادة درجات $z$ الموجبة في جميع طبقات النماذج ذات $d \ge 768$ . وهذا يؤكد أن البنية التنبؤية كانت سليمة ولكنها محجوبة بواسطة بعض الاتجاهات المهيمنة غير المرتبطة بالتنبؤ.

3. الاستقلال عن المقاييس الطيفية والخسارة

العمى الطيفي: تفشل المقاييس الطيفية القياسية (RankMe, $\alpha$ -ReQ, isotropy, condition number) في اكتشاف هذا التمييز. في مناطق الانهيار للنماذج الصغيرة، تظل المقاييس الطيفية مستقرة أو مسطحة بينما يتأرجح Subspace PGA بأكثر من 40 انحرافاً معيارياً.
عدم الحساسية للخسارة: منحنيات خسارة التحقق متطابقة تقريباً عبر النماذج الصغيرة والكبيرة، مما يفشل في التقاط إعادة التنظيم الهندسي الذي يحدث في الطبقات المتوسطة.

4. التقارب عبر البنى المختلفة

يركز فضاء القراءة الفرعي البنية المتوافقة عبر البنى المختلفة. عند مقارنة نماذج مختلفة (مثل Pythia مقابل OLMo)، يكون ارتباط سبيرمان للمسافات الزوجية أعلى في فضاء القراءة الفرعي ذي الـ 100 بُعد منه في الفضاء الكامل أو الفضاءات العشوائية. هذا يشير إلى أن ما تتفق عليه النماذج المدربة بشكل مستقل هندسياً مرتبط تحديداً بالوظيفة التنبؤية.

5. الفائدة في المهام اللاحقة

في النماذج الكبيرة، الطبقات ذات درجات Subspace PGA العالية تحقق أيضاً دقة أعلى للمسبارات الخطية (linear probes) في المهام اللاحقة (AG News). في النماذج الصغيرة، تظل دقة المسبار عالية حتى في "منطقة الانهيار" حيث تكون $z$ سالبة، مما يثبت أكثر أن الميزات الأساسية محفوظة ولكنها فقط غير متوافقة مع واجهة القراءة.

الأهمية والادعاءات

يزعم البحث أن الحجم يحدد ليس فقط مدى قدرة النموذج على التنبؤ، بل أيضاً كيف يتم تنظيم هندسة تمثيله للقيام بذلك.

نظامان هندسيان: حدد المؤلفون نظاماً "مباشراً" (النماذج الكبيرة) حيث تظل الهندسة متوافقة مع التنبؤ، ونظام "التفاف" (النماذج الصغيرة) حيث توجه الطبقات المتأخرة الحوسبة مؤقتاً عبر اتجاهات غير مرتبطة بالتنبؤ قبل التصحيح عند المخرج.
التوجه الوظيفي: ينقل البحث التركيز من توصيف شكل هندسة التمثيل إلى فهم توجهها الوظيفي. ويُظهر أن الهندسة يمكن أن تكون مهيكلة للغاية ولكنها غير متوافقة وظيفياً مع هدف النموذج.
قصور المقاييس الحالية: يسلط العمل الضوء على أن منحنيات الخسارة والمقاييس الطيفية غير كافية لتشخيص التنظيم الوظيفي للتمثيلات المتوسطة. يوفر Subspace PGA مقياساً خالياً من المهام ومتوافقاً في الأبعاد للكشف عن هذه الظواهر.
السعة مقابل البنية: يُعزى هذا الظاهرة إلى سعة التمثيل (العرض) بدلاً من التفاصيل المعمارية، حيث لوحظت عبر عائلات نماذج مختلفة عندما تكون الأبعاد صغيرة.

يخلص المؤلفون إلى أن "الالتفاف" في النماذج الصغيرة هو أثر جانبي لضيق السعة الذي يجبر تصادماً بين اتجاهات الحوسبة المتوسطة والاتجاهات المتوافقة مع القراءة، بدلاً من كونه استراتيجية توجيه متعلمة صراحةً. هذا التمييز غير مرئي لإشارات التدريب القياسية ولكنه حاسم لفهم الآليات الداخلية للنماذج اللغوية.