Same Geometry, Opposite Noise: Transformer Magnitude Representations Lack Scalar Variability

إليك ملخص تقني مفصل لورقة "نفس الهندسة، ضجيج معاكس: تمثيلات مقدار الترانزفورمر تفتقر إلى التباين القياسي" للباحث جون بول كاسيولي.

1. بيان المشكلة

تتقصى الورقة ما إذا كانت النماذج اللغوية الكبيرة (LLMs) تُظهر التباين القياسي (scalar variability)، وهو سمة مميزة لأنظمة المقدار البيولوجية.

• السياق البيولوجي: في الأنظمة البيولوجية (مثل الإدراك البشري للوقت أو العدد أو المساحة)، يتناسب ضجيج التمثيل طردياً مع مقدار المحفز. وينتج عن ذلك معامل تباين ثابت (CV)، وهو ما يُعرف بقانون ويبر.
• الإطار النظري: بموجب فرضية التشفير الفعال (Efficient Coding)، يظهر خاصيتان معاً عندما يقوم نظام ذو ميزانية ضجيج ثابتة (قيد استقلابي) بتشفير مدخلات تتبع توزيع القوة (power-law):
  1. هندسة ضاغطة لوغاريتمياً: تتبع المسافات الداخلية دالة لوغاريتمية للمقدار.
  2. ضجيج قياسي: يتناسب التباين مع المقدار (CV ثابت).
• الفجوة: أثبتت الأعمال السابقة (كاسيولي، 2026) أن نماذج الترانزفورمر تشفر المقدار العددي بـ هندسة ضاغطة لوغاريتمياً (متسقة مع التشفير الفعال تحت توزيعات مدخلات القوة). ومع ذلك، تفتقر نماذج الترانزفورمر إلى القيود الاستقلابية البيولوجية (لا توجد حدود لمعدل إطلاق الخلايا أو ميزانيات ضجيج ثابتة).
• سؤال البحث: هل تُظهر نماذج الترانزفورمر الخاصية الثانية (الضجيج القياسي) رغم افتقارها للقيود الاستقلابية التي تدفع بها نظرياً في الأنظمة البيولوجية؟ أم أن الهندسة والضجيج قابلان للفصل؟

2. المنهجية

استخدمت الدراسة تحليلاً مسجلاً مسبقاً للتمثيلات في الحالة الخفية لثلاثة نماذج ذات 7-8 مليار معلمة: Llama-3-8B-Instruct، و Mistral-7B-Instruct-v0.3، و Llama-3-8B-Base.

• مصدر البيانات: تم استخراج متجهات الحالة الخفية عند موضع رمز المقدار (قبل عملية RMSNorm) عبر جميع الطبقات الـ 33.
• المحفزات: 26 مقداراً عددياً تتراوح من 1 إلى 1000 (مثلاً: 1، 2، ...، 90، 100، 500، 1000) مدمجة في 5 جمل حاملة مختلفة.
• مقاييس التباين:
  1. $V_{eucl}$: متوسط المسافة الإقليدية لمتجهات الجمل الخمسة عن مركز ثقلها (centroid) عند كل مقدار وعند كل طبقة.
  2. $V_{residual}$: التباين المصحح لهوية الجملة (طرح متوسط المتجه لكل جملة عبر جميع المقادير لإزالة الانزياحات المنهجية للجمل).
  3. $V_{proj}$: تباين المتجهات المسقطة على المكون الرئيسي الأول (PC1) للمراكز الـ 26، لعزل التشتت على طول محور المقدار.
• التحليل:
  • التركيز على 16 "طبقة أساسية" (16-31) حيث تصل هندسة المقدار إلى ذروتها.
  • إجراء ريجريشن (انحدار) لـ $\log(V)$ على $\log(n)$ (المقدار) باستخدام طريقة المربعات الصغرى العادية (OLS) ومقدرات Theil–Sen لحساب أس التدرج ($\alpha$).
  • الفرضيات:
    • $H_1$: $\alpha > 0$ (التباين يزداد مع زيادة المقدار).
    • $H_2$: $\alpha \approx 1$ (التباين القياسي، الخاصية القياسية).
    • $H_3$: $\alpha < 1$ (دون القياسي، مما يعكس غياب القيود الاستقلابية).
    • $H_4$: $\alpha$ يتغير مع عمق الطبقة.

3. النتائج الرئيسية

ناقضت النتائج الفرضية القائلة بأن الترانزفورمر يُظهر تبايناً قياسياً. بدلاً من ذلك، أظهرت نمطاً "معاكساً للقياسي" (anti-scalar).

• أس تدرج سالب ($\alpha < 0$):
  • على عكس الأنظمة البيولوجية حيث يزداد الضجيج مع المقدار، تناقص التباين التمثيلي في الترانزفورمر مع زيادة المقدار.
  • عبر جميع الطبقات الـ 16 الأساسية وجميع النماذج الثلاثة، كان $\alpha$ سالباً باستمرار.
  • قيم متوسط $\alpha$:
    • الخام ($V_{eucl}$): تراوحت بين $-0.031$ (Llama-Base) و $-0.046$ (Llama-Instruct).
    • المصحح للجمل ($V_{residual}$): تراوح بين $-0.005$و$-0.009$.
    • الإسقاط على محور المقدار ($V_{proj}$): التأثير الأقوى، تراوح بين $-0.085$و$-0.210$.
• رفض الفرضية القياسية ($H_2$): لم تنتج أي طبقة في أي نموذج $\alpha$ ضمن النطاق القياسي $[0.8, 1.2]$.
• الاستقرار عبر العمق ($H_4$): كان النمط المعاكس للقياسي مستقراً عبر جميع الطبقات؛ حيث لم يوجد ارتباط معنوي بين عمق الطبقة و $\alpha$.
• خصوصية محور المقدار (استكشافي E4): كان التأثير المعاكس للقياسي أقوى بـ 3 إلى 5 مرات على طول محور المقدار (PC1) مقارنة بالأبعاد المتعامدة، مما يشير إلى أن الظاهرة متركزة في الفضاء الجزئي ذي الصلة سلوكياً.
• تأثير ضبط التعليمات (استكشافي E6): أظهرت النماذج المضبوطة للتعليمات (Llama-Instruct) قيمة $\alpha$ أكثر سلبية من النماذج الأساسية، مما يشير إلى أن الضبط الدقيق يزيد من ضغط التمثيلات للأرقام الكبيرة.
• الارتباط بتكرار المتون (استكشافي E5): ছিল: ارتبط التباين لكل مقدار بقوة مع لوغاريتم تكرار المتون ($\rho \approx 0.84$). الأرقام الصغيرة (الأكثر تكراراً) ظهرت في سياقات متنوعة (تشتت عالٍ)، بينما الأرقام الكبيرة (الأقل تكراراً) ظهرت في سياقات نمطية (تشتت منخفض).

4. المساهمات الرئيسية

1. الفصل بين الهندسة والضجيج: تقدم الورقة دليلاً تجريبياً على أن الهندسة الضاغطة لوغاريتمياً و الضجيج القياسي يمكن فصلهما نظرياً وتجريبياً. يمكن للترانزفورمر تعلم الهيكل الهندسي للمقدار من الإحصاءات التوزيعية وحدها دون اكتساب خصائص تدرج الضجيج.
2. تحديد التباين "المعاكس للقياسي": تصف الورقة خاصية تمثيلية جديدة في النماذج اللغوية الكبيرة حيث يتناقص عدم اليقين التمثيلي مع زيادة المقدار، وهو عكس التباين القياسي البيولوجي.
3. آلية التباين: تعزو الورقة التباين التمثيلي في نماذج الترانزفورمر إلى التنوع السياقي (المدفوع بتكرار المتون) بدلاً من ميزانية ضجيج ثابتة. الأرقام الكبيرة تُمثل بدقة أكبر لأنها تظهر في سياقات لغوية أقل تنوعاً وأكثر تحديداً.
4. حد التعلم التوزيعي: توضح الدراسة أن التعلم التوزيعي (التحسين القائم على التدرج على النصوص) كافٍ لإنتاج هندسة التشفيد الفعال، لكنه غير كافٍ لإنتاج بنية الضجيج بدون قيود استقلابية.

5. الأهمية

• الآثار النظرية: تتحدى هذه النتائج الافتراض القائل بأن التشفيد الفعال في الذكاء الاصطناعي يحاكي التشفيد الفعال البيولوجي في جميع جوانبه. فهي تشير إلى أن القيود الاستقلابية (أو ما يعادلها من حدود السعة) هي شرط ضروري لظهور التباين القياسي (CV ثابت).
• فهم تمثيلات النماذج اللغوية الكبيرة: تكشف الورقة أن النماذج اللغية الكبيرة تمثل الأرقام الكبيرة بدقة أعلى (ضجيج أقل) من الأرقام الصغيرة، وهو أمر يخالف علم النفس الفيزيائي البشري. هذا يعني أن "فهم" النماذج اللغية للمقدار مدفوع بالانتظامات الإحصائية في بيانات التدريب وليس بنظام مقدار داخلي متوافق بيولوجياً.
• الاتجاهات المستقبلية: تشير النتائج إلى أنه لكي تنجح نماذج الذكاء الاصطناعي في محاكاة أنظمة المقدار البيولوجية بالكامل، فقد تحتاج إلى دمج قيود سعة صريحة أو ميزانيات ضجيج، بدلاً من الاعتماد فقط على قوانين القياس والتعلم التوزيعي.

الخلاصة:
بينما تنجح نماذج الترانزفورمر في محاكة الهندسة الضاغطة لوغاريتمياً لأنظمة المقدار البيولوجية، إلا أنها تفشل في محاكاة الضجيج القياسي. بدلاً من ذلك، تُظهر نمطاً "معاكساً للقياسي" حيث يتناقص التباين التمثيلي مع زيادة المقدار، مدفوعاً بالتكرار التوزيعي للأرقام في متن بيانات التدريب بدلاً من القيود الاستقلابية. وهذا يؤكد أن تدرج الهندسة وتدرج الضجيج هما ظاهرتان متميزتان في التمثيل العصبي.