A Hyperbolicity Atlas of Large Language Model Hidden States
تقدم هذه الورقة أول دراسة منهجية تثبت أن التماثل الزائدي لـ "غروموف" (Gromov hyperbolicity) في الحالات الخفية للنماذج اللغوية الكبيرة مدفوع أساساً بعمق الطبقات — حيث يبلغ ذروته في الطبقات الوسطى ويصبح أكثر شبهاً بالشجر في الطبقات النهائية — بدلاً من حجم النموذج، مما يوفر أداة تشخيصية عملية لفهم هياكل المسافة الهرمية عبر عائلات النماذج ومجالات المدخلات المختلفة.
المؤلفون الأصليون:Zhichao Yang, Yuanze Hu, Gen Li, Qingchen Yu, Shiying Duan, Xinyu Wang, Ye Qiu, Zeming Liu, Guangxu Chen, Zhaoxin Fan
داخل الحواسيب التي تشغل الذكاء الاصطناعي الحديث، يوجد عالم خفي من الأرقام. فعندما تقرأ هذه الآلات جملة أو تعالج سؤالاً، فهي لا تخزن الكلمات كنصوص، بل تترجم كل كلمة إلى قائمة طويلة من الأرقام، وهي ما يُعرف بـ "المتجه" (vector)، الذي يوجد في فضاء شاسع متعدد الأبعاد. لسنوات، عرف العلماء أن الأشياء التي تعالجها هذه الآلات — مثل بنية شجرة العائلة، أو خطوات برنامج حاسوبي، أو منطق قصة ما — غالباً ما تكون هرمية؛ لها قمة، وقاعدة، والعديد من الفروع بينهما. ومن هنا ثار سؤال طبيعي: هل ترتب قوائم الأرقام الداخلية التي تنشئها الآلة لفهم هذه الأشياء نفسها في شكل يشبه الشجرة؟ إذا كان الخريطة الداخلية للآلة تبدو كشجرة، فقد يعني ذلك أن الحاسوب ينظم المعلومات بطريقة تحاكي الهياكل المعقدة للغة البشرية والمنطق. وللإجابة على هذا، لجأ الباحثون إلى مفهوم رياضي يسمى "الزائدية" (hyperbolicity)، والذي يعمل كمسطرة لقياس مدى كون مجموعة من النقاط "شبيهة بالشجرة"؛ حيث تعني الدرجة المنخفضة أن النقاط مرتبة في تسلسل هرمي منظم ومتفرع، بينما تعني الدرجة العالية أنها مبعثرة بطريقة أكثر فوضوية وتسطحاً.
لقد شرع فريق من الباحثين من بكين وغوانغجو في رسم خريطة لهذا الهندسة الخفية عبر أكثر النماذج اللغوية تقدماً المتاحة اليوم. لم يقوموا ببناء آلة جديدة أو تغيير كيفية عمل الآلات الموجودة، بل عملوا كرسامي خرائط، حيث أخذوا عشرة نماذج مختلفة مفتوحة المصدر وأرسلوها عبر أربعة أنواع مختلفة تماماً من المهام: حل المسائل الرياضية، كتابة أكواد برمجية، الإجابة على أسئلة حول المنطق العام، والحكم على صدق الادعاءات. ولكل كلمة في المدخلات، قاموا بقياس المسافة بين قوائم الأرقام التي أنشأتها الآلة. وقد فعلوا ذلك لأكثر من 800,000 قياس محدد، مغطين عشرة نماذج مختلفة متفاوتة الأحجام وكل طبقة معالجة داخل كل آلة. كان هدفهم هو إنشاء أطلس، وهو خريطة تفصيلية توضح بالضبط أين يبدو الهيكل الداخلي لهذه الآلات كشجرة وأين لا يبدو كذلك.
كان الاكتشاف الأكثر إثارة للدهشة هو أن حجم الآلة كان أقل أهمية بكثير من المكان الذي تنظر فيه داخلها. يفترض الكثير من الناس أن النموذج الأكبر الذي يحتوي على المزيد من المعلمات (parameters) هو تلقائياً "أذكى" أو أكثر هيكلية، لكن الباحثين وجدوا أن هذا غير صحيح إلى حد كبير. فمجرد جعل النموذج أكبر لم يجعل هيكله الداخلي أكثر شبهاً بالشجرة بشكل ثابت؛ ففي بعض الحالات، كان النموذج الأكبر في الواقع أقل تنظيماً من النموذج الأصغر، وفي حالات أخرى، كان أكثر تنظيماً. ظهر النمط الحقيقي عندما نظروا إلى عمق معالجة الآلة؛ فبينما كانت المعلومات تنتقل من الطبقة الأولى للشبكة إلى المنتصف، أصبح الهيكل فوضوياً ومسطحاً، وفقد شكله الشبيه بالشجرة. كانت الأرقام في الطبقات الوسطى مزدحمة ومعقدة، مما يعكس مزيجاً من أنواع مختلفة من المعلومات. ومع ذلك، عندما تصل البيانات إلى الطبقات النهائية، قبيل إنتاج الآلة للإجابة، يتغير الهيكل بشكل دراماتيكي؛ حيث تعود الأرقام لتستقر في ترتيب أكثر وضوحاً وشبهًا بالشجرة. يشير هذا إلى أن الآلة تبدأ بمزيج فوضوي من الاحتمالات ثم تضغطها في شكل مهيكل في النهاية تماماً.
وجد الباحثون أيضاً أن نوع النموذج المحدد والمهمة التي تدرب عليها يغيران الخريطة بشكل كبير. فقد يكون لنموذجين من نفس الحجم تماماً هندسات داخلية مختلفة تماماً اعتماداً على تدريبهما. على سبيل المثال، أظهر نموذج متخصص في كتابة الأكواد بنية قوية جداً تشبه الشجرة عند معالجة مهام البرمجة، بينما لم يظهر نموذج مدرب للرياضيات العامة نفس النمط، حتى عند سؤاله عن حل مسائل رياضية. في الواقع، جعل نموذج الأكواد المتخصص بنية مدخلات الأكواد تبدو أكثر شبهاً بالشجرة من النموذج العام، بينما حافظ النموذج المتخصص في الرياضيات على هيكله أكثر تعقيداً. وهذا يعني أن "شكل" تفكير الآلة ليس خاصية ثابتة لحجمها، بل هو نتيجة مرنة لكيفية تدريبها وما تفعله حالياً.
في نهاية المطاف، توفر هذه الدراسة طريقة جديدة لفهم كيفية تنظيم الذكاء الاصطنا الاصطناعي للمعلومات. فهي تظهر أن العالم الداخلي لهذه النماذج ليس مشهداً ثابتاً ومتجانساً، بل هو رحلة ديناميكية تبدأ فيها المعلومات بحالة مسطحة ومعقدة، وتتجوّل عبر قسم أوسط مزدحم، ثم تستقر أخيراً في شكل مهيكل يشبه الشجرة عند النهاية. ويخلص الباحثون إلى أن النظر فقط إلى الإجابة النهائية أو الحجم الإجمالي للنموذج ليس كافياً لفهم آليات عمله الداخلية. لكي ترى حقاً كيف تفكر هذه الآلات، يجب عليك النظر في المسار الذي تسلكه المعلومات، ملاحظةً أن التغييرات الهيكلية الأكثر أهمية تحدث في اللحظات الأخيرة قبل اتخاذ القرار. توفر هذه الخريطة أداة عملية للعلماء لرؤية أين تنظم هذه النماذج أفكارها وأين لا تزال تعاني، مما يكشف أن هندسة الذكاء هي أكثر دقة وتعقيداً من مجرد مقياس بسيط للحجم.
ملخص تقني: أطلس التفرع الزائدي للحالات الخفية في النماذج اللغوية الكبيرة
بيان المشكلة بينما تخزن النماذج اللغوية الكبيرة (LLMs) معلومات الرموز (tokens) في متجهات إقليدية، فإن البنى الدلالية والنحوية التي تعالجها (مثل التصنيفات الهرمية، والاستلزام، وأشجار النحو) هي بطبيعتها هرمية. وتعد الهندسة الزائدية (Hyperbolic geometry) ملائمة نظرياً لتمثيل هذه الهياكل الهرمية بانخيل من التشويه. ومع ذلك، يظل هناك سؤال جوهري مفتوح: حتى عندما لا يتم تدريب النماذج اللغوية الكبيرة صراحةً على الفضاءات الزائدية، هل تظهر حالاتها الخفية تنظيمًا متريًا يشبه الشجرة؟ إن التحليلات الحالية للتمثيل (مثل سبر الخصائص، والتباين، والبعد الجوهري) توضح الانتشار أو التعقيد المحلي، لكنها لا تختبر مباشرة ما إذا كانت المسافات بين الحالات الخفية تتصرف كبنية هرمية. تعالج هذه الورقة هذه الفجوة من خلال الاستقصاء المنهجي لما إذا كانت الحالات الخفية للرموز في النماذج اللغوية الكبيرة المعاصرة تظهر "تفرعاً زائديًا غروماً" (Gromov Hyperbolicity - GH).
المنهجية يبني المؤلفون "أطلس التفرع الزائدي" عبر قياس التفرع الزائدي النسبي (δrel) عبر أربعة محاور: مقياس المعلمات، عمق الطبقة، عائلة النموذج، ونطاق المدخلات.
المقياس: تستخدم الدراسة "شرط النقاط الأربع" للتفرع الزائدي لـ "غرووم". بالنسبة لأربع نقاط، يتم حساب δ كفرق نصف المسافة بين أكبر مجموع للمسافات الثنائية وثاني أكبر مجموع. ولتمكين المقارنة بين النماذج ذات الأبعاد الخفية المختلفة، استخدم المؤلفون إحصائية معيرة بالقطر: δrel(X)=δ^(X)/diam(X)، حيث X هي مجموعة من المتجهات الخفية. تشير قيمة δrel الأقل إلى بنية أقرب إلى المقياس الشجري.
نطاق البيانات: يغطي التحليل 818,904 قياساً (عينة-طبقة) من عشر نسخ من النماذج مفتوحة الأوزان (Llama, Qwen2.5, Qwen2.5-Math, Qwen2.5-Coder, DeepSeek-R1-Distill-Qwen) تتراوح من 1.5 مليار إلى 8 مليارات معلمة.
النطاقات: تستخدم التجارب أربعة مجموعات بيانات متميزة: MATH500 (الاستدلال الرياضي)، HumanEval (توليد الكود)، WinoGrande (حل الضمائر في السياق العام)، وTruthfulQA (الصدق).
التصميم التجريبي: من الضروري أن الدراسة تقيس الحالات الخفية لـ "المطالبات فقط" (prompt-only). تم استبعاد الاستجابات المولدة لضمان أن الخصائص الهندسية تعكس توزيع المدخلات بدلاً من أن تتأثر بطول فك التشفيد، أو صحة الإجابة، أو سلوكيات التوليد الخاصة بالنموذج.
البروتوكول: لكل مطالبة وطبقة، يتم أخذ عينات من 2,000 رباعية من الحالات الخفية للرموز لتقدير δrel. تستخدم المقارنات الإحصائية الوسيطات والمدى الربيعي، مع اختبارات "ويلكوكسون" للرتب الموقعة للمقارنات الطبقية المزدوجة، واختبارات "كروسكال-واليس" للمقارنات غير المزدوجة بين العائلات والنطاقات.
النتائج الرئيسية تخلص الدراسة إلى أربعة استنتاجات رئيسية بخصوص هندسة الحالات الخفية للنماذج اللغوية الكبيرة:
تأثيرات المقياس ضعيفة وغير رتيبة: عدد المعلمات وحده يعد مؤشراً سيئاً للتفرع الزائدي. وبينما يظهر المسار "الأساسي" انزياحاً طفيفاً نحو هياكل أقل شبهاً بالشجر (أي δrel أعلى) في المهام الرسمية (MATH500, HumanEval)، فإنه ينزاح نحو هياكل أكثر شبهاً بالشجر في مهام المنطق العام. وعلى العكس من ذلك، تظهر النماذج المتخصصة في الرياضيات زيادة في δrel عبر النطاقات مع نمو المقياس. إن التأثير الإجمالي صغير ويحجب انقلابات كبيرة مرتبطة بالنطاق.
العمق يهيمن على الهندسة: يعد عمق الطبقة العامل الأكثر استقراراً. تتبع الحالات الخفية مساراً ثابثاً من ثلاثة أجزاء:
الطبقات الوسطى: تشكل هضبة عالية الـ δrel (تقترب من 1.0)، مما يشير إلى تنظيم غير شجري للغاية حيث تكون القيود العلاقاتية المتعددة نشطة في آن واحد.
الطبقات النهائية: تظهر انخفاضاً حاداً في δrel، متجهة نحو بنية أكثر شبهاً بالشجر. هذا الانخفاض ثابت عبر النماذج والنطاقات، وإن اختلف المقدار.
العائلات المتطابقة تشغل أقاليم متميزة: عند مقاييس المعلمات المتطابقة (مثلاً 7B/8B)، تظهر عائلات النماذج المختلفة ملفات تعريف هندسية مختلفة بشكل كبير. فعلى سبيل المثال، تظهر نماذج Llama باستمرار δrel نهائي أقل من متغيرات Qwen. علاوة على ذلك، فإن التخصص أهم من المقياس: فالنموذج المتخصص في الكود (Qwen2.5-7B-Coder-Instruct) ينظم مطالبات الكود (HumanEval) في بنية شديدة الشبه بالشجر (δrel≈0.438)، بينما يعامل النموذج الأساسي والنماذج المتخصصة في الرياضيات نفس المطالبات كبنى أقل شبهاً بالشجر.
النطاقات تتفاعل مع التخصص: العلاقة بين مجموعة البيانات والتفرع الزائدي ليست ثابتة؛ فهي تعتمد على تاريخ تدريب النموذج. فمطالبات الكود تصبح شبيهة بالشجر تحديداً في نموذج الكود، بينما لا يؤدي التخصص في الرياضيات إلى خفض δrel عالمياً عبر جميع النطاقات. يشير هذا إلى أن انخفاض التفرع الزائدي هو نوع من التوافق بين التنظيم التمثيلي الذي تعلمه النموذج وتوزيع المطالبات المحدد.
الأهمية والادعاءات تضع الورقة "التفرع الزائدي لغرووم" ليس كدليل على الاستدلال الرمزي أو كمحدد لدوائر سببية، بل كأداة تشخيصية عملية. تكمن أهميتها في قدرتها على:
رسم خرائط لأماكن ظهور واختفاء الهياكل المسافية الهرمية ضمن عمق النموذج.
كشف كيف يعيد التخصص (مثل البرمجة مقابل الرياضيات) تنظيم هندسة نطاقات معينة.
إثبات أن المقارنات بين النماذج القائمة فقط على عدد المعلمات غير كافية؛ إذ تعد العائلة والتخصص متغيرات حاسمة.
يجادل المؤلفون بأن التفرع الزائدي يجب أن يُفسر كـ خاصية للنموذج-الطبقة-النطاق وليس كسمة ثابتة للنموذج. يوفر نهج "الأطلس" إطاراً ضرورياً لفهم أن التنظيم الهندسي للحالات الخفية هو مسار (ينتقل من δrel مرتفع في الطبقات الوسطى إلى δrel منخفض في الطبقات النهائية) يتم تعديله بواسطة أهداف التدريب ونطاقات المدخلات. هذا العمل يكمل التحليلات الهندسية الموجودة من خلال تقديم مقياس يعتمد على المسافة والتشابه الشجري، وهو مقياس يمكن مقارنته عبر مختلف بنيات النماذج ومقاييسها.