ملخص تقني: الهندسة الهرمية للمفاهيم في النماذج اللغوية تنبثق من التواجد المشترك للكلمات

بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) وتمثيلات الكلمات (word embeddings) هياكل هندسية حيث تظهر العلاقات الدلالية، مثل علاقة "النوع الأعلى" (hypernymy) (علاقة "هو نوع من")، عبر اتجاهات أو فضاءات فرعية محددة. اقترح العمل السابق، لا سيما بحث بارك وآخرون [13]، "فرضية التمثيل الخطي" التي تشير إلى أن الهندسة الهرمية تنشأ من آلية وظيفية حيث تكون متجهات المفاهيم متعامدة مع أصولها، مما يسمح بالتلاعب الدلالي النظيف (على سبيل المثال، التوجيه من "طائر" إلى "سمكة" دون فقدان صفة "حيوان"). ومع ذلك، لا يزال أصل هذه الهندسة محل نقاش: هل هي نتيجة لتصميم وظيفي صريح أم أنها خاصية ناشئة عن توزيع البيانات؟ يبحث هذا البحث فيما إذا كانت هندسة التقسيم الهرمي الملاحظة في النماذج اللغوية الكبيرة وتمثيلات الكلمات هي نتيجة حتمية لإحصائيات التواجد المشترك للكلمات بدلاً من كونها آلية وظيفية خاصة بالتسلسل الهرمي.

المنهجية

الإطار النظري

يقترح المؤلفون نظرية توزيعية قائمة على افتراض أن الكلمات الأقرب في مخطط "وورنت" (WordNet) للأنواع العليا تتواجد بشكل مشترك بتكرار أكبر في النصوص.

1. نموذج التواجد المشترك: يعرّفون مصفوفة تواجد مشترك مُطبعة $M^\star$ (مرتبطة بمعلومات التبادل النقطي - PMI) حيث تعتمد المدخلات على المسافة الدلالية بين الكلمات. يفترضون وجود دالة نواة (kernel function) $f(\text{dist}(i, j))$ تكون موجبة وتتناقص بشكل صارم مع المسافة.
2. التفكيك الطيفي: يحلل البحث التفكيك الطيفي (eigendecomposition) لـ $M^\star$ للكلمات التي تشكل شجرة ثنائية كاملة من نوع "Binary Subtree" في "وورنت". باستخدام أساس موجات "هار" (Haar wavelet) المتكيف مع التسلسل الهرمي، يثبتون أن المتجهات الذاتية لـ $M^\star$ تنظم نفسها هرمياً:
   • المتجه الذاتي الرئيسي (نمط القياس - scaling mode) يتغير فقط مع العمق.
   • المتجهات الذاتية اللاحقة (أنماط الموجات - wavelet modes) تقسم الأشجار الفرعية من المستويات الخشنة إلى الدقيقة.
   • يُظهر الطيف ترتيباً "من الخشن إلى الدقيق"، حيث تتوافق الأنماط غير القياسية المهيمنة مع الانقسامات التصنيفية العليا قبل الفروع الفرعية الأكثر دقة.
3. النموذج البارامتري: لجعل التنبؤات كمية، يقوم المؤلفون بإنشاء النواة باستخدام دالة اضمحلال أسي $f(d) = \alpha e^{-\beta d}$، مع ضبط المعلمات لتناسب بيانات التواجد المشترك التجريبية.

التحقق التجريبي

تم اختبار النظرية مقابل نوعين من التمثيلات:

1. تمثيلات word2vec: يقوم المؤلفون ببناء تمثيلات word2vec مباشرة من أعلى المتجهات الذاتية لمصفوفة التواجد المشترك التجريبية المستمدة من مجموعة بيانات ويكيبيديا. ويقومون بأخذ عينات من أشجار ثنائية كاملة بعمق $L=3$ من تسلسل "وورنت" الهرمي.
2. تمثيلات النماذج اللغوية الكبيرة (LLMs): يحللون متجهات فك التشفين (unembedding vectors) لنموذج Gemma 2B (ومسارات الحالة المتبقية/residual stream لنموذج Llama 3.2-1B لضمان المتانة). يتم توسيط المتجهات وتبييضها (whitened) لتقليل التباين العالمي (anisotropy).

المقاييس:

• محاذاة الفضاء الذاتي العلوي (Top-k Eigenspace Alignment): بما أن المتجهات الذاتية النظرية للفضاءات الفرعية المتدهورة تُعرف فقط حتى الدوران، يقارن المؤلفون محاذاة الفضاءات الذاتية العليا $k$ بين مصفوفات غرام (Gram matrices) التجريبية ومصفوفات غرام النظرية المشتقة من النواة الملائمة.
• تعامد متجهات المفاهيم: يعيد المؤلفون إنتاج التشخيص الوارد في بحث بارك وآخرون [13]، حيث يقيسون تشابه جيب التمام (cosine similarity) بين متجهات الأصل ومتجهات "الابتكار" (الابن ناقص الأصل) لاختبار التعامد التقريبي.

المساهمات الرئيسية

1. الأصل التوزيعي للتسلسل الهرمي: يقدم البحث آلية إحصائية بسيطة توضح أن هندسة التقسيم الهرمي تنشأ طبيعياً من إحصائيات التواجد المشترك للكلمات، دون الحاجة إلى قيود وظيفية صريحة أو أهداف تدريب خاصة بالتسلسل الهرمي.
2. التنظيم الطيفي من الخشن إلى الدقيق: يثبت المؤلفون ويتحققون من أن المتجهات الذاتية العليا لمصفوفة غرام للتواجد المشترك تنظم نفسها هرمياً، حيث تفصل أولاً بين الفروع التصنيفية العريضة (مثل النباتات مقابل الحيوانات) ثم الفروع الفرعية الأكثر دالقة تدريجياً (مثل الطيور مقابل الأسماك).
3. التوسع في النماذج اللغوية الكبيرة: يظهر البحث أن هذه البصمة الطيفية المحددة تمتد بشكل مذهل لتشمل تمثيلات فك التشفين في Gemma 2B، مما يشير إلى أن الهندسة الهرمية في النماذج اللغوية الكبيرة قد تكون نتاجاً لنفس إحصائيات التواجد المشترك التي تحرك word2vec.
4. إعادة تفسير متجهات المفاهيم: من خلال إظهار أن نموذج التواجد المشترك وحده يمكنه إعادة إنتاج نمط "الابتكار شبه المتعامد" الملاحظ في بحث بارك وآخرون [13]، يجادل البحث بأن هذه الخاصية الهندسية لا تعني بالضرورة وجود آلية وظيفية للاستدلال الهرمي، بل يمكن أن تنشأ من البنية الطيفية للإحصائيات الزوجية.

النتائج

• المحاذاة بين النظرية والتجربة: في كل من تمثيلات word2vec وتمثيلات فك التشفين لـ Gemma 2B، تتوافق الفضاءات الذاتية العليا $k$ لمصفوفات غرام التجريبية بشكل أفضل بكثير مع التنبؤات النظرية (بناءً على النواة الأسية الملائمة) مقارم بالنماذج المرجعية ذات التسميات المختلطة (shuffled-label baselines). وتظل هذه المحاذاة ثابتة عبر مختلف التسلسلات الهرمية الدلالية (مثل الكائنات الحية، الإدراك).
• التأكيد البصري: تكشف إسقاطات عقد التصنيف على المكونات الرئيسية (PCs) عن التقسيم الهرمي المتوقع. على سبيل المثال، في تصنيف الكائنات الحية، يفصل المكون الرئيسي الثاني (PC2) بين النباتات والحيوانات، بينما تفصل المكونات الرئيسية المتدهورة 3-4 بين الطيور والأسماك وبين الزهور والأشجار.
• المتانة: تستمر النتائج عبر مختلف معلمات النواة (الأسية مقابل قانون القوة)، وأعماق الأشجار المختلفة ($L=2$ و $L=3$)، وأنواع التمثيلات المختلفة (تمثيلات فك التشفين المبيضة، والتمثيلات غير المبيضة الممركزة، وتنشيطات مسار الحالة المتبقية الداخلية).
• تشخيصات متجهات المفاهيم: يعيد نموذج التواجد المشترك إنتاج شبه التعامد لابتكارات (الأصل-الابن) الموجودة في النماذج اللغوية الكبيرة، مما يؤكد أن هذا النمط يتوافق مع أصل إحصائي بحت.

الأهمية والادعاءات

يدعي البحث أنه يعمل على تنقيح الصورة الوظيفية للهندسة الهرمية في فضاءات التمثيل. وبينما تعد هذه الهندسة حقيقية ومتينة، يجادل المؤلفون بأنها لا تقتضي بالضرورة نشوء اتجاهات مفاهيمية متعامدة بدقة مدفوعة بآلية وظيفية خاصة بالتسلسل الهرمي. بدلاً من ذلك، فإن التعامد التقريبي الملاحظ في الممارسة هو نتيجة للبنية الطيفية الناجمة عن إحصائيات الكلمات الزوجية.

يدعم هذا العمل رؤية أوسع حيث تتميز تمثيلات الكلمات بسمات منفصلة، مستمرة، وهرمية. الكلمات ذات السمات المتشابهة تتواجد معاً بشكل أكثر تكراراً، وهذا الانتظام الإحصائي وحده يعطي هذا التنظيم الهندسي الأنيق. وبينما قد يكون هذا التنظيم مفيداً للوظيفة، يرى البحث أنه ليس مدفوعاً بها. تشير النتائج إلى أن الهيكل الهرمي في النماذج اللغوية الكبيرة هو خاصية ناشئة عن توزيع البيانات وليس ضرورة وظيفية متعلمة.