ملخص تقني: التمركز الطيفي المضاد والجيومتريا المزدوجة لتمثيلات المحولات (Transformer)

بيان المشكلة

تبحث هذه الورقة في البنية الهندسية لتمثيلات المفاهيم في النماذج اللغوية الكبيرة (LLMs)، وتختبر تحديداً فرضيتين متنافستين حول كيفية تشفير المفاهيم ونقلها عبر اللغات.

أولاً، تفترض فرضية التمثيل الخطي (LRH) أن المفاهيم عالية المستوى تُشفر كاتجاهات خطية في فضاء التنشيط. وقد صاغ بارك وآخرون [2024] ذلك من خلال اقتراح ضرب داخلي سببي (causal inner product) مُعرَّف عبر معكوس مصفوفة عدم التضمين ($\Sigma^{-1}$)، مما يشير إلى أن المفاهيم القابلة للفصل سببياً تكون متعامدة تحت هذا المقياس. أدى هذا إلى فرضية المحاذاة السببية المبيّضة (WCA): وهي أن محاذاة فضاءات التمثيل باستخدام هذه الهندسة السببية (التبييض بواسطة $\Sigma^{-1/2}$) من شأنها أن تتيح نقلاً متفوقاً للمفاهيم عبر اللغات مقارنة بمحاذاة بروكروستس (Procrustes) الإقليدية القياسية.

ثانياً، تقترح فرضية التمثيل الأفلاطوني أن النماذج القادرة تتقارب نحو تمثيلات مشتركة، مما يعني أن اتجاهات المفاهيم المستخرجة من لغة واحدة يجب أن تكون قابلة للنقل إلى لغة أخرى.

سعى المؤلفون للتحقق مما إذا كانت الاتجاهات الذاتية (eigendirections) المحددة للضرب الداخلي السببي تسهل هذا النقل عبر اللغات. ومع ذلك، كشفت تجاربهم عن ظاهرة أوسع لم تُوصَف من قبل: التمركز الطيفي المضاد (spectral anti-concentration). فقد وجدوا أن تمثيلات المفاهيم تتجنب بشكل منهجي الاتجاهات ذات التباين العالي في طيف النموذج، بينما تظهر المفردات الثابتة السلوك المعاكس.

المنهجية

تستخدم الدراسة نهجاً صارماً متعدد الأساليب عبر 17 نموذجاً تغطي 5 عائلات معمارية (Llama، وQwen، وGemma، وMistral، وMixture-of-Experts) و4 أزواج لغوية متقاطعة.

1. استخراج المفاهيم (ثلاث طرق مستقلة)

لاستبعاد الآثار المنهجية، يستخرج المؤلفون اتجاهات المفاهيم باستخدام ثلاثة مداخل مختلفة:

• فرق المتوسطات (Difference-of-Means): حساب فرق المتوسط لمجموع تنشيطات التيار المتبقي (residual-stream) للأزواج اللغوية المتناقضة (الطريقة الطرحية).
• المشفرات التلقائية المتفرقة (SAEs): استخراج الميزات الأكثر تنشيطاً تفاضلياً من المشفرات التلقائية المتفرقة المدربة مسبقاً (Gemma Scope، Llama Scope) باستخدام التنشيطات السياقية (غير مُشرف عليها، وغير طرحية).
• المجسات الخطية (Linear Probes): تدريب مصنفات انحدار لوجستي منتظم بـ L2 على تنشيطات سياقية غير ممركزة (مُشرف عليها).

2. إطار التحليل الطيفي

يتم إسقاط جميع متجهات المفاهيم على القاعدة الذاتية (eigenbasis) لمصفوفة التباين الخاصة بعدم التضمين لكل لغة $\Sigma_L$. ويعرّف المؤلفون ما يلي:

• توزيع الطاقة الطيفية: كسر طاقة المتجه في المتجهات الذاتية المحددة.
• انحراف جيني (Gini Deviation): مقي de لتركيز مقابل تشتت الطاقة. تشير القيم السالبة إلى أن الطاقة تتركز في ذيل الطيف (الاتجاهات منخفضة التباين).
• مركز الكتلة الطيفي (SCM): نقطة التباين التراكمي حيث يتم الوصول إلى 50% من الطاقة.

3. التجارب الرئيسية

• العشوائية مطابقة الطيف: لاختبار فائدة الهندسة السببية، استبدل المؤلفون المتجهات الذاتية الحقيقية لـ $\Sigma$ بمصفوفات متعامدة عشوائية مع الحفاظ على طيف القيم الذاتية. وقارنوا بين WCA الحقيقية وWCA المزيفة فيما يتعلق بالنقل عبر اللغات.
• توجيه الحقن المنقسم (Split-Injection Steering): تم تفكيك متجهات المفاهيم إلى مكونات "صاخبة" (أعلى 10% من المتجهات الذاتية، عالية التباين) و"هامسة" (أدنى 10% من المتجهات الذاتية، منخفضة التباين). تم حقن هذه المكونات في نماذج Gemma وLlama عند أعماق مختلفة لقياس تدهور الاندذاذ (perplexity) (كوكيل للتدخل القواعدي).
• استقصاء وسم أجزاء الكلام (POS-Tag Probing): تم تدريب مصنفات على تنشيطات مسقطة على الفضاءات عالية التباين (top-k) ومنخفضة التباين (bottom-k) لتحديد مكان وجود المعلومات النحوية.
• فحص الجيومتريا المزدوجة: قارن المؤلفون بين متجهات المفاهيم في فضاء التنشيط وبين فروق صفوف عدم التضمين الثابتة لتحديد السلوكات الطيفية المتناقضة.

النتائج الرئيسية

1. فشل الهندسة السببية في النقل

وجدت تجربة العشوائية مطابقة الطيف أن WCA الحقيقية لا يمكن تمييزها عن WCA المزيفة (p = 0.95). إن الاتجاهات الذاتية المحددة للضرب الداخلي السببي لا تحسن النقل عبر اللغات بشكل ملموس بما يتجاوز تأثير التنظيم الطيفي (تخميد الاتجاهات عالية التباين).

2. التمركز الطيفي المضاد

خلافاً للتوقعات بأن المفاهيم قد تتماشى مع الاتجاهات عالية التباين، تجد الدراسة تمركزاً طيفياً مضاداً قوياً:

• تضع متجهات المفاهيم في فضاء التنشيط (من جميع طرق الاستخراج الثلاث) طاقة غير متناسبة في الذيل منخفض التباين للطيف الذاتي.
• ينطبق هذا على 17 نموذجاً و5 عائلات معمارية (متوسط جيني = -0.282، p < 10⁻³³).
• التأثير مستقل عن شكل الطيف الخلفي ويستمر حتى عند استبعاد آثار الطرح عبر طرق SAE والمجسات الخطية.

3. الجيومتريا المزدوجة

تحدد الورقة ازدواجية أساسية بين فضاء المفردات وفضاء الاستدلال:

• فضاء المفردات (الثابت): تتركز فروق المفاهيم المحددة في صفوف عدم التضمين في الاتجاهات عالية التباين (جيني موجب). وهذا يسمح لتباينات المفاهيم بالتأثير بأقصى قدر على لوغاريتمات توقع الرموز (tokens).
• فضاء الاستدلال (التنشيط): تميل تمثيلات المفاهيم في التيار المتبقي إلى التمركز المضاد في الذيل الطيفي.
• تُظهر فروق أزواج الرموز العشوائية تشتتاً طفيفاً، بينما تُظهر الأزواج المحددة للمفاهيم تركيزاً نشطاً في فضاء المفردات، مما يؤكد أن مصفوفة عدم التضمين تشفر تحديداً التباينات ذات الصلة بالمفهوم على طول محاورها الرئيسية.

4. الأدلة الوظيفية

• عدم تماثل التداخل: تُظهر تجارب الحقن المنقسم على Gemma وLlama أن حقن متجهات المفاهيم في الاتجاهات عالية التفاين ("الصاخبة") يسبب تدهوراً أكبر بكثير في الاندذاذ (الاضطراب القواعدي) مقارنة بحقنها في الاتجاهات منخفضة التباين ("الهمسة") (قيمة Cohen's d تصل إلى 1.80).
• التشفير النحوي: يكشف استقصاء وسم أجزاء الكلام (POS-tag) أنه في 6 من أصل 8 معماريات، يتم تشفير المعلومات النحوية تفضيلياً في الفضاء الفرعي عالي التباين.
• شذوذ Qwen 2.5: تعكس عائلة Qwen 2.5 (3B, 7B) هذا النمط، حيث تُظهر ميزة الـ bottom-k لمعلومات POS ولا يوجد عدم تماثل في التداخل. يشير هذا إلى أن الفصل الطيفي بين النحو والدلالة قد يعتمد على المعمارية.

الأهمية والادعاءات

تدعي الورقة الكشف عن "جيومتريا مزدوجة" في تمثيلات المحولات: "المفاهيم تهمس بينما النحو يصرخ."

• الرؤية الميكانيكية: يبدو أن المحولات تقوم بتدوير المحتوى الدلالي إلى مناطق هادئة طيفياً (منخفضة التباين) أثناء المعالجة السياقية. يسمح هذا بالتلاعب بالمفاهيم مع تقليل الاضطراب القواعدي، بينما تشغل النحو والأنماط الهيكلية الفضاء "الصاخب" عالي التباين حيث يمكنها الصمود بقوة أمام ضجيج التيار المتبقي.
• الآثار على التفسيرية (Interpretability): الطرق التي تركز فقط على المكونات الرئيسية العليا (مثل تصور PCA القياسي) تخاطر بفقدان المعلومات على مستوى المفهوم، والتي تكمن في الذيل الطيفي. يجب أن تهتم أدوات التفسير بالاتجاهات منخفضة التباين.
• الآثار على التوجيه (Steering): تشير النتائج إلى تحسين عملي للهندسة التنشيطية: إن إسقاط متجهات التوجيه في الفضاء منخفض التباين قبل الحقن يمكن أن يحقق تلاعباً بالمفاهيم مع أقل اضطراب في السلاسة، مما قد يخفف من "الحبسة" (aphasia) الناتجة عن تعطيل التوجيه النحوي.
• الارتباط النظري: تقدم النتائج بعداً طيفياً لنظرية التراكب (superposition). إذا كانت الاتجاهات عالية التباين "مملوكة" للأنماط النحوية المتكررة، فإن الأبعاد الفعالة للمفاهيم الدلالية تتقلص، مما يجبر الشبكة على تشفير الميزات الدلالية في الذيل عبر التراكب.

يظل المؤلفون متواضعين بشأن نطاق عملهم، مشيرين إلى أن مفاهيمهم مستمدة من التناقضات على مستوى الكلمات، وأن سلوك هذه الظاهرة في معماريات المشفّر-المفكك (encoder-decoder) أو للمفاهيم الأكثر تجريداً يظل سؤالاً مفتوحاً. كما أكدوا أن شذوذ Qwen 2.5 يستحق مزيداً من البحث في كيفية تأثير أنظمة تدريب معينة أو خيارات معمارية على التخصيص الطيفي.