How Many Features Can a Language Model Store Under the Linear Representation Hypothesis?

إليك ملخص تقني مفصل للورقة البحثية بعنوان "كم عدد الميزات التي يمكن لنموذج اللغة تخزينها تحت فرضية التمثيل الخطي؟" من تأليف غارج، كلاينبرغ، وبينج.

1. بيان المشكلة

تتناول الورقة سؤالاً جوهرياً في الفهم النظري لنماذج اللغة الكبيرة (LLMs): بموجب فرضية التمثيل الخطي (LRH)، كم عدد الميزات ($m$) التي يمكن لطبقة واحدة مكونة من $d$ من العصبونات تخزينها والوصول إليها لاحقاً؟

تفترض فرضية التمثيل الخطي (LRH) أن الطبقات المتوسطة لنماذج اللغة الكبيرة تخزن الميزات خطياً. ومع ذلك، فإن الأدبيات السابقة غالباً ما خلطت بين مفهومين متميزين:

1. التمثيل الخطي: تُدمج الميزات خطياً في تنشيطات العصبونات.
2. إمكانية الوصول الخطي: يمكن فك تشفير (استخراج) الميزات باستخدام مسبار خطي (linear probe).

يجادل المؤلفون بأنه بينما يشير الاستشعار المضغوط الكلاسيكي إلى أن $d = O(k \log(m/k))$ من العصبونات كافية للميزات ذات التشتت $k$ (حيث $k$ هو عدد الميزات النشطة لكل مدخل)، فإن هذا يفترض فك تشفير غير خطي (مثل تقليل $\ell_1$). تبحث الورقة في النظام الأكثر صرامة حيث يجب أن يكون فك التشفير أيضاً خطياً، متسائلة عن كيفية تأثير هذا القيد على القدرة على "التراكب" (superposition) (أي تخزين $m \gg d$ من الميزات).

2. الإطار الرياضي

يصيغ المؤلفون المشكلة باستخدام التعريفات التالية:

• التنشيطات: يتم رسم خريطة للمدخل $\ell$ إلى متجه ذي $d$ من الأبعاد $f(\ell) = Az$، حيث $z \in \mathbb{R}^m$ هو متجه الميزات و $A \in \mathbb{R}^{d \times m}$ هي مصفوفة التمثيل.
• الميزات: الميزة $z_i$ هي دالة للمدخل. ويُفترض أن مجموعة الميزات هي $k$-sparse (أي أن $k$ من الميزات كحد أقصى تكون نشطة لأي مدخل معين).
• إمكانية الوصول الخطي: الميزة $z_i$ تكون قابلة للوصول خطياً إذا وجد متجه مسبار $b_i$ بحيث $\langle b_i, f(\ell) \rangle \approx z_i(\ell)$.
• الهدف: إيجاد الحد الأدنى للبعد $d$ المطلوب لإيجاد المصفوفات $A$ (الترميز) و $B$ (فك التشفير/المسبار) بحيث لجميع قيم $z$ ذات التشتت $k$:
  $$\| B^T A z - z \|_\infty < \epsilon$$
  هذا يضمن أن المسبار الخطي $B^T$ يمكنه استعادة متجه الميزات الأصلي $z$ من التمثيل المضغوط $Az$ مع خطأ قدره $\epsilon$.

3. المنهجية

تستخدم الورقة أدوات من الاستشعار المضغوط، نظرية المصفوفات العشوائية، ونظرية الرسوم البيانية القصوى لاستخلاص حدود دقيقة.

• بناء الحد الأعلى: يستخدم المؤلفون عمليات بناء المصفوفات العشوائية القياسية (تحديداً المصفوفات ذات الأعمدة التقريبية المتعامدة، والمعروفة باسم المصفوفات غير المتماسكة $\mu$-incoherent). ويظهرون أنه إذا كانت $A$ مصفوفة عشوائية (على سبيل المثال، مصفوفات Rademacher أو Gaussian مُقاسة)، فإن $A^T A$ تقترب من مصفوفة الوحدة. ومن خلال ضبط معامل التماسك $\mu$ بالنسبة للتشتت $k$، يضمنون أن التداخل من الميزات النشطة الأخرى يظل دون عتبة الخطأ $\epsilon$.
• إثبات الحد الأدنى: الإثبات أكثر تعقيداً ويعتمد على حجة التناقض:
  1. قيود الرتبة (Rank Constraints): يستخدمون نتيجة من "آلون" (2003) تتعلق برتبة المصفوفات ذات العناصر القطرية الكبيرة والعناصر خارج القطر الصغيرة.
  2. تحليل المصفوفات الفرعية: بدلاً من النظر إلى المصفوفة بأكملها، يطبقون قيود الرتبة على المصفوفات الفرعية الرئيسية بحجم $r$.
  3. اختزال الرسم البياني: يقومون ببناء رسم بياني حيث توجد حافة بين الميزتين $i$ و $j$ إذا كان التداخل (الضرب الداخلي لمسبار $b_i$ وتمثيل $a_j$) مرتفعاً.
  4. مبرهنة توران (Turán's Theorem): يطبقون مبرهنة توران لإظهار أنه إذا كان $d$ صغيراً جداً، فلا بد أن يحتوي الرسم البياني على "كليكة" (cllique) كبيرة أو يفتقر إلى مجموعة مستقلة كبيرة، مما يفرض وجود زوج "سيء" من الميزات حيث يتراكم التداخل بما يتجاوز $\epsilon$ المسموح به.

4. النتائج الرئيسية

أ. الفجوة الكمية (المساهمة الرئيسية)

تحدد الورقة فجوة كمية كبيرة بين الاستشعار المضغوط الكلاسيكي (فك التشفير غير الخطي) والاستشعار المضغوط الخطي (فك التشفير الخطي):

• الكلاسيكي (فك تشفير غير خطي): $d = O(k \log(m/k))$.
• الخطي (فك تشفير خطي): $d = \Omega_\epsilon\left( \frac{k^2}{\log k} \log \frac{m}{k} \right)$ (الحد الأدنى) و $d = O_\epsilon(k^2 \log m)$ (الحد الأعلى).

الدلالة: إمكانية الوصول الخطي هي فرضية أقوى وأكثر تكلفة بكما من مجرد التمثيل الخطي وحده. يجب أن يتناسب البعد $d$ تربيعياً مع التشتت $k$ في الحالة الخطية، بينما يتناسب خطياً في الحالة غير الخطية.

ب. سعة التراكب (Superposition Capacity)

رغم العقوبة التربيعية على $k$، فإن الحد الأعلى $d = O(k^2 \log m)$ يؤكد أن الطبقة لا تزال قادرة على تخزين عدد هائل (أسي) من الميزات ($m$) بالنسبة لعدد العصبونات ($d$)، بشرط أن تكون الميزات متشتتة. وهذا يوفر تحققاً نظرياً لـ "فرضية التراكب" (Elhage et al., 2022).

ج. هندسة متجهات الميزات

تتحدى الورقة الحدس القائل بأن متجهات تمثيل الميزات يجب أن تكون متعامدة.

• الخاصية 9: من الممكن بناء $A$ و $B$ حيث تكون متجهات التمثيل شديدة الارتباط (شبه متوازية) ومتجهات المسبار شديدة الارتباط، ومع ذلك يكون الاسترداد الخطي مثالياً. المتطلب الصارم الوحيد هو أن يكون متجه المسبار الخاص بميزة ما متعامداً مع متجهات تمثيل الميزات الأخرى.
• الخاصية 11: إذا فُرض قيد بأن متجهات التمثيل والمسبار يجب أن تكون ذات معايير وحدة (أو معايير محدودة)، تصبح الهندسة "أكثر نظافة": حيث تتوافق متجهات التمثيل والمسبار، وتصبح الميزات المختلفة متعامدة تقريباً.

د. المتانة تجاه اللاخطية

يوسع المؤلفون الحد الأدنى ليشمل الحالات التي يتضمن فيها فك التشفير انحيازاً (bias) ودالة تنشيط رتيبة (مثل ReLU).

• النظرية 12 والنتيجة 13: إضافة انحياز أو دالة تنشيط رتيبة إلى المسبار الخطي لا تزيد من سعة التخزين بشكل تقاربي. يظل الحد الأدنى $d = \Omega(k^2 \log(m/k))$ صالحاً حتى للميزات الثنائية وفك التشفير غير الخطي من النوع $\sigma(W^T x + b)$.

5. الأهمية والدلالات

1. صياغة الـ LRH: توفر الورقة أول إطار رياضي صارم يميز بين التمثيل الخطي وإمكانية الوصول الخطي، مما يحل حالات الغموض في الأدبيات السابقة.
2. التبرير النظري للتراكب: تثبت الورقة أن نماذج LLM يمكنها نظرياً تخزين ميزات أكثر أسياً من عدد العصبونات، ولكن فقط إذا كانت الميزات متشتتة واستخدمت النماذج ترتيبات هندسية محددة (التراكب).
3. تكلفة الخطية: تشير التبعية التربيعية لـ $k$ ($d \propto k^2$) إلى وجود "تكلفة" لإمكانية الوصول الخطي. إذا احتاج النموذج للوصول إلى العديد من الميزات النشطة في وقت واحد ($k$ كبيرة)، فيجب أن ينمو حجم الطبقة بشكل كبير. وهذا يقدم تفسيراً نظرياً لسبب ضرورة وجود نماذج أعمق أو طبقات أكبر لمهام الاستدلال المعقدة التي تتضمن العديد من المفاهيم المتزامنة.
4. القابلية للتفسير: توضح النتائج دور المشفرات التلقائية المتشتتة (SAEs). "الاتجاه الحقيقي" للميزة ليس بالضرورة هو وزن المشفر؛ إذ يمكن أن يكون متجه التمثيل ومتجه المسبار متميزين. ومع ذلك، لكي يعمل المسبار، يجب أن يكون متعامداً مع التداخل الناتج عن الميزات الأخرى.
5. الاتجاهات المستقبلية: يفتح هذا العمل آفاقاً لدراسة التفاعلات متعددة الطبقات، حيث قد تقوم الطبقات اللاحقة بعمليات أكثر تعقيداً من مجرد استخراج الميزات الخطي البسيط، واستكشاف فرضيات التمثيل غير الخطية.

باختصار، توضح الورقة أنه بينما تعد فرضية التمثيل الخطي قوية بما يكفي لتفسير السعة الهائلة لنماذج LLM، فإن شرط إمكانية الوصول الخطي يفرض قيوداً هندسية وبُعدية صارمة تميزها عن الاستشعار المضغوط العام.