The Geometric Wall: Manifold Structure Predicts Layerwise Sparse Autoencoder Scaling Laws

ملخص تقني: الجدار الهندسي: البنية المانيفولدية (Manifold) تتنبأ بقوانين القياس للمشفرات التلقائية المتفرقة عبر الطبقات

بيان المشكلة
تعمل المشفرات التلقائية المتفرقة (SAEs) على تفعيل "فرضية التمثيل الخطي" (Linear Representation Hypothesis - LRH) من خلال إعادة بناء تنشيطات النموذج كتركيبات خطية متفرقة من ذرات القاموس. يفترض هذا النهج ضمناً أن فضاء التنشيط يمكن تقريبه جيداً بواسطة بنية خطية عالمية. ومع ذلك، فإن قوانين القياس الحالية لخطأ إعادة بناء الـ SAE — وتحديداً قانون القوة المشترك الذي يربط بين عرض القاموس ($n$) والتفرق ($k$) — لم تُطبق إلا في طبقات مفردة (مثل الطبقة 5 أو 6 في GPT-4)، ولا تأخذ في الاعتبار التباين الحاد في خطأ إعادة البناء الملحوظ عبر طبقات الشبكة المختلفة.

تجادل الورقة بأن هذا التباين ليس مجرد محدودية في الموارد، بل هو أثر تجريبي لـ عدم تطابق هندسي (Geometric Mismatch). فبينما تفترض الـ SAEs وجود قاعدة خطية مسطحة وعالمية، فإن "المانيفولدات" (Manifolds) التنشيطية للنماذج اللغوية الكبيرة منحنية، ويختلف بعدها الجوهري بشكل منهجي مع العمق. وبناءً عليه، لا يمكن لأي قاموس خطي متفرق واحد أن يطابق هذه المانيفولدات بشكل موحد، مما يجعل قانون قياس (عرض-تفرق) الخاص بالـ SAE دالة تعتمد على طبقة معينة وعلى هندسة المانيفولد، بدلاً من كونه قانوناً عالمياً ثابتاً.

المنهجية
أجرى المؤلفون أول دراسة قياس عبر الطبقات باستخدام 844 نقطة تفتيش (Checkpoints) لـ SAEs من عائلة Gemma Scope، تغطي جميع طبقات الـ 26 لنموذج Gemma 2 2B وجميع طبقات الـ 42 لنموذج Gemma 2 9B. يتقدم التحليل عبر مرحلتين:

1. المرحلة الأولى: ملاءمة سطح القياس لكل طبقة

• لكل طبقة، يقوم المؤلفون بملاءمة سطح قياس لوغاريتمي-خطي "بدون أرضية" (no-floor) لخطأ إعادة البناء ($L$) كدالة لعرض القاموس ($n$) والتفرق ($k$).
• نظراً لمحدودية تغطية العرض في معظم الطبقات (توافر عرضين أساسيين فقط)، يتم ملاءمة سطح مكون من 4 معاملات: $\log L = a_0 + \beta_n \log n + \beta_k \log k + \gamma \log n \log k$.
• ومن خلال ذلك، يستخرجون أس قياس العرض لكل طبقة $\alpha_\ell(k) = -(\beta_{n,\ell} + \gamma_\ell \log k)$.
• في ست طبقات "نموذجية" ذات شبكات عرض أغنى (تساوي أو تزيد عن 3 عروض)، يقومون بإجراء ملاءمة مشتركة غير خطية لسطح مكون من 6 معاملات "مع أرضية" ($L = A(k)n^{-\alpha(k)} + B(k)$) لتحديد أرضية إعادة البناء التقاربية $B(k)$.

2. المرحلة الثانية: الانحدار الهندسي عبر الطبقات

• يحسب المؤلفون أربعة ملخصات هندسية لكل طبقة للمانيفولد التنشيطي باستخدام مقدرات إقليدية خارجية (مثل TWO-NN، وPCA متعدد المقاييس، إلخ):
  • البعد الجوهري ($d_{int}$): درجات الحرية المحلية.
  • الانحناء متعدد المقاييس ($\kappa_{ms}$): متوسط الابتعاد عن المستوى المماسي عبر أنصاف أقطار متغيرة.
  • تباين المماس ($\kappa_{tv}$): معدل دوران الفضاء المماسي.
  • عدم التجانس ($\nu$): التباين المحلي في البعد الجوهري.
• يقوم المؤلفون بعمل انحدار لمخرجات المرحلة الأولى (تحديداً أس قياس العرض $\alpha_\ell(k)$ والمعاملات $\beta_n, \gamma$) مقابل هذه الملخصات الهندسية باستخدام المربعات الصغرى العادية (OLS).
• تختبر اختبارات الفرضيات فرضية العدم ($H_0$) التي تفترض استقلال الهندسة، مقابل نماذج تعتمد على ميزة واحدة، أو أزواج ميزات ذات ارتباط منخفض، أو جميع الميزات الأربع.
• نقل النموذج (Cross-Model Transfer): تُستخدم المعاملات المتعلمة من نموذج واحد (مثل 2B) للتنبؤ بأسس كل طبقة في النموذج الآخر (مثل 9B) لاختبار وجود قانون هندسي قابل للنقل.

المساهمات الرئيسية

1. الإطار الهندسي لبواقي الـ SAE: تقدم الورقة تفسيراً معلوماتياً-هندسياً (Information-geometric) يسحب المعلومات من الخلفية، يوضح لماذا قد لا تسمح فضاءات التنشيط بشفرات خطية متفرقة فعالة عالمياً. وهي تفترض أن المقياس "الطبيعي" في فضاء التنشيط هو مقياس "فيشر-راو" (Fisher-Rao) المستمد من السحب، بينما تحسن الـ SAEs المسافة الإقليدية المحيطة، مما يخلق عدم تطابق بين القاعدة والمانيفولد.
2. قانون القياس المشروط هندسياً: يوسع المؤلفون قانون قياس (العرض-التفرق) القياسي ليشمل حساباً مشروطاً بالهندسة. ويثبتون أن معاملات قانون القياس (وتحديداً أس العرض) هي دوال لطبقة معينة تعتمد على هندسة المانيفولد التنشيطي.
3. القانون الهندسي العابر للنماذج وارتباط الأرضية:
   • يظهرون أن معاملات الانحدار المتعلمة من نموذج واحد تتنبأ بنجاح بأسس العرض لكل طبقة في النموذج الآخر، مما يشير إلى وجود قانون هندسي قابل للنقل.
   • عند الطبقات النموذجية، تتبع أرضية إعادة البناء التقاربية ($B$) الترتيب الهندسي: الطبقات ذات الانحناء والبعد الجوهري الأعلى تظهر "أرضيات" أعلى غير قابلة للاختزال.

النتائج

• التنبؤ بأسس القياس: تتنبأ هندسة المانيفولد بقوة بأس قياس العرض لكل طبقة $\alpha_\ell(k=50)$. يعد الانحناء متعدد المقاييس ($\kappa_{ms}$) الميزة الفردية المهيمنة، حيث يفسر جميع التباينات عبر الطبقات في نموذج 2B ومعظم التباينات في نموذج 9B.
• القابلية للنقل: القانون الهندسي قابل للنقل. معاملات الانحدار التي تم ضبطها على Gemma 2 2B تتنبأ بأسس 9B بدقة عالية ($R^2 \approx 0.92-0.93$)، والعكس صحيح، مما يشير إلى أن العلاقة ليست نتاج صدفة مرتبطة بحجم نموذج معين.
• الجدار الهندسي: في الطبقات التي يمكن فيها تحديد الأرضية التقاربية، ترتبط قيمة الأرضية بالتعقيد الهندسي. الانحناء والبعد الجوهري الأعلى يقابلان أرضيات أعلى. يُفسر هذا على أنه باقٍ (Residual) من الدرجة الثانية غير قابل للاختزال: القاموس الخطي المسطح لا يمكنه تقريب المانيفولد المنحني بدقة، مما يترك خطأً متبقياً لا يتلاشى حتى مع اقتراب عرض القاموس من اللانهاية.
• التفسير الميكانيكي: "الجدار الهندسي" ليس سقفاً لمحدودية الموارد، بل هو حد يعتمد على الهندسة. يزيد الانحناء العالي من الابتعاد من الدرجة الثانية عن المستوى المماسي، بينما يقلل البعد الجوهري العالي من حصة الفضاء المماسي المحلي التي يمكن تغطيتها بميزانية ذرات محدودة.

الأهمية والادعاءات
تدعي الورقة إعادة صياغة حد الـ SAE كـ جدار يعتمد على الهندسة بدلاً من كونه سقفاً للموارد. وتجادل بأن التباين في دقة الـ SAE عبر الطبقات مشروط بالبنية الهندسية للتنشيطات، والتي تترك ممارسات القياس أحادية الطبقة دون نمذجة.

لا يدعي المؤلفون أن الـ SAEs غير مناسبة للتفسير، بل يؤكدون أن سلوك القياس عبر الطبقات مقيد جوهرياً ببنية المانيفولد التي تحاول الـ SAE إعادة بنائها. وتشير النتائج إلى أن "فرضية التمثيل الخطي" هي تقريب يعتمد على المقياس؛ فالاتجاهات الخطية "ذات المعنى" ليست مستقلة عن المقياس، والاتساق بين المقياس الإقليدي المحيط (المستخدم في الـ SAEs) ومقياس السحب التنبؤي يختلف بشكل منهجي مع العمق. يوفر هذا العمل إطاراً تشخيصياً لفهم متى ولماذا يفشل إعادة بناء الـ SAE، ويربط ذلك مباشرة بالهندسة الجوهرية للحالات المخفية للشبكة العصبية.