Causal Dimensionality of Transformer Representations: Measurement, Scaling, and Layer Structure
تقدم هذه الورقة "الأبعاد السببية" (كابا) كمقياس جوهري للنموذج يحدد الرتبة الفعالة للتأثير السببي لطبقة المحول (transformer)، مما يكشف أنه بينما تتوسع القدرة التمثيلية خطياً مع عرض المشفّر التلقائي المتناثر (sparse autoencoder)، فإن القدرة السببية تتشبع عند مستوى دون خطي يظل ثابتاً تجاه حجم النموذج ويظهر أنماطاً هيكلية متميزة عبر عمق الشبكة.