Superposition Is Not Necessary: A Mechanistic Interpretability Analysis of Transformer Representations for Time Series Forecasting

ملخص تقني: التراكب ليس ضرورياً في نماذج المحولات الخاصة بالسلاسل الزمنية

بيان المشكلة
أثبتت بنيات المحولات (Transformers) مكانتها في معالجة اللغات الطبيعية (NLP) بشكل أساسي بفضل قدرتها على تركيب وضغط الميزات الغنية من خلال التراكب (Superposition)—أي تشفير ميزات أكثر من الأبعاد المتاحة عبر تداخلها في فضاء متجه مشترك. وقد أكدت أدوات التفسير الآلي، ولا سيما المشفّرات التلقائية المتفرقة (Sparse Autoencoders - SAEs)، اعتماد النماذج اللغوية الكبيرة (LLMs) بشكل كبير على هذه الآلية. ومع ذلك، لا يزال تطبيق آليات التمثيل هذه على التنبؤ بالسلاسل الزمنية غير مستكشف.

هذه الفجوة بالغة الأهمية بالنظر إلى "الجدل حول النماذج الخطية": حيث تتفوق النماذج الخطية البسيطة مثل DLinear باستمرار أو تضاهف على الأقل أداء نماذج التنبؤ المعقدة القائمة على المحولات في المعايير القياسية. ورغم أن هذا أثار نقاشات معمارية، إلا أنه لا يوجد دليل آلي يفسر لماذا قد تكون المحولات غير ضرورية لهذه المهام. وتحديداً، ليس من الواضح ما إذا كانت محولات السلاسل الزمنية تستخدم بالفعل آليات التراكب التي تقود نجاحها في نمذجة اللغة، أم أن البيانات ببساطة لا تتطلب مثل هذا التركيب المعقد للميزات.

المنهجية
يتقصى المؤلفون هذا السؤال من خلال تطبيق التفسير الآلي القائم على SAE على نموذج PatchTST، وهو نموذج محول نموذجي مستقل للقنوات (channel-independent) مخصص للسلاسل الزمنية. تتبع الدراسة ثلاث مراحل:

1. تأسيس خط أساس: أثبت المؤلفون أولاً أن نموذج PatchTST أحادي الطبقة وذو أبعاد ضيقة (يتضمن تحديثات مثل تضمينات الموضع الدوارة وRMSNorm) يحقق أداءً مقارباً للتكوينات الأكثر عمقاً في ثمانية معايير قياسية للتنبؤ طويل الأمد (Weather, Electricity, Traffic, Exchange, و EBT variants). وهذا يثبت أن القدرة الدنيا للمحول كافية لهذه المهام، مما يسمح للمؤلفين بفحص التمثيلات الداخلية لنموذج أدنى وأكثر تنافسية.
2. تدريب المشفّرات التلقائية المتفرقة (SAEs): تم تدريب الـ SAEs على تنشيطات الشبكة العصبية الأمامية (FFN) المتوسطة بعد طبقة GELU في نموذج PatchTST. استخدمت الدراسة أحجام قواميس تتراوح من 0.5× إلى 4.0× الأبعاد الأصلية لشبكة FFN لاختبار وجود ميزات يمكن إعادة بنائها وتتسم بالتفرق (sparse) مخفية عبر التراكب.
3. التقييم الثلاثي: يتحقق المؤلفون من ثلاثة مؤشرات محددة للتراكب القوي:
   • تحليل توسع القاموس: استبدال التنشيطات الأصلية بإعادة بناء SAE أثناء الاستدلال لقياس التدهور في أداء التنبؤ اللاحق. تحت ظروف التراكب القوي، يجب أن يؤدي توسيع القاموس إلى تحسين الأداء بشكل كبير عن طريق فك تشابك الميزات المخفية.
   • تحليل الكمون الميت (Dead Latent): قياس معدلات تنشيط المتغيرات الكامنة في القاموس المفرط (4.0×). ستشير معدلات الكمون الميت العالية إلى أن السعة الموسعة تظل غير مستخدمة، مما يشير إلى عدم وجود ميزات مضغوطة يمكن إعادة بنائها.
   • تدخلات الكمون السببية: تضخيم أكثر 10 كمونات نشاطاً بمعامل قدره 5.0 أثناء الاستدلال لمراقبة ما إذا كانت الميزات المتفرقة الفردية تمارس سيطرة سببية مهيمنة على مخرجات التنبؤ.

النتائج الرئيسية
لا يقدم التحليل التجريبي أي دليل على وجود تراكب قوي في تمثيلات PatchTST التي تم تحليلها:

• تأثير طفيف على الأداء: أدى توسيع قاموس SAE من 0.5× إلى 4.0× إلى تغيير متوسط في الأداء اللاحق بنسبة 0.214% فقط. في كثير من الحالات، ظل الأداء مستقراً أو أظهر تحسينات طفيفة متسقة مع تقليل الضوضاء البسيط، بدلاً من المكاسب الكبيرة المتوقعة إذا تم فك تشابك الميزات المخفية.
• معدلات عالية للكمون الميت: ظل جزء كبير من القاموس المفرط (4.0×) غير نشط. على سبيل المثال، أظهرت مجموعة بيانات Traffic معدلات كمون ميت تجاوزت 60%، بينما ظلت معظم المعايير الأخرى دون 7%. يشير هذا إلى أن السعة الموسعة لم تُستخدم لتمثيل ميزات جديدة.
• حساسية سببية ضئيلة: أنتجت التدخلات السببية المستهدفة (تضخيم 5.0×) على أكثر الكمونات نشاطاً اضطرابات طفيفة في التنبؤ، بمتوسط إزاحة قدره 0.031 MAE فقط. يشير هذا إلى أن الميزات المتفرقة الفردية لا تمثل اتجاهات سببية مهيمنة تتحكم في التنبؤ.
• الدقة الداخلية مقابل الخارجية: بينما حقق القاموس (4.0×) خطأ إعادة بناء (MSE) داخلياً أقل (دقة أفضل في إعادة بناء التنشيطات المدخلة)، إلا أن هذا التحسن في التمثيل الداخلي لم يترجم إلى مكاسب في التنبؤ اللاحق.

الأهمية والادعاءات
يجادل هذا العمل بأن التراكب ليس ضرورياً لتحقيق أداء تنافسي في معايير التنبؤ بالسلاسل الزمنية القياسية. ويقدم المؤلفون الادعاءات المحددة التالية:

• تعقيد المهمة: من المرجح أن معايير السلاسل الزمنية القياسية تفتقر إلى الثراء التمثيلي وتفاعلات الميزات التي تتطلب تركيب الميزات المعقد الذي يمكّن المحولات في معالجة اللغات الطبيعية. قد لا تتطلب البيانات ببساة ما هي بارعة فيه المحولات.
• تفسير نجاح النماذج الخطية: إن استمرار تنافسية النماذج الخطية البسيطة (مثل DLinear و FITS) ليس مجرد شذوذ معماري، بل يعكس الأبعاد الجوهرية المنخفضة للبيانات الأساسية. عندما يكون عدد الميزات أقل من أبعاد النموذج، فلا يوجد ضغط للضغط (تراكب).
• الآلي مقابل التجريبي: يوفر هذا العمل تفسيراً آلياً للجدل حول النماذج الخطية، متجاوزاً المقارنات التجريبية للمعايير من خلال فحص حالة التمثيل الداخلي للنماذج.
• نطاق القصور: يوضح المؤلفون صراحة أنهم لا يدعون أن أي محول سلاسل زمنية لا يستخدم التراكب أبداً، أو أن التراكب لا يمكن أن يوجد في هذه النماذج. بدلاً من ذلك، هم يثبتون أن الأداء التنافسي على المعايير القياسية يمكن تحقيقه بدونه. ويقترحون أن المعايير المستقبلية ذات التعقيد الجوهري الأعلى (مثل السلاسل الزمنية الطبية أو المالية ذات الديناميكيات المعتمدة على النظام) قد تظهر متطلبات تمثيل مختلفة.

باختصار، تشير الدراسة إلى أن "ميزة المحول" في نمذجة اللغة، المدفوعة بالتراكب، لا تنتقل تلقائياً إلى التنبؤ بالسلاسل الزمنية، لأن المهام القياسية لا تفرض نفس القيود التمثيلية.