ملخص تقني: الحوسبة الكامنة الناشئة تحت التقلب العشوائي

بيان المشكلة

ركزت أبحاث التفسير الآلي (Mechanistic Interpretability) بشكل أساسي على النماذج اللغوية والمهام الاصطناعية الحتمية حيث تكون الحوسبات المستهدفة قابلة للملاحظة بالكامل. وهناك فجوة كبيرة في فهم كيفية تمثيل نماذج التسلسل العصبية داخلياً لـ الديناميكيات العشوائية الكامنة في البيئات الصاخبة ذات الملاحظة الجزئية.

تعالج هذه الورقة هذه الفجوة باستخدام نماذج التقلب العشوائي (Stochastic Volatility - SV) كمعيار ضبطي. في نماذج التقلب العشوائي، تُعد عوائد الأصول ملاحظات صاخبة لحالة لوغاريتمية كامنة للتقلب ($h_t$) غير مرصودة. وخلافاً لنماذج ARCH/GARCH حيث يكون التقلب دالة حتمية للعوائد الماضية، تتطلب نماذج SV من النموذج إجراء عملية "ترشيح ضمني" (Implicit Filtering) لاستنتاج الحالات الخفية من البيانات الصاخبة. التحدي يكمن في تحديد ما إذا كانت الشبكات العصبية الصغيرة المدربة حصرياً للتنبؤ بمربعات العوائد المستقبلية ($r^2_{t+1}$) تستعيد التمثيلات الداخلية لحالة التقلب الكامنة الحقيقية ($h_{t+1}$)، وكيف تنشأ هذه التمثيلات عبر بنية الشبكة.

المنهجية

الإعداد التجريبي

• توليد البيانات: يستخدم المؤلفون عملية تقلب عشوائي متعدد المتغيرات (MSV) محكومة لعدد $N=6$ من الأصول. يتم توليد العوائد ($r_t$) كـ ملاحظات صاخبة لحالة لوغاريتمية تقلب كامنة ($h_t$) تتبع نموذج فضاء حالة خطي مع وجود تأثيرات انتقال (spillovers) بين الأصول.
• المهمة: يتم تدريب النماذج للتنبؤ بالخطوة التالية من مربعات العوائد ($y = r^2_{T+1}$) بناءً على تاريخ مكون من $T=21$ من العوائد الماضية. حالة التقلب الكامنة الحقيقية $h_{T+1}$ معروفة للباحث ولكنها مخفية عن النموذج.
• البنيات (Architectures):
  • المحول (Transformer): مشفر مدمج بطبقة واحدة ورأس انتباه واحد. تُعامل الأصول كرموز (tokens) وتُعتبر تواريخ العوائد هي الميزات. تتضمن البنية تمثيلاً خطياً (linear embedding)، تطبيع $\ell_2$ (L2 normalization)، تمثيلات موضعية (positional embeddings)، انتباه ذاتي، وشبكة تغذية أمامية (FFN) مع تنشيط GELU.
  • النموذج المرجعي MLP: شبكة MLP مكونة من ثلاث طبقات تعالج تاريخ كل أصل بشكل مستقل، مما يعزل تأثير التفاعلات بين الأصول القائمة على الانتباه.
• أهداف التدريب: تتم مقارنة دالتين لخسارة (Loss functions):
  1. MSE: متوسط الخطأ التربيعي على مربعات العوائد (وهو بديل صاخب للتباين الشرطي).
  2. NLL: سالب لوغاريتم الاحتمالية الغاوسي (Gaussian Negative Log-Likelihood)، وهو متوافق نظرياً مع تقدير التباين الشرطي.

تقنيات التحليل

• الاستقصاء الخطي (Linear Probing): يتم ضبط مستكشفات انحدار ريج (Ridge regression probes) على التمثيلات المخفية المتوسطة ($z_i$) لقياس قابلية فك تشفير الحالة الكامنة $h_{i, T+1}$ خطياً.
• التحليل المرحلي (Stage-wise Analysis): يتتبع المؤلفون قابلية فك التشفير ($R^2$) عند كل مرحلة معمارية (التمثيل، التطبيع، الانتباه، FFN، المخرج) لتحديد مكان ظهور المعلومات الكامنة.
• التدخلات السببية (Causal Interventions):
  • استبدال رأس المخرج: استبدال رأس المخرج المتعلم برأس قراءة متوافق مع المستكشف (probe-aligned readout) لاختبار ما إذا كان تدهور التنبؤ ناتجاً عن فشل التمثيل أم عدم توافق القراءة.
  • استئصال التنشيط (Activation Ablation): اضطراب مكونات محددة (مثل ما بعد تطبيع $\ell_2$) لقياس التأثيرات اللاحقة على قابلية فك التشفية وخطأ التنبؤ.

النتائج الرئيسية

1. تفكيك الحالة الكامنة المكون من مرحلتين القوي

عبر كل من المحولات (Transformers) ونماذج MLP، وبغض النظر عن دالة الخسارة أو التنشيط، تظهر النماذج عملية حوسبة متسقة مكونة من مرحلتين:

1. الاستدلال الكامن (Latent Inference): تقوم التمثيلات المخفية بترميز معلومات جوهرية حول حالة التقلب الكامنة التالية ($h_{T+1}$). تحقق المستكشفات الخطية قيم $R^2$ عالية (غالباً > 0.85) عبر البنيات المختلفة.
2. رسم خرائط التنبؤ (Forecast Mapping): يقوم رأس المخرج برسم خريطة لهذا التمثيل إلى تنبؤات مربعات العوائد.

• ملاحظة: تحت تدريب MSE، غالباً ما يظهر رأس المخرج المتعلم توافقاً أقل بكثير ($R^2$) مع الحالة الكامنة مقارنة بالمستكشف، حتى عندما تكون الحالة الخفية قابلة لفك التشفير بدرجة عالية. يشير هذا إلى أن أخطاء التنبؤ تحت MSE غالباً ما تنشأ من عدم توافق القراءة (readout misalignment) بدلاً من فشل في ترميز الحالة الكامنة.

2. الظهور المرحلي في المحولات (Transformers)

يعتمد النقطة التي تظهر فيها قابلية فك تشفير الحالة الكامنة بشكل حاسم على فترة التقلب ($\omega$):

• أنظمة الدورات الطويلة ($\omega \ge 365$): تظهر قابلية فك التشفير مباشرة بعد تطبيع $\ell_2$ للتمثيل الخطي. يصبح التمثيل قابلاً لفك التشفير بشكل كبير قبل معالجة الانتباه أو FFN.
• الأنظمة المتوسطة ($\omega \in \{30, 90\}$): تتطلب قابلية فك التشفير صقلاً إضافياً بواسطة FFN بعد الانتباه.
• التحكم في الدورات القصيرة ($\omega = 21$): تكون قابلية فك التشفير قريبة من الصفر حتى يتم إضافة التمثيلات الموضعية (positional embeddings)، حيث تقفز بعدها إلى $\approx 1.0$. يشير هذا إلى أن النموذج يعتمد على حفظ الدورية بدلاً من الترشيح الديناميكي في هذا النظام المحدد.
• المقارنة: يظهر نموذج MLP ظهوراً أقل نمطية وأكثر انتشاراً لقابلية فك التشفية عبر الطبقات، ويفتقر إلى الانتقالات الحادة المحددة بالمراحل التي يظهرها المحول.

3. المرشحات الكامنة الصريحة في أنظمة الدورات الطويلة

في أنظمة الدورات الطويلة، تتبسط حوسبة المحول إلى مرشح صريح:
$$\hat{h}_{i, t+1} \approx \text{RidgeProbe}\left( \frac{x_i W_{in}^\top}{\|x_i W_{in}^\top\|_2} \right)$$
يشير هذا إلى أن معظم المعلومات الكامنة يتم استخراجها بواسطة إسقاط خطي متعلم متبوع بتطبيع $\ell_2$. يؤكد الاستئصال السببي أن التمثيل ما بعد تطبيع $\ell_2$ هو المرحلة المبكرة التي تصبح فيها الإشارة الكامنة ذات صلة سببية للتنبؤ اللاحق؛ حيث يؤدي اضطراب هذه المرحلة إلى أكبر انهيار في قابلية فك التشفية.

الأهمية والادعاءات

تجادل الورقة بأن نماذج التقلب العشوائي توفر معياراً مفيداً للتفسير الآلي تحت الديناميكيات الكامنة الصاخبة والملاحظة الجزئية.

• سد الفجوات: بخلاف المهام التجريبية الحتمية، تتطلب نماذج SV استدلال الحالة الضمني، ومع ذلك تظل الحقيقة الأساسية متاحة للتقييم. وهذا يسمح بدراسة محكومة لكيفية تمثيل النماذج للديناميكيات العشوائية الكامنة، وتحويلها، واستخدامها.
• الرؤية الآلية: تكشف الدراسة أنه حتى المحولات الصغيرة والمدمجة يمكنها تعلم أداء ترشيح ضمني يحاكي خطوط الإنتاج الاقتصادية القياسية (الاستدلال يليه التنبؤ).
• تفسير النماذج المالية: تشير النتائج إلى أن مهام التنبؤ بالسلاسل الزمنية المالية يمكن أن تعمل كجسر بين التفسير الآلي، ونمذجة السلاسل الزمنية، واستدلال فضاء الحالة، مما يوفر إطاراً لدراسة كيفية تعامل الشبكات العصبية مع عدم اليقين غير القابل للتقليل.

يحافظ المؤلفون على تواضع ادعاءاتهم، مشيرين إلى أن نتائجهم تعتمد على بيانات اصطناعية ذات حالات كامنة معروفة وبنيات صغيرة. هم لا يدعون أن هذه الآليات ستنتقل مباشرة إلى النماذج المالية الواقعية واسعة النطاق أو أنها توفر حساباً كاملاً على مستوى الدائرة (circuit-level) لجميع حسابات التقلب العشوائي، لكنهم يحددون آليات ناشئة محددة وقابلة للتفسير في بيئات محكومة.