ملخص تقني: تحليل ميكانيكي للمحولات (Transformers) في الأنظمة الديناميكية

بيان المشكلة

بينما حققت بنيات المحولات (Transformer architectures) نجاحاً تجريبياً كبيراً في التنبؤ بالسلاسل الزمنية، وتُطبق بشكل متزايد على الأنظمة الديناميكية (من ميكانيكا الموائع إلى علم الأعصاب)، إلا أن آلياتها الداخلية لا تزال غير مفهومة بشكل جيد من منظور الأنظمة الديناميكية. وخلافاً للنماذج ذاتية الانحدار (AR) ونماذج حالة الفضاء (state-space models) الكلاسيكية، التي تمتلك أسساً نظرية راسخة فيما يتعلق بالاستقرار، والقابلية للملاحظة، والقابلية للتعريف، غالباً ما تُعامل المحولات كصناديق سوداء.

هذه الفجوة حرجة لأن النماذج القائمة على آلية الانتباه (attention) يتم نشرها للتنبؤ العام أو "صفر العينات" (zero-shot) عبر أنظمة ديناميكية متنوعة. وتحديداً، من غير الواضح ما هي فئات السلوك الديناميكي التي يمكن للمحولات تمثيلها بأمانة، وتحت أي ظروف تنجح أو تفشل، وكيف ترتبط حساباتها الداخلية بالمفاهيم الراسخة في الديناميكا غير الخطية، مثل تضمينات إحداثيات التأخير (delay-coordinate embeddings) وإعادة بناء الجاذب (attractor reconstruction). لقد استكشفت الأدبيات الحالية الروابط بين الانتباه والتكامل العددي أو تعلم المؤثرات (operator learning)، ولكن لم يتم إرساء رابط ميكانيكي مباشر بين عمليات المحول أحادي الطبقة وبين صياغات الأنظمة الديناميكية الكلاسيكية (مثل نماذج AR، ونظرية تاكنز - Takens' theorem) بشكل ثابت.

المنهجية

يتبنى المؤلفون نهج "من الأسفل إلى الأعلى" في التفسير الميكانيكي، حيث يقيدون تحليلهم بـ المحولات أحادية الطبقة، وأحادية الرأس، والمخصصة لفك التشفير فقط (decoder-only). تسمح هذه البنية الدنيا بعزل مكونات محددة: آلية الانتباه الذاتي السببية وشبكة التغذية الأمامية (MLP).

تدرس الدراسة نظامين تشغيليين أساسيين:

1. الأنظمة الخطية: يحلل المؤلفون الانتباه كعامل ذاتي الانحدار خطي متغير زمنياً. ومن خلال إزالة الاتصال المتبقي (residual connection) وMLP (استئصال الانتباه فقط)، يشتقون تعبيرات مغلقة لمعاملات AR الفعالة المستحثة بواسطة آلية الانتباه. ويقارنون هذه المعاملات بمعاملات AR المستمدة تحليلياً من الأنظمة الفيزيائية (مثل المتذبذبات أحادية درجة الحرية و2-DOF).
2. الأنظمة غير الخطية: يفحص المؤلفون السيناريوهات التي لا تكون فيها الحالة كاملة الملاحظة (partial observability). هنا، يُنظر إلى المحول كآلية لـ تضمين إحداثيات التأخير التكيفي (adaptive delay-coordinate embedding). تقوم طبقة الانتباه بتجميع الملاحظات التاريخية لإعادة بناء حالة ضمنية، والتي تتم معالجتها بعد ذلك بواسطة MLP لتقريب خريطة التدفق غير الخطية.

تستخدم الدراسة ثلاثة أنظمة ديناميكية ممثلة:

• خطي: متذبذبات هيكلية أحادية و2-DOF.
• معادلة تفاضلية عادية (ODE) غير خطية: متذبذب فان دير بول (Van der Pol).
• معادلات تفاضلية جزئية (PDEs) غير خطية: معادلة تشافي-إنفانتي (Chafee-Infante) للتفاعل والانتشار، وتدفق نافير-ستوكس ثنائي الأبعاد حول أسطوانة.

يركز التحليل على كيفية تعامل النموذج مع الملاحظة الجزئية، ودور السياق الزمني (عدد الرموز المدخلة $n$)، وتأثير الترميز الموضعي (PE)، وأبعاد الفضاء الكامن ($d_{lat}$) بالنسبة للبعد الجوهري للجاذب ($d_A$).

المساهمات والنتائج الرئيسية

1. الأنظمة الخطية: قيد التحدب

في إعداد رأس الانتباه الواحد والانتباه فقط، يوضح المؤلفون أن تطبيع "softmax" يفرض قيد تحدب على معاملات الانظمة ذاتية الانحدار المتعلمة.

• الآلية: أوزان الانتباه $\alpha_{t,\ell}$ موجبة تماماً ومجموعها يساوي الواحد. وبناءً على ذلك، فإن مؤثرات التأخير الفعالة هي مضاعفات غير سالبة لمصفوفة واحدة.
• نمط الفشل: بالنسبة للأنظمة الخطية التي تتطلب معاملات ذاتي انحدار مختلطة الإشارة (على سبيل المثال، المتذبذبات المخمدة قليلاً حيث يجب أن تكون معاملات AR ذات إشارات متضادة لتمثيل انعكاس الطور)، لا يمكن لرأس انتباه واحد تمثيل الديناميكيات بأمانة. يؤدي هذا إلى "التنعيم المفرط" (oversmoothing) والفشل في استعادة قمم الرنين أو حواف الاضمحلال النمطي المتماسك.
• نمط النجاح: عندما تسمح ديناميكيات الهدف بتمثيل AR بمعاملات ذات إشارة واحدة، ينجح آلية الانتباه في التقاط السلوك التذبذبي وخصائص التخميد.
• القابلية للتوسع: في الأنظمة متعددة درجات الحرية، يمكن للانتباه استعادة أنماط متعددة متفاعلة إذا كان السياق الزمني ($n$) طويلاً بما يكفي للتعويض عن الملاحظات المكانية المفقودة، مما يجعله يعمل فعلياً كتضمين لإحداثيات التأخير. ومع ذلك، يظل قيد الإشارة الأساسي عائقاً أمام بنيات الرأس الواحد.

2. الأنظمة غير الخطية: التضمين التأخيري وإعادة بناء الحالة

بالنسبة للأنظمة غير الخطية، يجد المؤلفون أن فائدة المحول تبرز بوضوح في حالات الملاحظة الجزئية.

• الملاحظة الكاملة: عندما يكون متجه الحالة الكامل متاحاً، فإن MLP بسيط (يتعلم خريطة الخطوة الزمنية الواحدة) يؤدي أداءً مقارباً للمحول. لا يوفر الانتباه أي ميزة كبيرة لأن النظام يكون ماركوفياً بالفعل.
• الملاحظة الجزئية: عندما يتم ملاحظة مجموعة فرعية فقط من المتغيرات (على سبيل المثال، الموقع ولكن ليس السرعة)، يتفوق المحول بشكل كبير على MLP. تعمل آلية الانتباه كـ تضمين تأخير تكيفي، حيث تجمع الملاحظات الماضية لتمييز الحالات التي تشترك في نفس القيمة اللحظية ولكن تختلف في الطور.
• الأبعاد الكامنة وفك الطي: تعتمد جودة إعادة بناء الحالة بشكل حاسم على البعد الكامن ($d_{lat}$).
  • في نظام تشافي-إنفانتي (البعد الجوهري $d_A=2$)، تسبب ضبط $d_{lat}=2$ في انهيار التمثيل الكامن إلى منحنى ضيق، مما أدى إلى الفشل في "فك طي" (unfold) المتشعب بسبب تناظر النظام وقيود البنية.
  • رفع $d_{lat}$ إلى 3 سمح لآلية الانتباه أولاً بفك إحداثيات التأخير إلى تمثيل وسيط أكثر ثراءً، والذي يمكن لـ MLP بعد ذلك إسقاطه على المتشعب الجوهري ثنائي الأبعاد. يشير هذا إلى أن $d_{lat}$ يجب أن يتجاوز $d_A$ لتجنب الضغط والطي المبكر.
• الضبط البارامتري: في تجربة تدفق نافير-ستوكس حول الأسطوانة، تعلمت النماذج التي لم تُدرب بدون مدخل رقم رينولدز ($Re$) صريح فضاءً كامناً تتداخل فيه الدورات الحدية لمختلف قيم $Re$. أدت عدم القدرة على الحقن (non-injectivity) إلى إعادة بناء سيئة لمجال التدفق الكامل، خاصة في منطقة الأثر (wake region). وفر تقديم $Re$ كمدخل صريح فصلاً في الفضاء الكامن، مما فصل الدورات الحدية على طول متشعب مستمر يعتمد على المعامل، مما مكن من إعادة بناء المجال الكامل بدقة.

الأهمية والادعاءات

يدعي البحث سد الفجوة بين الأداء التجريبي للمحولات ونظرية الأنظمة الديناميكية الكلاسيكية من خلال تقديم تفسير ميكانيكي لـ لماذا ومتى تنجح أو تفشل هذه النماذج.

• القابلية للتفسير: يجادل المؤلفون بأن المحولات لا ينبغي النظر إليها مجرد كمنظمات عامة من تسلسل إلى تسلسل، بل كـ نماذج حالة تكيفية مع البيانات. تبني آلية الانتباه حالة ضمنية من الملاحظات الماضية، بينما يقرب الـ MLP خريطة التدفق المحلية.
• الحدود النظرية: تحدد الدراسة القيود التمثيلية الأساسية، وتحديداً عدم قدرة الانتباه أحادي الرأس على نمذجة التبعيات مختلطة الإشارة في الأنظمة الخطية بسبب تقعب (convexity) الـ softmax. يشير هذا إلى أن بنيات متعددة الرؤوس أو مخططات تطبيع بديلة قد تكون ضرورية لأنظمة فيزيائية معينة.
• إرشادات التصميم: تقدم النتائج إرشادات عملية لتصميم النماذج القائمة على الانتباه للأنظمة الديناميكية:
  • ضمان أن طول السياق الزمني ($n$) يحقق $n \ge 2d_A + 1$ (نظرية تاكنز) للملاحظة الجزئية.
  • ضمان أن البعد الكامن ($d_{lat}$) كبير بما يكفي لفك طي الجاذب قبل الإسقاط، خاصة للمتشعبات المتناظرة.
  • التكييف الصريح مع بارامترات النظام (مثل رقم رينولدز) إذا فشل الفضاء الكامن في فصل الأنظمة الديناميكية المختلفة بشكل فريد.

يخلص المؤلفون إلى أنه بينما يمكن للمحولات أن تعمل كمكاملات زمنية عامة، فإن انحيازاتها الاستقرائية (خاصة فيما يتعلق بالترشيح الطيفي وطوبولوجيا المتشعب) يجب أن تكون متوافقة بعناية مع الأنظمة الفيزيائية التي تنمذجها. ويحذرون من معاملة هذه النماذج كـ "صناديق سوداء" عالمة دون فهم هذه القيود الميكانيكية الكامنة.