ملخص تقني: أوليفيا (Olivia): مواءمة نماذج التأسيس للسلاسل الزمنية مع كثافة القدرة الطيفية

1. بيان المشكلة

تهدف نماذج التأسيس للسلاسل الزمنية إلى تعلم تمثيلات موحدة وعامة الأغراض من مجموعات بيانات متنوعة عبر مجالات متعددة (مثل الطاقة، وحركة المرور، والصحة) لتمكين النقل الفعال إلى مهام التنبؤ اللاحقة. ومع ذلك، فإن عدم التجانس في الأنماط الزمنية عبر هذه المجالات يمثل تحديًا كبيرًا. إذ تُظهر مجموعات البيانات المستمدة من مجالات مختلفة هياكل دورية واعتمادات طويلة المدى متباينة بسبب الديناميكيات الفيزيائية والدورات التشغيلية وإعدادات القياس المتفاوتة.

من منظور التحسين، غالبًا ما يؤدي التدريب المشترك على مجموعات بيانات ذات خصائص زمنية متباعدة إلى تباطؤ التقارب وسلوك غير مثالي. ومن منظور تعلم التمثيل، يكافح النموذج لتشكيل تمثيلات موحدة وقابلة للنقل عندما يُجبر على استيعاب هياكل زمنية غير متوافقة في آن واحد. وبينما تحاول النهج الحالية التخفيف من التباينات بين المجالات عبر التجزئة المعمارية أو التخصص القائم على السعة، إلا أنها غالبًا ما تفشل في معالجة الاختلافات الجوهرية في التوزيعات الزمنية بشكل صريح، لا سيما في المجال الطيفي.

2. المنهجية

يقترح البحث أوليفيا (Olivia)، وهو نموذج تأسيسي جديد للسلاسل الزمنية يعالج عدم التجانس بين المجالات عبر مواءمة مجموعات البيانات باستخدام كثافة القدرة الطيفية (PSD) في المجال الطيفي. وتتمثل الفرضية الأساسية في أن تطبيع (normalization) قيم PSD يمكن أن يقلل من عدم التطابق بين مجموعات البيانات ويعزز فعالية التدريب المسبق.

2.1. الموائم (The Harmonizer): إعادة بارامترية PSD ثنائية الاتجاه

إن تقليل التباينات الطيفية مباشرة (على سبيل المثال، عبر تباعد جينسن-شانون) عبر مجموعات البيانات أمر غير قابل للحساب في التدريب المسبق واسع النطاق بسبب عدم التطابق بين أهداف مجموعة البيانات وأهداف التحسين على مستوى العينة. وللتغلب على ذلك، يقترح المؤلفون الموائم (Harmonizer)، وهو وحدة هيكلية تعمل على مواءمة الـ PSD ضمنيًا عن طريق إعادة تنظيم الارتباطات الزمنية من الدرجة الثانية.

يتكون الموائم من وحدتين فرعيتين ثنائيتي الاتجاه:

• المُحاذي (Aligner): يقوم بإسقاط بيانات السلاسل الزمنية الخام إلى فضاء كامن مشترك وموائم طيفيًا. ويستخدم مصفوفة متعامدة قابلة للتعلم $Q$، يتم تحديد معاملاتها عبر سلسلة من انعكاسات هاوسهولدر ($Q = \prod H_k$)، لضمان التعامد الصارم. تعمل هذه التحويلات على إعادة تنظيم الديناميكيات الزمنية بحيث تصبح مصفوفة العزم الناتجة قطرية كتلية (block-diagonal)، مما يفصل ديناميكيات الفضاء المشترك عن الاختلافات الخاصة بمجموعة البيانات.
• المُستعيد (Restorer): يقوم بعملية الإسقاط العكسي المتماثل لإعادة التمثيلات المعالجة إلى الفضاء الزمني الخاص بالمجال الأصلي بعد فك التشفير، مما يضمن أن المخرجات تحافظ على البنية الزمنية الأصلية.

من الناحية النظرية، يتوافق هذا النهج مع إعادة بارامترية مشتركة للارتباطات الزمنية من الدرجة الثانية، مما يستحث شكلاً هيكليًا مشتركًا عبر مجموعات البيانات المتنوعة دون عدم الاستقرار الناتج عن تحسين التباعد المباشر.

2.2. هارمونيك فورمر (HarmonicFormer) وهارمونيك أتنشن (HarmonicAttention)

بناءً على التمثيلات الموائمة، يقدم المؤلفون هارمونيك فورمر (HarmonicFormer)، وهو نموذج مشفر-فك تشفير (encoder-decoder) من نوع ترانسفورمر. والابتكار الجوهري هو هارمونيك أتنشن (HarmaryonicAttention)، الذي يستبدل التفاعلات الكثيفة بين جميع الرموز (tokens) بفضاء تفاعل منخفض الأبعاد يتوسطه مجموعة مدمجة من المتذبذبات (resonators).

• تجميع الرمز إلى المتذبذب (Token-to-Resonator Aggregation): يتم تجميع المعلومات العالمية من الرموز في مجموعة صغيرة من $M$ من المتذبذبات الكامنة ($M \ll L$، حيث $L$ هو عدد الرموز).
• التفاعل بين المتذبذبات (Cross-Resonator Interaction): يتم إجراء الانتباه الذاتي داخل فضاء المتذبذبات المدمج $M \times M$ بدلاً من فضاء الرموز الكامل $L \times L$.
• إسقاط المتذبذب العالمي (Global Resonator Projection): يتم إعادة توزيع معلومات المتذبذب المتفاعلة مرة أخرى إلى الرموز.

يقلل هذا التصميم من التعقيد الحسابي من $O(L^2P)$ إلى $O(LMP + M^2P)$، مما يسمح بقابلية التوسع الخطي للتسلسلات الطويلة مع نمذجة التبعيات العالمية من خلال الفضاء الجزئي الطيفي الموائم.

2.3. مسار التدريب

يتبع أوليفيا مسارًا ثلاثي المراحل:

1. التدريب المسبق (Pretraining): يتم تدريبه على مجموعات بيانات غير متجانسة واسعة النطاق (مثل UTSD) باستخدام هدف إعادة البناء. يتم تحسين المُحاذي والمُستعيد بشكل مشترك لتعلم تنظيم زمني مشترك يقلل من التباينات الطيفية بين المجالات.
2. الضبط (Tuning): يتكيف النموذج مع مهام تنبؤ محددة. يظل المُحاذي (Aligner) في الموائم قابلًا للتعلم لصقل إعادة البارامترية الزمنية، بينما يتم تجميد أوزان المشفر وفك التشفير للحفاظ على التمثيلات المدربة مسبقًا.
3. الاستدلال (Inference): يقوم النموذج المدرب بالكامل بأداء التنبؤ مع تجميد جميع المعلمات.

3. المساهمات الرئيسية

1. نهج مواءمة مبدئي: يقدم البحث طريقة لمعالجة تنوع بيانات التدريب المسبق عبر مواءمة الـ PSD ضمنيًا من خلال إعادة تنظيم الارتباطات الزمنية من الدرجة الثانية، متجاوزًا بذلك معالجات فجوة المجال غير المهيكلة.
2. آلية هارمونيك أتنشن (HarmonicAttention): آلية انتباه مبتكرة تتيح تفاعلات الرموز منخفضة الأبعاد بوساطة مجموعة مدمجة من المتذبذبات، مما يسهصل النمذجة التأسيسية الفعالة عبر بنية هارمونيك فورمر (HarmonicFormer).
3. نموذج أوليفيا (Olivia): نموذج تأسيسي جديد للسلاسل الزمنية يدمج هذه الآليات، محققًا أداءً فائقًا في سيناريوهات الصفر (zero-shot)، والقليل من البيانات (few-shot)، والبيانات الكاملة (full-shot).

4. النتائج التجريبية

أُجريت تجارب مكثفة على اثنين من المعايير واسعة النطاق (TSLib و GIFT-Eval) وست مجموعات بيانات إضافية من GluonTS.

• أداء الصفر (Zero-Shot): تفوق أوليفيا باستمرار على نماذج التأسيس الرائدة (بما في ذلك SEMPO، وTime-MoE، وTimer، وMoirai، وChronos، وTimesFM) ونماذج التنبؤ المتخصصة. وفي معيار TSLib، حقق انخفاضات كبيرة في MSE وMAE مقارنة بالنماذج واسعة النطاق مثل Time-MoE (متوسط انخفاض في MSE بنسبة 26.3%).
• القليل من البيانات والبيانات الكاملة (Few-Shot and Full-Shot): أظهر أوليفيا أداءً قويًا في أنظمة البيانات المنخفضة (few-shot) وفي إعدادات البيانات الكاملة (full-shot)، محققًا باستمرار قيم MSE وMAE أقل من كل من نماذج التأسيس المدربة مسبقًا ونماذج التنبؤ المتخصصة (مثل iTransformer وDLinear).
• الكفاءة: رغم العبء الإضافي الذي يفرضه الموائم، حافظ أوليفيا (5.1 مليون معلمة) على بصمة مدمجة وسرعات استدلال أسرع بكثير من النماذج واسعة النطاق مثل Time-MoE (113 مليون - 2.4 مليار معلمة) وMoirai، مع تفوقه في الدقة على النماذج خفيفة الوزن مثل SEMPO.
• دراسات الاستئصال (Ablation Studies): أدى إزالة الموائم أو استبدال هارمونيك أتنشن بالانتباه الكامل (Full Attention)، أو الانتباه الخطي (Linear Attention)، أو نايستروم (Nyström Attention) إلى تدهور مستمر في الأداء، مما يؤكد ضرورة المواءمة الطيفية وتفاعلات المتذبذرات منخفضة الأبعاد.

5. الأهمية والادعاءات

يدعي البحث أن أوليفيا يثبت قيمة المواءمة الهيكلية للديناميكيات الزمنية لبناء نماذج تأسيسية للسلاسل الزمنية قابلة للتوسع والتعميم. ومن خلال محاذاة البصمات الطيفية المتباينة في فضاء جزئي موحد، يتعلم النموذج بدائيات زمنية عالمية تكون ثابتة تجاه التحولات الخاصة بالمجال.

يضع المؤلفون عملهم كعلاج مبدئي لمشكلة "فجوة المجال غير المهيكلة" في التدريب المسبق للسلاسل الزمنية. ويجادلون بأن معالجة الهياكل الزمنية من الدرجة الثانية صراحةً عبر إعادة بارامترية موجهة بـ PSD تسمح بنقل أكثر فعالية من الطرق السابقة التي تعتمد فقط على التجزئة المعمارية. وتشير النتائج إلى أن التمثيلات المتسقة مع الـ PSD تتيح توازنًا إيجابيًا بين كفاءة النموذج، والدقة، وقدرة التعميم عبر مجموعات البيانات الواقعية غير المتجانسة.

يقر البحث بوجود قيد يتعلق بالعبء الإضافي للاستدلال الناتج عن انعكاسات هاوسهولدر المتتالية في الموائم، مشيرًا إلى استراتيجيات بارامترية متعامدة أكثر كفاءة كاتجاه للعمل المستقبلي. ومع ذلك، فإنه يؤكد أن التصميم الحالي يوفر توازنًا قويًا بين الصرامة المعمارية والسرعة العملية.