ملخص تقني: DyWPE – الترميز الموضعي الموجي الديناميكي المدرك للإشارة لترانسفورمرات السلاسل الزمنية

1. بيان المشكلة

تعتبر طرق الترميز الموضعي (PE) الحالية في بنى "الترانسفورمر" (Transformer) غير مدركة للإشارة بشكل جوهري. وسواء كانت تستخدم الترميزات الجيبية، أو التضمينات المطلقة القابلة للتعلم، أو مخططات التموضع النسبي، فإن هذه الطرق تستمد المعلومات الموضعية حصرياً من مؤشرات التسلسل المجردة ($0, 1, \dots, L-1$).

هذا القصور يعد أمراً حرجاً في تحليل السلاسل الزمنية، حيث تظهر البيانات غالباً ديناميكيات معقدة وغير مستقرة وأنماطاً متعددة المقاييس. تخصص طرق الترميز الموضعي التقليدية تمثيلات موضعية متطابقة لسياقات زمنية متميزة تحدث عند نفس المؤشر المطلق؛ على سبيل المثال، فترة مستقرة ذات تباين منخفض مقابل تذبذب عالي التردد وعالي التقلب. هذا الفشل في التقاط البصمات الزمنية المتميزة يعيق النمذجة الفعالة، لا سيما في الإشارات غير المستقرة حيث تتغير الخصائص الإحصائية بمرور الوقت أو حيث تحمل مكونات ترددية مختلفة معانٍ دلالية متميزة. وبينما أشارت دراسات حديثة إلى تباينات في الأداء عبر استراتيجيات الترميز الموضعي المختلفة، لا توجد طريقة حالية تعالج القصور الجوهري المتمثل في التموضع المستقل عن الإشارة.

2. المنهجية: الترميز الموضعي الموجي الديناميكي (DyWPE)

يقترح المؤلفون DyWPE، وهو إطار عمل مبتكر يولد التضمينات الموضعية مباشرة من محتوى إشارة السلسلة الزمنية المدخلة بدلاً من مؤشرات التسلسل. الفلسفة الجوهرية هي التعامل مع الترميز الموضعي كدالة قابلة للتعلم من الإشارة، $P = f(X, \theta)$، بدلاً من كونها دالة للمؤشرات، $P = f(\text{indices})$.

تعمل البنية من خلال خمس خطوات متسلسلة:

1. إسقاط القنوات (Channel Projection): بالنسبة للمدخلات متعددة المتغيرات، يقوم متجه إسقاط قابل للتعلم ($w_{channel}$) بضغط قنوات الإدخال إلى قناة تمثيلية واحدة ($x_{mono}$) لالتقاط أهم الديناميكيات الزمنية.
2. تحلل موجي متعدد المستويات (Multi-Level Wavelet Decomposition): يتم تطبيق تحويل الموجات المتقطع (DWT) أحادي الأبعاد بمستوى $J$ على الإشارة المسقطة. ينتج عن ذلك:
   • معاملات التقريب ($c_{A_J}$) التي تمثل الاتجاهات منخفضة التردد واسعة النطاق.
   • معاملات التفاصيل ($c_{D_j}$) التي تمثل الأنماط عالية التردد ودقيقة النطاق.
3. تضمينات المقياس القابلة للتعلم (Learnable Scale Embeddings): يقدم النموذج متجهات تضمين قابلة للتعلم تعمل كـ "نماذج أولية" لكل مقياس زمني ($e_{A_J}, e_{D_J}, \dots, e_{D_1}$).
4. التعديل الديناميكي (Dynamic Modulation): هذا هو الابتكار الجوهري. تقوم معاملات الموجات الفعلية بتعديل تضمينات المقياس القابلة للتعلم ديناميكياً عبر آلية بوابة:
   $$\text{gate}(e, c) = (\sigma(W_g e) \odot \tanh(W_v e)) \otimes c'$$
   يسمح هذا للتمثيل الموضعي بالتكيف مع السلوك المحلي للإشارة (على سبيل المثال، التمييز بين طفرة عابرة واتجاه سلس) عن طريق وزن النماذج الأولية للمقياس بناءً على المحتوى الفعلي للإشارة.
5. إعادة البناء (Reconstruction): يتم تجميع المعلومات متعددة المقاييس المعدلة ديناميكياً مرة أخرى في تسلسل بطول $L$ باستخدام تحويل الموجات المتقطع العكسي (IDWT)، مع الاستفادة من خاصية إعادة البناء المثالية للموجات لإنتاج الترميز الموضعي النهائي $P_{DyWPE}$.

3. المساهمات الرئيسية

يوضح البحث أربع مساهمات رئيسية:

1. أول إطار عمل مدرك للإشارة: يعد DyWPE أول طريقة للترميز الموضعي تستمد المعلومات الموضعية مباشرة من محتوى الإشارة بدلاً من مؤشرات التسلسل.
2. الكفاءة الحسابية: يستخدم التنفيذ عمليات DWT/IDWT بتعقيد خطي $O(L)$، متجنباً التوسع التربيعي الذي غالباً ما يوجد في طرق الترميز الموضعي المتقدمة الأخرى.
3. التحقق الشامل: أظهرت التجارب المكثفة عبر عشر مجموعات بيانات متنوعة تفوقاً مستمراً على ثماني طرق ترميز موضعي راسخة.
4. تحليل الاستئصال (Ablation Analysis): تثبت الدراسة ضرورة مكونات معينة، بما في ذلك التعديل الديناميكي والتحلل متعدد المقاييس، مما يظهر أن الوعي بالإشارة والتحليل الهرمي أمران حاسمان لتحقيق مكاسب في الأداء.

4. النتائج التجريبية

أُجريت التجارب على عشر مجموعات بيانات تغطي التعرف على الأنشطة البشرية (HAR)، والصوت، وتصنيف تخطيط كهربية الدماغ (EEG)، وبيانات الاستشعار (بما في ذلك أرشيف UEA). تم دمج إطار عمل DyWPE في نموذج PatchTST ومقارنته بثمانية نماذج مرجعية (مثل Sinusoidal, Learnable, RoPE, ALiBi, T-PE).

• الأداء العام: حقق DyWHE أعلى دقة في 6 من أصل 10 مجموعات بيانات وحل في المرتبة الثانية في المجموعات المتبقية.
• التسلسلات الطويلة: أظهرت الطريقة تحسناً ملحوظاً بشكل خاص في التسلسلات الطويلة. على سبيل المثال، في مجموعة بيانات SelfRegulationSCP2 (1152 خطوة زمنية)، حقق DyWPE دقة بلغت 61.2%، متفوقاً بشكل كبير على الطرق الأخرى.
• الإشارات الطبية الحيوية: في المجالات التي تتضمن ديناميكيات فسيولوجية معقدة (Sleep EEG, SelfRegulation)، أظهر DyWPE باستمرار أداءً رائعاً، حيث نجح في التقاط الأنماط متعددة المقاييس بفعالية.
• المقايضة الحسابية: على الرغم من أن DyWPE يضيف عبئاً عملياً طفيفاً مقارنة بالطرق غير المدركة للإشارة بسبب معالجة الإشارة، إلا أن عبئه النسبي (1.48x للنموذج المرجعي) يظل منافساً لطرق الحالة الراهنة (SOTA) الأخرى، والتي تمتلك العديد منها أعباءً أعلى (مثل T-PE بنسبة 1.95x) وتعقيداً تربيعياً.

نتائج دراسة الاستئصال

• الوعي بالإشارة: أدى إزالة التعديل الديناميكي (Static Wavelet PE) إلى انخفاض متوسط في الأداء بنسبة 1.09% عبر جميع مجموعات البيانات، مما يؤكد أن التكيف مع خصائص الإشارة أمر ضروري.
• التحليل متعدد المقاييس: أظهرت مقارنة DyWPE الكامل مع نسخة أحادية المقياس أن التحلل متعدد المقاييس يفيد الإشارات المعقدة (على سبيل المثال، +7.3% في SR2)، رغم أن الأنماط الأبسط قد لا تتطلب تحللاً عميقاً.
• أنواع الموجات: بينما كان Daubechies (db4) بمثابة افتراضي قوي، أظهرت موجات Biorthogonal (مثل bior2.2) تحسناً طفيفاً في الإشارات المعقدة، مما يشير إلى أن خصائص إعادة البناء تساعد في الترميز المدرك للإشارة.

5. الأهمية والادعاءات

يزعم البحث أن DyWPE يعالج فجوة أساسية في "ترانسفورمرات" السلاسل الزمنية: الانفصال بين المعلومات الموضعية وديناميكيات الإشارة. من خلال نقل عبء التعرف على الأنماط المحلية إلى طبقة الترميز الموضعي، يسمح DyWPE لآليات الانتباه الذاتي بالتركيز بشكل أكثر فعالية على التقاط التبعيات طويلة المدى وعالية المستوى.

يضع المؤلفون DyWPE ليس مجرد تحسين تدريجي، بل كتحول جذري من التموضع القائم على المؤشر إلى التموضع القائم على المحتوى. تشير النتائج إلى أنه بالنسبة لبيانات السلاسل الزمنية — خاصة تلك التي تتميز بخصائص غير مستقرة أو متعددة المقاييس — فإن دمج التحيزات الاستقرائية المدركة للإشارة في الترميز الموضعي أمر بالغ الأهمية لتحقيق أداء يمثل حالة رائدة (SOTA). يضع هذا العمل حجر أساس جديد لكيفية تصور المعلومات الموضعية في مهام النمذجة التسلسلية التي تتضمن بيانات زمنية معقدة.