ملخص تقني: ChronoSSM

بيان المشكلة

تعتمد نماذج التسلسل ذات التوليد الذاتي الحديثة، بما في ذلك المحولات (Transformers) ونماذج فضاء الحالة (SSMs)، بشكل أساسي على التنبؤ بـ "ماذا" سيحدث في الخطوة التالية من التسلسل، وغالباً ما تعامل "متى" يحدث ذلك كأمر ثانوي أو إشارة مساعدة. في المجالات التي تحمل فيها الأحداث بيانات وصفية زمنية صريحة — مثل تتبعات العمليات التجارية، السجلات السريرية، حركة مرور الشبكة، والرسوم البيانية للمعرفة الزمنية — يحد هذا الفصل من قدرة النموذج على إجراء الاستدلال الزمني، وكشف الشذوذ، وإعادة بناء التسلسل الزمني للأحداث بشكل دقيق.

تتمثل إحدى الاستراتيجيات الشائعة لمعالجة ذلك في نهج المرحلتين (Two-Stage approach): أولاً، تدريب نموذج للتنبؤ بالحدث التالي، ثم تجميد تمثيلاته، ومن ثم ملاءمة وحدة توقيت منفصلة. يفترض هذا الأسلوب ضمنياً أن التمثيلات المحسنة للتنبؤ بالرموز (tokens) وحدها تحتوي بالفعل على بنية زمنية كافية. ويرى المؤلفون أن هذا الافتراض مشكوك فيه، لأن هدف التنبؤ بالرمز يكافئ الميزات التي تحسن احتمالية الحدث التالي، لكنه لا يشجع صراحةً على ترميز الفترات الزمنية بين الأحداث (inter-arrival times).

المنهجية: ChronoSSM

قدم المؤلفون ChronoSSM، وهو نموذج فضاء حالة (State Space Model) ذو توليد ذاتي مصمم لنمذجة الأحداث والطوابع الزمنية معاً ضمن هيكل مشترك.

بنية النموذج

• العمود الفقري (Backbone): يستخدم النموذج عموداً فقرياً ذا توليد ذاتي سببي (يعتمد أساساً على Mamba2، وهو نموذج SSM انتقائي) يقوم بمعالجة تاريخ من الرموز $X_k$ لإنتاج تمثيلات مخفية لكل رمز $h_k$.
• الرؤوس المزدوجة (Dual Heads):
  1. رأس التنبؤ بالرمز (Token Prediction Head): خريطة خطية تتنبأ بالرمز التالي $x_{k+1}$.
  2. رأس التنبؤ الزمني (Temporal Prediction Head): دالة تتنبأ بالفترة الزمنية بين الأحداث $\Delta t_{k+1}$.
• التمثيل الزمني (Temporal Representation): للتنبؤ بالوقت بين الأحداث، يعرّف النموذج تمثيل الانتقال $r_{k+1}$ كفرق بين الحالات المخفية المتتالية: $r_{k+1} = \Delta h_{k+1} = h_{k+1} - h_k$. وهذا يربط تمثيل الفجوة الزمنية بالتغير في الحالة الكامنة.
• دالة الخسارة (Loss Function): يجمع هدف التدريب بين التنبؤ بالرمز والتنبؤ الزمني عبر سالب لوغاريتم الاحتمالية الموزون:
  $$\mathcal{L} = \mathcal{L}_{tok} + \lambda_\tau \mathcal{L}_{time}$$
  حيث $\mathcal{L}_{tok}$ هي الإنتروبيا التقاطعية الفئوية للرموز، و $\mathcal{L}_{time}$ هي سالب لوغاريتم الاحتمالية للفترات الزمنية بين الأحداث (والتي يتم نمذجتها ككثافة لوغاريتمية طبيعية فوق الأهداف المحولة لوغاريتمياً للتعامل مع القيم الصفرية وعدم التجانس).

نظم التدريب

يجري البحث مقارنة منضبطة بين جدولين للتحسين لعزل تأثير الإشراف الزمني على العمود الفقري:

1. التدريب المشترك (Joint Training): يتم تحسين العمود الفقري، ورأس الرمز، والرأس الزمني في آن واحد. تقوم التدرجات الناتجة عن كل من خسائر الرموز والزمن بتحديث معاملات العمود الفقري المشترك ($\theta$). وهذا يسمح للإشراف الزمني بتشكيل التمثيلات المتعلمة بشكل مباشر.
2. تدريب المرحلتين (Two-Stage Training): يتم تدريب العمود الفقري ورأس الرمز أولاً باستخدام $\mathcal{L}_{tok}$ فقط. بعد ذلك، يتم تجميد العمود الفقري، ويتم تدريب الرأس الزمني على التمثلات المجمدة الناتجة. يعمل هذا كخط أساس حيث لا يمكن لتدرجات الزمن تعديل العمود الفقري.

الإعداد التجريبي

يمتد التقييم عبر أربعة مجالات ذات هياكل تسلسل وكثافة طوابع زمنية متفاوتة:

1. تتبعات العمليات التجارية (BPI2018): طوابع زمنية كثيفة لسجلات الأنشطة.
2. تسلسلات الأحداث السريرية (MIMIC-IV): طوابع زمنية كثيفة ومتفجرة للعلامات الحيوية والملاحظات الطبية.
3. حركة مرور الشبكة: طوابع زمنية جزئية (عند حدود الحزم فقط).
4. الرسوم البيانية للمعرفة الزمنية (GDELT): طوابع زمنية جزئية (عند علامات الحقائق فقط).

تتضمن الدراسة أيضاً توليد الموسيقى الرمزية في الملحق.

النتائج الرئيسية

س1: القدرة على استرداد البيانات الزمنية (Temporal Recoverability)

يتحقق المؤلفون مما إذا كان التدريب المشترك ينتج تمثيلات تكون فيها المعلومات المتعلقة بالفترات الزمنية أكثر قابلية للاسترداد مقارنة بتدريب المرحلتين. يستخدمون مقياسين تشخيصيين على التمثلات المجمدة:

• المسبار الخطي (Linear Probe): مسبار انحدار ريج (ridge-regression) يتنبأ بالهدف الزمني من التمثيل.
• درجة التماسك الزمني (Temporal Cohesion Score - TCS): مقياس هندسي يحدد ما إذا كانت الانتقالات ذات الفجوات الزمنية المتشابهة تتجمع معاً في فضاء التمثيل.

النتائج: عبر جميع المجالات الأربعة، ينتج التدريب المشترك باستمرار تمثيلات ذات قدرة أعلى على استرداد البيانات الزمنية.

• أظهرت حركة مرور الشبكة التحسن الأكثر دراماتيكية (ارتفع TCS من 0.147 إلى 0.622).
• أظهرت BPI2018 و MIMIC-IV تحسناً ملحوظاً في أداء المسبار الخطي ($R^2$ و MAE)، رغم أن التماسك الهندسي (TCS) تحسن بشكل أكثر تواضعاً.
• أظهرت الرسوم البيانية للمعرفة الزمنية مكاسب متسقة، وإن كانت أصغر، عبر جميع المقاييس.

س2: تدهور الجودة (Quality Degradation)

يقيم المؤلفون ما إذا كان حقن الإشراف الزمني يؤدي بشكل منهجي إلى تدهور قدرة النموذج الأساسية على توليد الأحداث.

النتائج: لا يوجد دليل على وجود تدهور منهجي في جودة التوليد تحت التدريب المشترك.

• BPI2018: كانت جودة التوليد (مقاسة بتشابه داميراو-ليفنشتاين) متطابقة بين التدريب المشترك وتدريب المرحلتين.
• MIMIC-IV: أظهر التدريب المشترك تدهوراً طفيفاً في مقاييس توزيع الرموز الهامشية (JSD و TV distance) ولكنه حافظ على نفس معدل الاستدعاء (recall) للأحداث السريرية المتكررة.
• حركة مرور الشبكة والرسوم البيانية للمعرفة الزمنية: أدى التدريب المشترك في الواقع إلى تحسين جودة توليد المحتوى. في هذه المجالات، حقق التدريب المشترك تباعد جينسن-شانسون (JSD) أقل لرؤوس الحزم، وأداءً أفضل بكثير في مقاييس التنبؤ بالروابط (MRR, Hits@k) مقارنة بتدريب المرحلتين.

الأهمية والادعاءات

يدعي البحث أن الإشراف الزمني الصريح يمكن أن يحسن من قابلية استرداد البيانات الزمنية في التمثلات المتعلمة دون التأثير مادياً على نمذجة توليد الأحداث ذاتية التوليد.

النقاط الرئيسية المستخلصة:

• التمثيل الموحد: ينجح التدريب المشترك في تعلم دلالات الأحداث والديناميكيات الزمنية ضمن تمثيل موحد، مما يتحدى الافتراض بأن التدريب بالرموز وحدها يكفي للمهام الزمنية.
• الاعتماد على المجال: التفاعل بين الاسترداد الزمني وجودة التوليد يعتمد على المجال. في بعض الحالات (حركة مرور الشبكة، الرسوم البيانية للمعرفة الزمنية)، يبدو أن الإشراف الزمني يعزز الانتظامات الهيكلية التي يلتقطها مولد الرموز، مما يؤدي إلى أداء إجمالي أفضل.
• الأثر العملي: يمهد هذا النهج الطريق لتدريب نماذج توليدية مدركة زمنياً لا تتطلب خط إنتاج منفصل من مرحلتين، مما قد يفيد المهام اللاحقة مثل كشف الشذوذ أو التنبؤ التي تعتمد على تسلسل زمني دقيق.

يظل المؤلفون متواضعين، مشيرين إلى أنه بينما كانت المكاسب على مستوى التمثيل واضحة، فإن التقييم الصارم للأمانة التوزيعية للطوابع الزمنية أثناء التوليد الذاتي الحر يظل اتجاهاً للعمل المستقبلي. كما يؤكدون أن فوائد التدريب المشترك تعتمد على بنية المجال المحدد وكثافة الإشراف الزمني.