When Does Text Inform? Benchmarking Information-Theoretic Metrics for Multimodal Time-Series Forecasting
تقدم هذه الورقة معياراً مرجعياً اصطناعياً ذا محتوى معلوماتي معلوم الحقيقة لتقييم ستة مقدرات للمعلومات المتبادلة لتدقيق التعليقات النصية في التنبؤ بالسلاسل الزمنية متعدد الوسائط، مما يثبت قدرتها على تحديد النصوص المعلوماتية واختيار التعليقات المثلى للمهام اللاحقة دون تدريب النموذج.
في عالم النمذجة التنبؤية، لطال long كانت الحواسيب بارعة في قراءة الأرقام. فهي تستطيع تتبع صعود وهبوط أسعار الأسهم، أو تقلبات الطلب على الطاقة، أو انتشار مرض ما من خلال تحليل الأنماط في البيانات التاريخية. لكن العالم الحقيقي نادراً ما يقتصر على الأرقام فقط؛ بل هو مليء أيضاً بالكلمات. فتقرير إخباري مفاجئ عن اضطراب في سلاسل التوريد، أو ملاحظة طبيب تصف أعراضاً غير عادية لمريض، أو تعليق خبير أرصاد جوية حول عاصفة تقترب، يمكن أن يحمل أدلة تغفل عنها البيانات الخام وحدها. إن الوعد الذي يقدمه الذكاء الاصطناه الحديث يكمن في دمج هذين المسارين — الإشارات الرقمية واللغة الطبيعية — في تنبؤ واحد أكثر ذكاءً. والأمل هو أنه من خلال تغذية الحاسوب بكل من الأرقام والقصة الكامنة وراءها، يمكن للآلة أن تتنبأ بالمستقبل بدقة أكبر.
ومع ذلك، ظهرت مشكلة كبيرة في هذا المجال. فمجرد وجود تعليق نصي بجانب سلسلة زمنية لا يعني بالضرورة أنه مفيد. فأحياناً، تصف الكلمات حدثاً مستقبلياً لا تستطيع الأرقام رؤيته بعد. وفي أحيان أخرى، تكون النصوص خاطئة ببساطة، أو تصف شيئاً لا علاقة له باللحظة المحددة المراد التنبؤ بها. وفي الاندفاع لبناء أنظمة أكثر تعقيداً، غالباً ما يقوم الباحثون بدمج النص والبيانات دون معرفة ما إذا كانت الكلمات تحسن التنبؤ حقاً أم أنها تضيف ضجيجاً فحسب. وبدون وسيلة لقياس القيمة الحقيقية للنص قبل تدريب النموذج، يخاطر الممارسون بإهدار الموارد في معلومات مضللة، أو الأسوأ من ذلك، بناء أنظمة تتعلم تجاهل الأدلة ذاتها التي صُممت لاستخدامها.
لقد تصدى فريق من الباحثين في جامعة سنغافورة الوطنية لهذا اليقين عبر إنشاء بيئة محكومة لاختبار مدى قدرتنا على قياس قيمة الكلمات. فقد بنوا معياراً اصطناعياً، وهو عبارة عن مجموعة بيانات مُصطنعة تكون الحقيقة فيها معروفة بالتصميم. تخيل نمط موجة بسيط ومتكرر، مثل الارتفاع والانخفاض المستمر للمد والجزر. ثم قام الباحثون بإدخال لحظات محددة حيث توقفت الموجة فجأة واستقرت، وهو تغيير لا يمكن للنمط نفسه التنبؤ به. وفي هذه اللحظات تحديداً، أرفقوا ثلاثة أنواع من الملاحظات النصية: النوع الأول وصف بدقة الخط المستقيم القادم؛ والنوع الثاني وصف العكس تماماً، مدعياً أن الموجة ستستمر في الصعود أو الهبوط؛ أما النوع الثالث فقد قدم ملاحظات عامة وغامضة حول الموجة لا تقدم أي دليل عما سيحدث لاحقاً. ولأن الباحثين هم من صنعوا البيانات، فقد عرفوا بيقين مطلق أي الملاحظات كانت مفيدة، وأيها كانت ضارة، وأيها كانت عديمة الفائدة.
باستخدام هذه الحقيقة الأرضية المصنفة بدقة، اختبر الفريق ست أدوات رياضية مختلفة مصممة لقياس مقدار المعلومات التي توفرها قطعة من النص حول حدث مستقبلي. هذه الأدوات، المعروفة باسم "مقدرات المعلومات المتبادلة"، تهدف إلى العمل كفحص تشخيصي، لتخبر الباحث ما إذا كان التعليق النصي يستحق الجهد لإدراجه في النموذج. قام الباحثون بتغذية هذه الأدوات بالملاحظات الصحيحة والخاطئة وغير ذات الصلة ليروا ما إذا كانت الأدوات ستتمكن من تصنيفها بشكل صحيح. ووجدوا أن الأدوات تعمل بشكل جيد عموماً في تحديد الملاحظات المفيدة كالأكثر إخباراً. ومع ذلك، كشفت الدراسة أن ليست كل الأدوات متساوية؛ فبعض الأدوات الأكثر تعقيداً، القائمة على الشبكات العصبية، واجهت صعوبة عندما كانت الإشارة من النص ضعيفة، وغالباً ما أنتجت نتائج غير موثوقة أو سلبية. في المقابل، أثبتت الأدوات البسيطة والحتمية أنها أكثر متانة، حيث صنفت الملاحظات الصحيحة كأعلى الملاحظات إخباراً والملاحظات غير ذات الصلة كأدنى الملاحظات، حتى عندما اختلط النص بالضجيج.
ثم نقل الباحثون نتائجهم إلى العالم الحقيقي، حيث اختبروا هذه الأدوات نفسها على سبع مجموعات بيانات مختلفة تغطي الزراعة، والصحة العامة، والطاقة، والتمويل. وهنا، كان الوضع أكثر فوضوية. فخلافاً لموجتهم الاصطناعية، فإن البيانات في العالم الحقيقي صاخبة ومعقدة، والتعليقات النصية ليست دائماً مرتبطة زمنياً بدقة بالأحداث التي تصفها. أظهرت الدراسة أنه في هذه السيناريوهات الواقعية، غالباً ما تحمل النصوص معلومات عامة عن موضوع ما ولكنها ليست مرتبطة ارتباطاً وثيقاً باللحظة الزمنية المحددة المرفقة بها. فعلى سبيل المثال، قد يكون مقال إخباري عن الجفاف ذا صلة بإنتاج المحاصيل لعدة أشهر، لكن الأداة قد تجد صعوبة في تحديد اليوم الذي سيؤثر فيه الجفاف على الأرقام بالضبط. واكتشف الباحثون أنه بينما كانت النصوص تحتوي على معلومات مفيدة، فإن مجرد دمجها مع البيانات كان يجعل التنبؤات أسوأ بدلاً من أن يجعلها أفضل. لم تكن النصوص خاطئة دائماً، لكنها كانت غالباً منتشرة للغاية بحيث لا تساعد النموذج على التنبؤ بقيمة مستقبلية محددة.
بناءً على هذه التجارب، وضع الفريق مجموعة من القواعد العملية لأي شخص يحاول الجمع بين النصوص وبيانات السلاسل الزمنية. فهم يوصون باستخدام أدوات محددة ومستقرة لمراجعة النص قبل تدريب النموذج، بدلاً من الاعتماد على المقدرات العصبية المعقدة التي يمكن أن تكون غير مستقرة مع مجموعات البيانات الصغيرة. كما يقترحون أنه بدلاً من مجرد السؤال عما إذا كان النص مفيداً بشكل عام، يجب على الباحثين التحقق مما إذا كان النص مقترناً بالفعل بشكل صحيح باللحظة المحددة التي يصفها. وإذا كان هذا الاقتران ضعيفاً، فقد يكون من الأفضل ترك النص تماماً. وتخلص الدراسة إلى أنه بينما تعتبر فكرة الجمع بين الكلمات والأرقام أمراً قوياً، إلا أنها تتطلب نهجاً دقيقاً ومبنياً على أسس سليمة لضمان أن الكلمات تساهم حقاً في التنبؤ ولا تكتفي بمجرد إرباك الآلة. ومن خلال توفير طريقة لقياس القيمة الحقيقية للنص قبل بناء النموذج حتى، يقدم هذا العمل مساراً نحو أنظمة تنبؤ أكثر موثوقية وشفافية في المجالات التي يهم فيها الوصول إلى التنبؤ الصحيح أكثر من غيرها.
ملخص تقني: متى يكون النص معلوماتياً؟ قياس معايير مقاييس نظرية المعلومات للتنبؤ بالسلاسل الزمنية متعددة الوسائط
بيان المشكلة
يعد التنبؤ بالسلاسل الزمنية متعدد الوسائط، الذي يدمج الإشارات الرقمية مع التعليقات التوضيحية باللغة الطبيعية، بتقديم تنبؤات أغنى من خلال الاستفيد من السياق النصي. ومع ذلك، توجد فجوة حرجة في تحديد ما إذا كان تعليق نصي معين يساهم بشكل معنوي في دقة التنبؤ. في الممارسة العملية، قد يكون النص صحيحاً، أو خاطئاً، أو غير ذي صلة، ومع ذلك يفتقر الممارسون إلى طريقة منهجية لتدقيق جودة التعليقات قبل الالتزام بعمليات تدريب النماذج المكلفة.
تعتمد النهج الحالية على تقييم مقدرات المعلومات المتبادلة (MI) مقابل الحكم البشري على مجموعات بيانات من العالم الحقيقي. وهذا يخلق تبعية دائرية: حيث أن "الحقيقة الأرضية" لمحتوى المعلومات غير معروفة، مما يجعل من المستحيل التحقق بصرامة مما إذا كان مقدر المعلومات المتبادلة يحدد بدقة النص المعلوماتي. علاوة على ذلك، فإن معايير الاختبار الاصطناعية الحالية لتقدير المعلومات المتبادلة (مثل Czyż et al., 2023) تعمل على متغيرات عددية مستمرة ولا تأخذ في الاعتبار البنية الدلالية للغة الطبيعية أو الفئات المحددة لجودة التعليقات (صحيحة، خاطئة، غير ذات صلة).
لحل مشكلة غياب الحقيقة الأرضية، قدم المؤلفون MMTT-Bench (معيار السلاسل الزمنية النصية متعددة الوسائط). وهو عبارة عن مجموعة بيانات اصطناعية تم إنشاؤها باستخدام حقيقة أرضية "مثالية" فيما يتعلق بالمحتوى المعلوماتي.
توليد الإشارة: الإشارة الجوهرية هي موجة جيبية (sine wave) مع إدراج مقاطع ذات قيم ثابتة عشوائية (خطوط مسطحة عند y=−0.5)، تغطي حوالي 30% من المحور الزمني. تخلق هذه المقاطع المسطحة "حالات انتقالية" حيث لا توفر السلسلة الزمنية وحدها معلومات حتمية عن المستقبل، مما يجعل النص المصدر المهيمن للقيمة التنبؤية.
فئات التعليقات التوضيحية: عند كل نقطة تعليق، يتم إنشاء ثلاثة متغيرات نصية بناءً على الحالة المستقبلية المعروفة للإشارة:
صحيحة (Correct): تصف الانتقال القادم بدقة (على سبيل المثال، "الإشارة ستنخفض إلى قيمة ثابتة").
خاطئة (Incorrect): تصف عكس الحالة المستقبلية الحقيقية (على سبيل المثال، "الإشارة سترتفع"). ومن المهم ملاحظة أن 30% من التعليقات الخاطئة تستخدم نفس قوالب الانتقال المستخدمة في التعليقات الصحيحة، ولكن يتم توزيعها عشوائياً، مما يضمن أنها تحمل تبعية إحصائية (وإن كانت معكوسة) مع إشارة المستقبل.
غير ذات صلة (Irrelevant): تصف خصائص عامة للإشارة (مثل الدورية) دون تقديم أي معلومات اتجاهية أو تنبؤية.
تقسيم البيانات: تم تقسيم مجموعة البيانات زمنياً (62.5% تدريب، 18.75% تحقق، 18.75% اختبار) لمنع حدوث تسرب للبيانات (leakage).
2. إطار التقدير
تُقيم الدراسة ستة مقدرات للمعلومات المتبادلة (MI) متكاملة لقياس المساهمة الفريدة للنص (Xtext) في الإشارة المستقبلية (Y) بمعلومية السلسلة الزمنية (Xts). المقياس الأساسي للاهتمام هو المعلومات المتبادلة الشرطية: I(Xtext;Y∣Xts).
المقدرات التي تم تقييمها:
KSG (K-Nearest-Neighbor): غير معلمي، يعتمد على الكثافة.
MINE (Mutual Information Neural Estimator): يعتمد على تقدير الحد الأدنى عبر ناقد عصبي.
InfoNCE: يعتمد على تقدير الحد الأدنى عبر التعلم التبايني.
CCA (Canonical Correlation Analysis): يعتمد على افتراض التوزيع الطبيعي (Gaussian)، وهو دقيق في حالة الخطية.
PID (Partial Information Decomposition): يفكك المعلومات المشتركة إلى ذرات فريدة، وفائضة، وتآزرية.
V-Information: يقيس المعلومات التي يمكن استغلالها بواسطة عائلة تنبؤية محددة (انحدار Ridge)، ويُبلغ عنها كـ ΔR2.
خط معالجة التمثيل: يتم تضمين النص باستخدام نماذج متنوعة (مثل DistilRoBERTa) وتقليله عبر تحليل المكونات الرئيسية (PCA). يتم ترميز مدخلات السلسلة الزمنية. تم ضبط خط المعالجة لضمان ترتيب قوي لتقديرات المعلومات المتبادلة عبر الفئات.
3. استراتيجية التحقق
التحقق الاصطناعي: تم اختبار المقدرات على MMTT-Bench لمعرفة ما إذا كانت تصنف الفئات بشكل صحيح: الصحيحة > الخاطئة > غير ذات الصلة.
الارتباط في المهام اللاحقة: يتم ربط تقديرات المعلومات المتبادلة بمتوسط مربع الخطأ (MSE) لـ 14 بنية نموذج مختلفة (بما في ذلك المحولات/Transformers ومنظمات بسيطة) تم تدريبها على المجموعات المعنية.
التحقق من العالم الحقيقي: تم توسيع النتائج لتشمل سبعة مجالات من Time-MMD وعشرة أسهم من FinTexTS. وبما أن هذه البيانات تفتقر إلى الحقيقة الأرضية المثالية، استخدم المؤلفون "تباينات المحاذاة" (مقارنة النص المقترن بشكل صحيح مقابل النص غير المتوافق) لتقييم ما إذا كان النص مرتبطاً بطوابع زمنية محددة.
النتائج الرئيسية
1. أداء المقدرات على البيانات الاصطناعية
دقة التصنيف: نجحت جميع المقدرات الستة في تحديد النص الصحيح كأكثر النصوص معلوماتية.
التمييز:
نجحت CCA و V-Information و PID باستمرار في تصنيف الخاطئة > غير ذات الصلة، مما أكد أن النص الخاطئ (الذي يصف غالباً إشارة معكوسة) لا يزال يحمل تبعية إحصائية.
واجه KSG و PID صعوبة في التمييز بين الخاطئة وغير ذات الصلة في بعض التكوينات، حيث أعطيا قيماً متقاربة جداً، ويرجع ذلك على الأرجح إلى الطبيعة المتوسطة للمقدرات غير العصبية التي تفشل في التقاط التبعيات ذات الإشارة المعكوسة.
كانت المقدرات العصبية (MINE, InfoNCE) حساسة للغاية للإشارة المعكسة، حيث اكتشفت التبعية في النص الخاطئ بشكل أقوى من الطرق غير العصبية. ومع ذلك، أظهرت تبايناً عالياً وعدم استقرار في الإشارات الضعيفة.
مشكلات المعلومات المتبادلة الشرطية: أنتج KSG بشكل متكرر قيم معلومات متبادلة شرطية سالبة عندما تكون المعلومات المتبادلة الهامشية (I(Xts;Y)) كبيرة، وذلك بسبب طرح تقديرين منحازين. لم تظهر CCA و V-Information هذه المشكلة.
2. الارتباط مع الأداء في المهام اللاحقة
يوجد ارتباط إيجابي قوي بين تقديرات المعلومات المتبادلة الشرطية وأداء التنبؤ اللاحق (MSE).
برزت CCA كأكثر الأدوات موثوقية للتدقيق، حيث أظهرت أعلى ارتباط سبيرمان (∣ρ∣≈0.90–1.00) بين درجات المعلومات المتبادلة وأداء النماذج عبر مختلف البنيات.
نجحت المقاييس في تحديد أن المجموعة التي تحتوي على 100% من النصوص الصحيحة تعطي أفضل أداء، وأن حتى التلوث الصغير (مثل 25% من النصوص غير ذات الصلة) يؤدي إلى تدهور الأداء بشكل يمكن التنبؤ به.
3. نتائج العالم الحقيقي
الإشارات الضعيفة: في مجموعات بيانات العالم الحقيقي (Time-MMD, FinTexTS)، حيث تكون السلاسل الزمنية نفسها غالباً قابلة للتنبؤ بدرجة عالية (ارتفاع R2)، تكون المعلومات المتبادلة الشرطية للنص صغيرة.
أوجه فشل المقدرات:
انهار MINE إلى تقديرات قريبة من الصفر أو سالبة.
أظهر InfoNCE تبايناً عالياً جداً.
أنتج KSG مرة أخرى قيماً شرطية سالبة.
ظلت CCA و V-Information و PID مستقرة ورتبت الفئات بشكل صحيح.
تباينات المحاذاة: في مجموعات بيانات العالم الحقيقي، وُجد أن النص يحمل معلومات قابلة للقياس في المجموع، ولكنه غالباً لم يكن مرتبطاً بالطابع الزمني المحدد الذي أُلحق به. كان "تباين المحاذاة" (الفرق بين الاقتران الصحيح والاقتران غير المتوافق) غير قابل للتمييز إحصائياً عن الصفر لمعظم الأزواج، مما يشير إلى أنه بينما يكون النص ذا صلة موضوعية، فإنه لا يوفر قدرة تنبؤية زمنية دقيقة.
الأهمية والتوصيات
تثبت الورقة أن مقاييس نظرية المعلومات يمكن أن تعمل كأداة تشخيصية منهجية قبل التدريب للتنبؤ بالسلاسل الزمنية متعددة الوسائط، بشرط اختيار المقدر المناسب. يطلق المؤلفون MMTT-Bench وجميع الأكواد البرمجية لتمكين التقييم القابل للتكرار.
التوصيات العملية:
الزوج الافتراضي للتدقيق: استخدم CCA و V-Information. فهما حتميان، ولا يتطلبان تدريباً، ويحققان قاعدة السلسلة (لتجنب المعلومات المتبادلة الشرطية السالبة)، ويظهران أعلى ارتباط بأداء المهام اللاحقة.
المقدرات العصبية: استخدم MINE أو InfoNCE فقط عندما تكون أحجام العينات (N) كبيرة والمعلومات المتبادلة الشرطية المتوقعة كبيرة. فهي غير موثوقة في الإشارات الضعيفة الشائعة في بيانات العالم الحقيقي.
محدودية KSG: لا تستخدم KSG لحساب المعلومات المتبادلة الشرطية عندما تكون المعلومات الهامشية للسلسلة الزمنية كبيرة، لأن ذلك يؤدي إلى تقديرات سالبة.
استخدام PID: استخدم PID فقط عندما يكون المتغير المستهدف له بنية منفصلة قابلة للتفسير؛ وإلا فإن خيارات التقسين (binning) ستؤدي إلى حساسية تعسفية.
التباينات المقترنة: يفضل مقارنة المعلومات المتبادلة الشرطية بنسخة مشوشة أو غير متوافقة من نفس المجموعة (تباين المحاذاة) بدلاً من المقارنة مع الصفر. هذا يلغي انحياز المقدر ويساعد في تحديد ما إذا كان النص مرتبطاً فعلياً بطابع زمني محدد.
تخلص هذه الدراسة إلى أنه بينما يعد دمج النصوص أمراً واعداً، فإن قيمتها متغيرة للغاية. إن التدقيق الموثوق قبل التدريب باستخدام مقاييس مثل CCA يمكن أن يمنع دمج النصوص المضللة أو غير ذات الصلة، مما يغير كيفية بناء الأنظمة متعددة الوسائط في المجالات عالية المخاطر مثل الرعاية الصحية والتمويل.