Chronicle: A Multimodal Foundation Model for Joint Language and Time Series Understanding
يُعد Chronicle نموذجًا مدمجًا من نوع المحولات المعتمدة على فك التشفين فقط (decoder-only transformer) بـ 324 مليون معلمة، تم تدريبه من الصفر على كل من اللغة الطبيعية والسلاسل الزمنية ضمن بنية موحدة، محققًا أداءً تنافسيًا في كلا المجالين وقدرات فائقة في التنبؤ متعدد الوسائط دون الاعتماد على التكيف اللاحق للنماذج اللغوية سابقة التدريب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك نوعين مختلفين تماماً من الخبراء في غرفة واحدة.
الخبير الأول هو محلل السلاسل الزمنية. إنه ساحر في مراقبة الأرقام التي تتغير بمرور الوقت — مثل أسعار الأسهم، أو أنماـط الطقس، أو أجهزة مراقبة معدل ضربات القلب. يمكنه التنبؤ بما سيحدث لاحقاً بمجرد النظر إلى شكل الخطوط. ومع ذلك، فهو أبكم؛ لا يستطيع قراءة الملاحظات، أو التقارير الإخبارية، أو الأوصاف التي غالباً ما ترافق هذه الأرقام.
الخبير الثاني هو عالم لغويات. إنه بارع في قراءة الكتب، وفهم القصص، والإجابة على الأسئلة. ولكن إذا سلمته جدول بيانات يحتوي على أرقام خام، فسيضيع تماماً. فهو لا يتحدث لغة "البيانات".
لفترة طويلة، حاول العلماء جعل هذين الخبيرين يعملان معاً عن طريق أخذ عالم اللغويات، وإعطائه دورة تدريبية مكثفة في الأرقام، والأمل في أن يفهم كليهما. تجادل الورقة البحثية بأن هذا يشبه محاولة تعليم سمكة تسلق الأشجار عبر إجبارها على ارتداء أحذية. فقد بُني عقل عالم اللغويات للكلمات، وليس لإيقاع الزمن، لذا كانت النتائج ركيكة وغير فعالة.
إليك "Chronicle".
قام مؤلفو هذه الورقة ببناء نوع جديد تماماً من الخبراء من الصفر. بدلاً من أخذ خبير لغوي موجود ومحاولة تعليمه الرياضيات، قاموا ببناء عقل واحد مدمج (نموذج بـ 324 مليون معلمة/parameter) تعلم كلتا اللغتين في آن واحد منذ اليوم الأول.
إليك كيف فعلوا ذلك، باستخدام بعض التشبيهات البسيطة:
1. نهج "الفصل الدراسي المشترك"
حاولت معظم النماذج السابقة دمج وحدة السلاسل الزمنية في نموذج لغوي. الأمر يشبه بناء منزل ثم محاولة إضافة مسبح عن طريق لصقه فوق السطح.
"Chronicle" مختلف. إنه يشبه بناء فصل دراسي واحد مشترك حيث الطلاب (البيانات) إما يقرأون كتاباً (نص) أو يراقبون تكتكة الساعة (سلسلة زمنية).
- المنهج الدراسي: خلال معظم فترة التدريب، يدرس الطلاب في مجموعات منفصلة. 92% من الوقت، يقرأون الكتب. 8% من الوقت، يدرسون الساعة.
- السحر: على الرغم من أنهم يدرسون بشكل منفصل، إلا أنهم يجلسون على نفس المقاعد ويستخدمون نفس الدفاتر (الـ "معلمات المشتركة"). وبحلول وقت تخرجهم، يكون الجزء "اللغوي" من العقل قد تعلم إيقاع الزمن، والجزء "الزمني" قد تعلم دقة اللغة، وكل ذلك دون الحاجة أبداً إلى لصقهما معاً.
2. لحاف "الرقع" (Patchwork)
لتعليم النموذج عن الزمن، لم يقم المؤلفون بتغذيته بالأرقام الخام واحداً تلو الآخر. بدلاً من ذلك، قطعوا السلسلة الزمنية إلى مربعات صغيرة، مثل رقع اللحاف.
- تخيل شريطاً طويلاً من القماش يمثل بيانات درجة الحرارة لمدة عام.
- قاموا بتقطيعه إلى قطع مدتها 32 يوماً (رقع/patches).
- يتم تحويل كل رقعة إلى "رمز" (token) واحد (وحدة تشبه الكلمة) يمكن للنموذج فهمها.
- يسمح هذا للنموذج برؤية "شكل" البيانات (هل هي في صعود؟ هل هناك ارتفاع مفاجئ؟) بنفس سهولة رؤيته للجملة.
3. التدريب "ثنائي المراحل"
حدث التدريب في مرحلتين:
- المرحلة الأولى (الأساسيات): تعلم النموذج كيفية قراءة الكتب والتنبؤ بالرقعة التالية من اللحاف بشكل منفصل. أصبح بارعاً جداً في كلتا المهمتين على حدة.
- المرحلة الثانية (المحادثة): قدموا كمية صغيرة من البيانات "المختلطة". تخيل أنك تظهر للنموذج صورة لسحابة عاصفة (رقعة اللحاف) وجملة "إنها تمطر" (النص) في نفس الوقت. هذا علم النموذج كيف ترتبط هذان النوعان من البيانات ببعضهما البعض، مما سمح له بفهم أن نمطاً معيناً في الأرقام يعني "المطر".
ماذا أثبتوا؟
تدعي الورقة أن نموذج "Chronicle" الجديد هو قوة ضاربة لثلاثة أسباب:
- إنه سيد ثنائي اللغة: إنه يفهم النصوص تماماً مثل غيره من النماذج اللغوية الصغيرة والمتخصصة (مثل Gemma-3 أو LLaMA) من نفس الحجم. لم يفقد قدرته على القراءة لمجرد أنه تعلم الرياضيات.
- إنه محترف في سرد الزمن: إنه يتنبأ بالأرقام المستقبلية بشكل أفضل من أي نموذج آخر ينظر فقط إلى الأرقام، رغم أنه يقضي معظم وقت تدريبه في قراءة النصوص.
- إنه الأفضل في المزج بينهما: عندما تعطيه النصوص والأرقام معاً (مثل تقرير إخباري عن انهيار في الأسهم بالإضافة إلى مخطط الأسهم)، فإنه يتنبأ بالمستقبل بشكل أفضل من أي نموذج سابق حاول الجمع بين الاثنين.
الخلاصة
تخلص الورقة إلى أنك لست بحاجة لإجبار نموذج لغوي على تعلم السلاسل الزمنية، أو نموذج سلاسل زمنية على تعلم اللغة. بدلاً من ذلك، يمكنك بناء أساس موحد يتعلم كليهما من الصفر.
فكر في الأمر كأنه مترجم عالمي لم يتعلم لغة ثانية عبر الترجمة كلمة بكلمة فحسب، بل من خلال النمو وهو يتحدث اللغتين في آن واحد. إنه يفهم "شعور" وسياق كلتا اللغتين، مما يجعله أكثر دقة بكثير من شخص تعلم قواعد النحو للغة ثانية في وقت لاحق من حياته.
ملاحظة: تركز الورقة حصرياً على قدرة النموذج على فهم وتصنيف والتنبؤ بالبيانات. وهي لا تدعي أن النموذج يُستخدم حالياً في المستشفيات، أو في قاعات التداول المالي، أو محطات الأرصاد الجوية، ولا تتنبأ بالتطبيقات السريرية المستقبلية. إنها خطوة بحثية تأسيسية تثبت أن هذه الطريقة المحددة لبناء الذكاء الاصطناعي تعمل بشكل أفضل من الطريقة القديمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.