Why we should condition denoising diffusion generative models on windows of past observations

إن التنبؤ بالطقس هو سباق مستمر ضد الزمن والفوضى. يعتمد خبراء الأرصاد الجوية على عملية تسمى "استيعاب البيانات" لدمج القياسات الجديدة من الأقمار الصناعية والمحطات الأرضية مع النماذج الحاسوبية للغلاف الجوي. فكر في هذه العملية مثل عداء يجب عليه باستمرار التحقق من موقعه مقابل خريطة أثناء الركض؛ فإذا توقف عن التحقق، فسوف ينحرف عن المسار. في التنبؤ التقليدي بالطقس، تحدث عملية التحقق هذه في دورة صارمة: يتم وضع توقع، ثم تصل بيانات جديدة، ثم يتم تصحيح التوقع، ويتم إنشاء توقع جديد للحظة التالية. تعمل هذه الدورة لأن النموذج الحاسوبي يتذكر كل ما حدث منذ آخر عملية تحقق، مستخدمًا ذلك التاريخ لبناء تخمين أفضل للمستقبل. ومع ذلك، فإن جيلاً جديداً من أدوات الذكاء الاصطناعي، وتحديداً نوع من النماذج يُعرف باسم "نموذج الانتشار"، قد واجه صعوبة في مواكبة هذه الدورة. هذه الأدوات المعتمدة على الذكاء الاصطناعي بارعة في تعلم الأنماط من كميات هائلة من البيانات التاريخية، لكنها عادة ما تتعامل مع تلك البيانات كلقطة ثابتة. فهي لا تتذكر بطبيعتها تسلسل الأحداث الذي أدى إلى اللحظة الحالية، مما يتسبب في وقوع أخطاء أكبر من الطرق التقليدية.

اكتشف الباحثان ماتياس مورزفيلد ودانيال هوديس طريقة لإصلاح مشكلة الذاكرة هذه دون إجبار الذكاء الاصطناعي على إعادة تعلم كل شيء من الصفر في كل مرة تكون فيها هناك حاجة إلى توقع جديد. فقد وجدا أنه من خلال تدريب نماذج الذكاء الاصطناعي هذه على النظر إلى نافذة قصيرة من الملاحظات الماضية — بدلاً من مجرد الملاحظة الأخيرة الوحيدة — يمكن لهذه النماذج أن تحقق نفس الدقة العالية للأنظمة المعقدة التي تعمل بالدورات المستخدمة اليوم. إن عملهما، الذي تم اختباره على تمثيل رياضي مبسط للغلاف الجوي، يظهر أن الذكاء الاصطناعي لا يحتاج إلى تذكر التاريخ بأكمله للطقس؛ بل يحتاج فقط إلى تذكر الخطوات القليلة الأخيرة. تتيح هذه الرؤية للذكاء الاصطناعي العمل بكفاءة، متجنباً التكلفة الحسابية الباهظة لإعادة التدريب المستمر، مع الاستمرار في التقاط المعلومات الأساسية اللازمة لتقديم تنبؤات دقيقة.

يكمن التحدي الجوهري في كيفية بناء نماذج الذكاء الاصطناعي هذه. تعمل نماذج الانتشار القياسية من خلال التعلم من مجموعة بيانات ضخمة، حيث تحفظ جوهرياً شكل نمط الطقس النموذجي. وبمجرد تدريبها، يمكنها توليد سيناريوهات طقس جديدة وواقعية. ومع ذلك، عند استخدامها للتنبؤ، تعتمد هذه النماذج عادةً على "أولوية" (prior)، وهي توقع عام لما يجب أن يكون عليه الطقس قبل رؤية أحدث البيانات. في نظام الدورات التقليدي، يتم تحديث هذا التوقع باستمرار؛ حيث يصبح أفضل تخمين للأمس هو نقطة البوام لليوم. أما في إعداد الذكاء الاصطناعي القياسي، فيظل التوقع ثابتاً، بناءً على عقود من متوسط الطقس. هذا المنظور الثابت يتجاهل سلسلة الأحداث المحددة التي أدت إلى العاصفة أو موجة الحر الحالية، مما يؤدي إلى نتائج أقل دقة. أدرك الباحثون أنه لجعل نماذج الذكاء الاصطناعي هذه تعمل من أجل التنبؤ، كان عليهم منحها شكلاً من أشكال الذاكرة قصيرة المدى.

لاختبار هذه الفكرة، أنشأ المؤلفون نموذجاً خطياً مبسطاً للغلاف الجوي. إنه نسخة رياضية "لعبة" من العالم الحقيقي، مصممة لتكون سهلة التحليل ولكنها معقدة بما يكفي لإظهار كيفية تدفق المعلومات. لقد وضعوا نوعين مختلفين من أنظمة الذكاء الاصطناعي: الأول صُمم لتقدير الحالة الراهنة للغلاف الجوي بناءً على مجموعة من الملاحظات، وهي مهمة تُعرف باسم "استيعاب البيانات". والثاني صُمم للتنبؤ بما ستكون عليه الملاحظة التالية، وهي مهمة تُسمى "التنبؤ بالملاحظة المباشرة". وفي كلتا الحالتين، قاموا بتدريب النماذج بطريقتين: واحدة حيث ينظر الذكاء الاصطناعي إلى أحدث ملاحظة فقط، وأخرى حيث ينظر الذكاء الاصطناعي إلى نافذة منزلقة من الملاحظات الماضية.

كانت النتائج واضحة وحاسمة. عندما تم تدريب نماذج الذكاء الاصطناعي لتنظر فقط إلى أحدث نقطة بيانات، كانت تنبؤاتها أقل دقة بشكل ملحوظ. لقد تصرفت كما لو أنها نسيت كل ما حدث قبل لحظات وجيزة. ومع ذلك، عندما تم تدريب النماذج لتأخذ في الاعتبار نافذة من الملاحظات الماضية، تحسن أداؤها بشكل كبير. في عمليات المحاكاة، بمجرد أن وصلت نافذة البيانات الماضية إلى طول معين — حوالي تسع خطوات زمنية في إعدادهم الخاص — انخفضت معدلات الخطأ إلى نفس مستوى نظام الدورة الكامل المثالي الذي يتذكر كل شيء. حدث هذا على الرغم من أن نموذج الذكاء الاصطناعي نفسه لم يتم إعادة تدريبه بين الدورات؛ فقد استخدم ببساطة نافذة من البيانات الماضية كمدخل ثابت، محاكياً بذلك ذاكرة النظام التقليدي دون العبء الحسابي الثقيل.

كما استكشف الباحثون ما يحدث عندما تستخدم هذه النماذج الشبكات العصبية، وهي الهياكل المعقدة الشبيهة بالدماغ التي تشغل الذكاء الاصطناعي عادةً. ووجدوا أنه حتى مع العيوب المتأصلة في تدريب الشبكة العصبية، ظلت فائدة استخدام نافذة من الملاحظات الماضية قائمة. كانت النماذج ذات نافذة الذاكرة أكثر دقة باستمرار من تلك التي لا تملكها. وهذا يشير إلى أن التحسن ليس مجرد صدفة ناتجة عن إعداد رياضي مثالي، بل هو متطلب أساسي لعمل أدوات الذكاء الاصطنا هذه بشكل جيد في التنبؤ. تؤكد الدراسة أن تأثير الملاحظات الماضية على حالة الطقس الحالية يتلاشى بسرعة، تماماً مثل تلاشي تموجات في بركة ما. لذلك، لا يحتاج نموذج الذكاء الاصطناعي إلى ذاكرة غير محدودة؛ بل يحتاج فقط إلى تذكر الماضي القريب ليكون فعالاً.

يتحدى هذا الاكتشاف افتراضاً طال أمده في هذا المجال. فلعقود من الزمن، كان النهج القياسي هو الإصرار على دورة صارمة وتكرارية حيث يتم تحديث النموذج خطوة بخطوة، ونقل التاريخ بأكمله إلى الأمام. ويجادل المؤلفون بأن هذا الالتزام الصارم قد لا يكون ضرورياً لأنظمة الذكاء الاصطناعي. فمن خلال استخدام نافذة ثابتة من البيانات الماضية، يمكن لهذه النماذج تحقيق دقة تقارب الدقة المثالية دون الحاجة إلى إعادة التدريب المكثفة والمتكررة التي يتطلبها نظام الدورة الحقيقي. وهذا يفتح الباب أمام متنبئات طقس أكثر كفاءة وقوة من الذكاء الاصطناعي يمكنها التعلم من الماضي دون أن تثقل كاهلها التكلفة الحسابية لتذكر كل تفصيل صغير.

تتطرق الدراسة أيضاً إلى الآثار الأوسع لكيفية تفكيرنا في التنبؤ بالطقس. فهي تشير إلى أن "نموذج الدورة" (cycling paradigm)، الذي هيمن على علم الأرصاد الجوية لأكثر من ستين عاماً، قد يكون قابلاً للتكيف مع عصر الذكاء الاصطناعي. وبينما تعتمد الأنظمة التقلية على تحديثات صغيرة وتدريجية للبقاء دقيقة، يمكن لأنظمة الذكاء الاصطناعي ذات القدرات غير الخطية الكاملة التعامل مع قفزات أكبر في المعلومات. وهذا يسمح بإعادة استخدام الملاحظات الماضية بطريقة لم تكن مستحبة سابقاً، شريطة استخدامها ضمن نافذة مختارة بعناية. وتشير الأبحاث إلى أن المفتاح لإطلاق العنان للإمكانات الكاملة لأدوات الذكاء الاصطناعي هذه ليس في إجبارها على محاكاة الأساليب القديمة بدقة، بل في منحها النوع الصحيح من الذاكرة — نظرة قصيرة ومركزة على الماضي القريب — تسمح لها بالتعلم والتنبؤ بنفس دقة الأنظمة التقليدية الأكثر تقدماً.

في النهاية، يوفر العمل الذي قام به مورزفيلد وهوديس مخططاً عملياً للجيل القادم من التنبؤ بالطقس. فهو يثبت أنه من خلال ربط هذه النماذج التوليدية القوية بنافذة من الملاحظات الماضية، يمكننا التغلب على ميلها الطبيعي للنسيان. هذا التعديل البسيط يحولها من مجرد أدوات لمطابقة الأنماط إلى أدوات تنبؤ ديناميكية قادرة على مضاهاة دقة الأنظمة الأكثر تطوراً المستخدمة حالياً. إن المسار إلى الأمام ليس في بناء نماذج أكبر وأكثر تعقيداً تحاول تذكر كل شيء، بل في بناء نماذج أذكى تعرف بالضبط مقدار ما تحتاجه من الماضي لتصيب المستقبل.