Distillation of Foundation Models for Time-dependent PDEs
تقترح الورقة البحثية TREX، وهو إطار عمل لتقطير المعرفة يقوم بتوليد مسارات اصطناعية طويلة الأمد من النماذج التأسيسية المضبوطة دقيقاً لتدريب شبكات طالب مدمجة وفعالة للمعادلات التفاضلية الجزئية المعتمدة على الزمن، محققاً انخفاضات كبيرة في عدد المعلمات وزمن الاستجابة عند الاستدلال مع الحفاظ على دقة النموذج الأصلي أو تجاوزها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول التنبؤ بمستقبل نظام فوضوي، مثل عاصفة دوارة، أو نهر متدفق، أو الطريقة التي تنتشر بها الحرارة عبر لوح معدني. في عالم الفيزياء، تُوصف هذه الظواهر بمعادلات تسمى المعادلات التفاضلية الجزئية (PDEs). حل هذه المعادلات يشبه محاولة التنقل في متاهة حيث الجدران تتحرك باستمرار؛ وهو أمر صعب للغاية وعادة ما يتطلب أجهزة كمبيوتر خارقة لمعالجة الأرقام خطوة بخطوة. مؤخرًا، بنى العلماء "نماذج تأسيسية" (Foundation Models)—وهي عقول ذكاء اصطناعي ضخمة وشاملة تدربت على آلاف المسائل الفيزيائية المختلفة. يمكن لهذه العمالقة تعلم مهام جديدة بسرعة، لكنها ضخمة وبطيئة جدًا بحيث لا يمكن استخدامها في المهام التي تتطلب وقتًا حقيقيًا مثل التحكم في ذراع روبوت أو التنبؤ بالطقس في الثانية التالية. إنهم يشبهون أمين مكتبة عبقري ولكنه بطيء، يحتاج إلى قراءة كل كتاب في المكتبة قبل الإجابة على سؤال واحد.
السؤال الكبير هو: هل يمكننا تعليم طالب ذكاء اصطناعي صغير، سريع ورشيق، أن يفكر تمامًا مثل أمين المكتبة العملاق، دون الحاجة إلى جعل العملاق يقوم بكل العمل في كل مرة؟ هذا هو تحدي "تقطير المعرفة" (knowledge distillation). عادةً، لتعليم طالب، تحتاج إلى الكثير من الأمثلة. ولكن في العالم الحقيقي، قد لا نملك سوى لقطات قليلة من نظام ما (مثل بضع ثوانٍ من الفيديو من مستشعر) ولا نملك أي فكرة عن الظروف الأولية للسيناريوهات الأخرى. الورقة البحثية التي ستطالعها الآن تعالج هذه المشكلة تحديدًا: كيف نأخذ معلمًا بطيئًا وقويًا ونضغط حكمته في طالب صغير وسريع، حتى عندما لا نملك بيانات كافية لتدريب الطالب من الصفر.
قصة TREX: تعليم روبوت صغير التفكير مثل عملاق
تعرف على TREX (توسيع تدحرج المعلم - Teacher Rollout Extension). إنه أسلوب مبتكر وجديد ابتكره الباحث دانيال ميوزكامب وفريقه لحل مشكلة "العملاق البطيء". تخيل أن لديك طباخًا ماهرًا (النموذج التأسيسي) قام بطهي الملايين من الأطباق ويعرف بالضبط كيف تتغير النكهات بمرور الوقت. تريد تعليم متدرب شاب (نموذج الطالب) أن يطبخ بنفس الطريقة، لكن ليس لديك سوى ثلاث وصفات ووقت قصير جدًا للتعلم. إذا تركت المتدرب يتدرب فقط على تلك الوصفات الثلاث، فقد يعلق أو يرتكب أخطاءً عندما تتغير المكونات قليلًا.
المشكلة هي أن الطباخ الماهر بطيء جدًا لدره يطبخ كل وجبة ليراقبها المتدرب. ولا يمكنك ببساطة أن تطلب من الطباخ "تخيل" مكونات جديدة للبدء بها لأنك لا تعرف ما هي المكونات التي سيحتاجها المتدرب فعليًا للتعامل معها في العالم الحقيقي.
هنا يصبح TREX مبدعًا. بدلًا من انتظار الطباخ الماهر ليطبخ وجبات جديدة من الصفر، يسمح TREX للطباخ الماهر بأخذ الوصفات القليلة التي تملكها و"تدحرجها" (roll them out) نحو المستقبل. فكر في الأمر هكذا: يأخذ الطباخ الماهر وصفتك الوحية لصنع كعكة ويقول: "حسنًا، لنخبزها، ثم لنخبزها مرة أخرى، ومرة أخرى، ومرة أخرى، لمائة خطوة". هذا يخلق خطًا زمنيًا خيليًا طويلًا لكيفية تطور تلك الكعكة.
لكن هنا تكمن الخدعة: أحيانًا يصبح العالم الحقيقي فوضويًا. تهب رياح، أو تسقط ملعقة، أو ترتفع درجة الحرارة فجأة. لإعداد المتدرب لهذه الحالات، يقوم TREX أحيانًا بإضافة القليل من "الضجيج" (مثل هزة خفيفة أو رشة توابل عشوائية) على الكعكة أثناء قيام الطباخ الماهر بتدحرجها. بعد ذلك، يتعين على الطباخ الماهر معرفة كيفية إصلاح الكعكة ومواصلة الطهي من تلك الحالة الفوضوية. هذا يعلم المتدرب ليس فقط كيفية طبخ كعكة مثالية، بل وكيفية التعافي عندما تسوء الأمور.
النتيجة السحرية:
باستخدام هذه الطريقة، وجد الباحثون أنه يمكنهم تدريب نموذج طالب صغير أصغر بـ 3,604 مرة من المعلم العملاق. ومع ذلك، يمكن لهذا الطالب الصغير التنبؤ بمستقبل النظام الفيزيائي بدقة تماثل دقة العملاق. في الواقع، في بعض الاختبارات، كان الطالب أكثر دقة في التنبؤات طويلة المدى لأنه تعلم أن يكون أكثر استقرارًا ولم يرتبك بسبب الأخطاء الصغيرة كما فعل العملاق.
لماذا يهم هذا؟
النماذج العملاقة تشبه سيارة فيراري تستهلك جالونًا من الوقود لكل ميلين فقط — فهي سريعة في خط مستقيم لكنها مكلفة جدًا للتشغيل في المهام اليومية. نماذج الطلاب التي تم تدريبها باستخدام TREX تشبه سكوتر كهربائي موفر للوقود. إنها:
- سريعة: يمكنها تقديم تنبؤات أسرع بأكثر من 10 مرات من العملاق.
- خفيفة: تستخدم جزءًا ضئيلًا من ذاكرة الكمبيوتر (أقل بنحو 3.2 مرة).
- ذكية: يمكن بناؤها مع "قواعد فيزيائية" مدمجة في عقولها (مثل معرفة أنه إذا قمت بتدوير سائل، فيجب أن يدور فيزياء السائل معه)، وهو ما لم يتبعه النموذج العملاق بدقة.
ما الذي استبعده الباحثون:
تأكد الفريق من اختبار ما إذا كانوا يحتاجون حقًا لمعرفة "الظروف الأولية" (الحالة الدقيقة للبداية في الكون) لجعل هذا يعمل. وجدوا أنك لا تحتاج إلى معرفة التوزيع الكامل لحالات البداية. يمكنك فقط البدء بنقاط البيانات القليلة التي لديك وترك المعلم "يدحرجها" لبقية المسار. كما أظهروا أن مجرد نسخ إجابات المعلم ليس كافيًا؛ إذ إن "التدحرجات الضوضائية" (عمليات التدحرج الفوضوية والمزعزعة) ضرورية ليتعلم الطالب كيفية التعامل مع الفوضى في العالم الحقيقي.
ما مدى تأكدهم؟
لم يكتفِ الباحثون بالتخمين؛ بل أجروا حساباتهم على عدة مسائل فيزيائية مختلفة، بما في ذلك ديناميكا السوائل (مثل تدفق الماء) والغازات القابلة للانضغاط (مثل الهواء في محرك نفاث). واختبروا ذلك على اثنين من معلمي الذكاء الاصطناعي العمالقة (يُسميان Poseidon و Walrus) ووجدوا أن طريقة TREX أنتجت باستمرار طلابًا يضاهون أو يتفوقون على دقة المعلمين. حتى أنهم اختبروا ما يحدث إذا تمت إزالة "الضجيج" أو "البيانات الحقيقية" (ground truth)، وظلت الطريقة صامدة، رغم أنها تعمل بشكل أفضل مع وجود كليهما.
باخت اختصار، TREX هو وسيلة لأخذ الذكاء الفائق لنموذج ذكاء اصطناعي ضخم وتقطيره في أداة صغيرة وسريعة جدًا يمكنها العمل على أجهزة الكمبيوتر العادية، مما يجعل عمليات المحاكاة الفيزيائية في الوقت الحقيقي ممكنة لأشياء مثل التنبؤ بالطقس، والتصميم الهندسي، والتحكم في الروبوتات. إنه يشبه أخذ مكتبة من العباقرة واختزالها في دليل جيب واحد فائق الذكاء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.