SIMANF: Sample Free Learning of Unnormalized Distributions via Simulated Annealing in Normalizing Flows

في المشهد الواسع للعلوم الحديثة، من سلوك الذرات في التفاعل الكيميائي إلى الأنماط المعقدة للحظات الكون الأولى، غالبًا ما يواجه الباحثون عقبة مشتركة: فهم يعرفون القواعد التي تحكم نظامًا ما، لكنهم لا يستطيعون رؤية الصورة الكاملة بسهولة. غالبًا ما تُكتب هذه القواعد في شكل خريطة طاقة، وهي مشهد رياضي تمثل فيه القمم العالية حالات غير مرجحة والوديان العميقة حالات مرجحة. التحدي يكمن في أن المساحة الإجمالية لهذه الخريطة — ثابت التطبيع اللازم لتحويل هذه القواعد إلى احتمال كامل — غالبًا ما يكون من المستحيل حسابها مباشرة. لفهم النظام، يحتاج العلماء إلى أخذ عينات ممثلة، أي زيارة نقاط مختلفة على هذه الخريطة لرؤية كيف تبدو. الطرق التقليدية للقيام بذلك، والتي تعتمد على المسارات العشوائية، غالبًا ما تتعثر في وادٍ واحد أو تستغرق وقتًا طويلاً جدًا للقفز بين القمم البعيدة بحيث تصبح العملية غير عملية، خاصة عندما تحتوي الخريطة على العديد من الوديان المنفصلة والأبعاد العالية.

لحل هذه المشكلة، تم تطوير نهج جديد يسمى SIMANF، والذي يقدم طريقة لتعلم هذه المناظر المعقدة دون الحاجة إلى زيارتها أولاً. بدلاً من محاولة رسم الخريطة بأكملها مرة واحدة، يبني هذا الأسلوب جسرًا من نقطة بداية بسيطة وسلسة إلى الهدف المعقد. يستخدم تقنية تُعرف باسم "التلدين المحاكي" (simulated annealing)، وهي تشبه تبريد مادة منصهرة تدريجيًا لتترك هيكلها يستقر في أكثر أشكالها استقرارًا. من خلال تحويل توزيع بسيط وسهل الفهم تدريجيًا إلى التوزيع المستهدف الصعب والمتعدد القمم، يقوم الأسلوب بتدريب نموذج مرن لاتباع هذا المسار خطوة بخطوة. يسمح هذا للنموذج باستكشاف المناظر الطبيعية بأكملها، والعثور على جميع الوديان المنفصلة دون الوقوع في فخ واحد فقط، ثم صقل فهمه ليتطابق مع الهدف بدقة عالية. والنتي النتيجة هي نظام يمكنه توليد عينات دقيقة من توزيعات معقدة للغاية وعالية الأبعاد باستخدام قواعد الطاقة فقط، دون الحاجة مطلقًا إلى بيانات مسبقة من التوزيع نفسه.

تتمثل الصعوبة الجوهرية في هذا المجال في أن العديد من المشكلات العلمية تتضمن توزيعات ذات أنماط (قمم) متعددة ومتميزة، تفصل بينها مساحات شاسعة وفارغة. إذا حاول خوارزم تعلم ملاءمة نموذج مباشرة لهذا الهدف، فإنه غالبًا ما يعاني من "انهيار النمط" (mode collapse)، حيث يتجاهل معظم القمم ويركز فقط على الأسهل في العثور عليه. يحدث هذا لأن الطريقة القياسية لتدريب هذه النماذج، والتي تقلل الفرق بين النموذج والهدف، تشجع النموذج على تركيز كتلته الاحتمالية على الميزات الأكثر وضوحًا مع إهمال البقية. وبينما توجد طرق أخرى تحاول إصلاح ذلك باستخدام عينات من الهدف لتوجيه التعلم، فإن تلك المقاربات تعيد غالبًا نفس الاختناق الحسابي الذي يحاول الباحثون تجنبه: التكلفة العالية لتوليد تلك العينات الأولية.

العلماء وراء SIMANF، فيكاس كاناوجيا من جامعة ماهيندرا، اقترحوا حلاً يتجنب هذا الفخ تمامًا. إطار عملهم، الذي يرمز إلى "التعلم الخالي من العينات للتوزيعات غير الموحدة عبر التلدين المحاكي في التدفقات الطبيعية" (Sample Free Learning of Unnormalized Distributions via Simulated Annealing in Normalizing Flows)، لا يتطلب أي عينات من توزيع الهدف خلال مرحلة التدريب. بدلاً من ذلك، يعتمد فقط على دالة الطاقة غير الموحدة، وهي القاعدة الرياضية التي تحدد المشهد. تبدأ العملية بإنشاء سلسلة من التوزيعات الوسيطة التي تعمل كأحجار عثرة (خطوات انتقالية). التوزيع الأول في هذه السلسلة هو نسخة ممهدة للغاية من الهدف، حيث يتم تسطيح حواجز الطاقة بين القمم، مما يجعل من السهل على النموذج استكشاف المساحة بأكملها. ومع تقدم التدريب، يتم توجيه النموذج تدريجيًا عبر سلسلة من المراحل حيث يصبح المشهد أكثر حدة وتفصيلاً، ليصل في النهاية إلى توزيع الهدف الأصلي والمعقد.

في كل مرحلة من هذه الرحلة، يتعلم النموذج من المرحلة السابقة، حاملًا معه ما اكتشفه. يضمن انتقال المعرفة هذا أن النموذج لا يفقد فهمه الواسع للمشهد أثناء تركيزه على التفاصيل الد أدق. تم وزن هدف التدريب بعناية لموازنة الحاجة إلى تغطية جميع الأنماط المختلفة مع الحاجة إلى التقاط شكل الهدف بدقة. بمجرد أن يجتاز النموذج مسار التلدين هذا، يتم تطبيق خطوة صقل نهائية. تجمع هذه الخطوة بين نهج التدريب الأولي وتقنية تستخدم العينات التي ولدها النموذج بالفعل لتحسين دقته بشكل أكبر. يسم هذا للنموذج بتصحيح أي انحيازات متبقية وضمان توزيع الكتلة الاحتمالية بشكل صحيح عبر جميع القمم، وليس فقط القمم الأكثر هيمنة.

تم اختبار فعالية هذه الطريقة على نوعين من التوزيعات الصعبة. الأول كان توزيع "متعدد الآبار" (Many-Well)، وهو مشهد اصطناعي مصمم ليكون به وديان عميقة متعددة. في الاختبارات مع ثمانية أبعاد، مما خلق 16 نمطًا منفصلاً، وستة عشر بُعدًا، مما خلق 256 نمطًا، تفوق SIMANF باستمرار على الأساليب الرائدة الأخرى. حقق معدل خطأ أقل في مطابقة التوزيع المستهدف، وولد عينات كانت أكثر استقلالية وتمثيلًا من الأساليب المنافسة. على سبيل المثال، في اختبار الستة عشر بُعدًا، أنتج SIMANF عينات ذات حجم فعال أعلى بكثير من الطرق الأخرى، مما يشير إلى أنه كان يستكشف المشهد بأكمله بنجاح بدلاً من التعثر في بقع قليلة.

تضمن الاختبار الثاني توزيعًا من نظرية الحقل القياسي، وهو مفهوم يُستخدم في الفيزياء لوصف الحقول على شبكة. اختبر الباحثون الطريقة على شبكات بحجم 8×8 و 10×10، مما يمثل 64 و 100 بُعد على التوالي. في شبكة 8×8، حقق SIMANF مرة أخرى أدنى خطأ وأعلى كفاءة في أخذ العينات بين جميع الأساليب المختبرة. وفي الشبكة الأكثر صعوبة 10×10، حافظ على صدارته، مظهرًا قدرة أفضل بكثير على التقاط الهيكل المعقد للتوزيع مقارنة بالأساليب التي تعتمد على التدريب المباشر أو تقنيات أخذ العينات الأخرى. أظهرت النتائج أنه بينما نجحت بعض الأساليب في ملاءمة الكثافة جيدًا، إلا أنها فشلت في توليد عينات فعالة، في حين برع SIMAN في كلا المهمتين.

بعيدًا عن الدقة، أثبتت الطريقة أيضًا كفاءتها الحسابية. وبينما تتطلب عملية التلدين تدريب النموذج عبر مراحل متعددة، فإن الوقت الإجمالي المطلوب كان أقل من بعض الأساليب المنافسة التي تعتمد على خطوات أخذ عينات تكرارية معقدة أثناء التدريب. بمجرد تدريب النموذج، يصبح توليد عينات جديدة سريعًا للغاية، حيث يتطلب فقط تمريرة أمامية واحدة عبر الشبكة. وهذا يجعل النهج مفيدًا بشكل خاص للمشكلات عالية الأبعاد حيث تكون السرعة والدقة أمرين بالغ الأهمية. تشير الدراسة إلى أن استراتيجية التلدين هذه تقدم توازنًا واعدًا بين تكلفة التدريب وجودة العينات النهائية، مما يوفر أداة قوية للعلماء الذين يحتاجون إلى فهم الأنظمة المعقدة دون رفاهية وجود بيانات مسبقة.

يوضح العمل أنه من خلال توجيه النموذج ببطء من البساطة إلى التعقيد، يمكن التغلب على قيود أساليب التعلم التقليدية. الرؤية الأساسية هي أن النهج المباشر لمشكلة صعبة غالبًا ما يؤدي إلى الفشل، لكن التقدم التدريجي والمنظم يسمح للنموذج ببناء تمثيل كامل ودقيق للهدف. تفتح هذه النتيجة الباب لاستكشاف أكثر كفاءة للمشاهد العلمية المعقدة، من سلوك الجزيئات إلى بنية الكون، باستخدام القواعد الأساسية التي تحكمها فقط.