🤖 machine learning

Efficient Training of Boltzmann Generators Using Off-Policy Log-Dispersion Regularization

تقدم هذه الورقة البحثية تنظيم تشتت اللوغاريتم خارج السياسة (LDR)، وهو إطار عمل مبتكر يعزز كفاءة البيانات وأداء مولدات بولتزمان من خلال الاستفادة من تسميات طاقة الهدف لتنظيم مشهد الطاقة دون الحاجة إلى عينات إضافية داخل السياسة.

المؤلفون الأصليون: Henrik Schopmans, Christopher von Klitzing, Pascal Friederich

نُشر 2026-08-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Henrik Schopmans, Christopher von Klitzing, Pascal Friederich

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التنبؤ بالطقس، ولكن بدلاً من مراقبة السحب، أنت تحاول معرفة كيف تتمايل وتلتوي جزيئة متناهية الصغر وغير مرئية داخل قطرة ماء. في عالم العلوم الحسابية، يعد هذا لغزاً هائلاً. فالجزيئات تشبه المتاهات المعقدة وعالية الأبعاد حيث يمكن أن تعلق في وديان عميقة (أشكال مستقرة) أو تتسلق تلالاً عالية (أشكال غير مستقرة). لفهم كيفية عمل الأدوية أو كيفية طي البروتينات، يحتاج العلماء إلى رسم خريطة لكل شكل ممكن يمكن أن يتخذه الجزيء، مع مراعاة احتمالية وجوده في كل شكل. وهذا ما يسمى بـ "أخذ العينات من توزيع بولتزمان".

المشكلة هي أن الجزيئات معقدة للغاية لدرجة أن الطرق التقليدية تشبه محاولة رسم خريطة لقارة كاملة عبر المشي خطوة بخ कदम واحدة في كل مرة. قد تقضي سنوات وأنت تمشي في دائرة حول جبل واحد، دون أن ترى الجانب الآخر منه أبداً. ولتسريع هذه العملية، يستخدم العلماء "مولدات بولتزمان". فكر في هذه المولدات كأجهزة انتقال آني (Teleporters) ذكية للغاية ومدعومة بالذكاء الاصطناعي. فبدلاً من المشي خطوة بخطوة، تتعلم هذه الأجهزة الخريطة ويمكنها "الانتقال آنياً" فوراً إلى أي شكل صالح يمكن أن يتخذه الجزيء. لكن هناك عقبة: تعليم هذه الأجهزة عملية مكلفة للغاية. ففي كل مرة يخمن فيها الذكاء الاصطناعي شكلاً ما، يتعين على الكمبيوتر حساب طاقته، وهو ما يشبه سؤال عراف (Oracle) بطيء ومكلف جداً عن سعر التذكرة. إذا احتاج الذكاء الاصطناعي إلى سؤال العراف ملايين المرات لتعلم الخريطة، فستصبح العملية بأكملها بطيئة جداً لدرجة تجعلها غير مجدية.

تقدم هذه الورقة البحثية حيلة ذكية لتعليم أجهزة الانتقال الآني هذه بسرعة أكبر بكثير، باستخدام طريقة تسمى "تنظيم تشتت اللوغاريتم خارج السياسة" (Off-Policy Log-Dispersion Regularization - LDR). فقد أدرك المؤلفون، هنريك شوبمانز، وكريستوفر فون كليتزينج، وباسكال فريدريش، أنه أثناء تعليم الذكاء الاصطناعي، كنا نتجاهل دليلاً ضخماً: وهي قيم الطاقة نفسها. عادةً، يتم إخبار الذكاء الاصطناعي فقط: "إليك بعض الأشكال التي اتخذها الجزيء؛ تعلم كيف تصنع مثلها". لكن الورقة تقترح نهجاً أفضل: "إليك بعض الأشكال، وإليك بالضبط تكلفة الطاقة لكل منها. تأكد من أن تخميناتك تطابق تلك التكاليف".

إنهم يقترحون "منظماً" جديداً، يشبه المدرب الذي يعطي الذكاء الاصطناعي ملاحظات إضافية. تخيل أنك تتعلم رسم منظر طبيعي؛ قد يقول لك معلم تقليدي: "ارسم شجرة هنا". لكن هذا المدرب الجديد يقول: "ارسم شجرة هنا، وتأكد من أن التظليل يطابق ارتفاع التل تماماً". إذا كان رسمك داكناً جداً أو فاتحاً جداً مقارنة بطاقة التل الحقيقية، فإن المدرب يعطيك دفعة لطيفة لتصحيح شكل رسمك. هذه "الدفعة" هي الـ LDR. وهي لا تتطلب من الذكاء الاصطناعي سؤال العراف لإجراء حسابات طاقة جديدة ومكلفة، بل تستخدم فقط تسميات الطاقة المتوفرة بالفعل من البيانات.

النتائج مثيرة للإعجاب حقاً. في اختباراتهم، وجد المؤلفون أن استخدام طريقة التدريب الجديدة هذه سمح للذكاء الاصطناعي بتعلم الخريطة بعدد أقل بكثير من حسابات الطاقة المكلفة. على سبيل المثال، عند التدريب على جزيء "ألانين دي ببتيد" (alanine dipeptide)، حققت الطريقة الجديدة نتائج عالية الجودة باستخدام مليون عينة فقط، بينما احتاجت الطرق القديمة إلى 5 ملايين عينة للحصول على جودة مماثلة. وفي اختبارات أكثر تحدياً مع جزيء أكبر (ألانين هيكساببتيد - alanine hexapeptide)، كان التحسن كبيراً لدرجة أن الذكاء الاصطناعي استطاع تعلم خريطة مستقرة باستخدام 10 أضعاف أقل من تقييمات الطاقة مقارنة بأفضل الطرق السابقة.

كما تظهر الورقة أن هذه الحيلة تعمل حتى عندما تكون البيانات "منحازة" (Biased) – أي عندما يُعرض على الذكاء الاصطناعي ركن صغير وغريب من عالم الجزيء فقط. عادةً، قد يجعل هذا الأمر الذكاء الاصطناعي مرتبكاً، لكن مدرب الـ LDR ساعده على فهم بقية الخريطة على أي حال. اختبر المؤلفون ذلك على أشكال ثنائية الأبعاد بسيطة وجزيئات ثلاثية الأبعاد معقدة، وفي كل حالة، تعلم الذكاء الاصطناعي بشكل أسرع وارتكب أخطاءً أقل. حتى أنهم أظهروا أنه يعمل عندما يتعين على الذكاء الاصطناعي التعلم دون رؤية أي أشكال حقيقية للجزيء، بالاعتماد فقط على حسابات الطاقة.

باختصار، هذه الورقة لا تخترع نوعاً جديداً من الجزيئات أو قانوناً فيزيائياً جديداً. بدلاً من ذلك، هي تخترع طريقة أفضل لتعليم الذكاء الاصطناعي كيفية قراءة الخريطة الموجودة بالفعل. ومن خلال استخدام تسميات الطاقة كـ "منظم للشكل"، يقترح المؤلفون أننا نستطيع جعل عملية محاكاة الجزيئات أكثر كفاءة بمقدار عشرة أضعاف. وهذا يعني أنه في المستقبل، قد يتمكن العلماء من تصميم أدوية جديدة أو فهم العمليات البيولوجية المعقدة بشكل أسرع، لأن الحواسيب التي تقوم بالعمل الشاق لن تضطر إلى طلب المساعدة من العراف المكلف في كل مرة. إن هذه الطريقة مرنة، وتعمل مع أنواع مختلفة من البيانات ومن أنواع مختلفة من نماذج الذكاء الاصطناعي، مما يشير إلى أنها يمكن أن تصبح أداة قياسية لأي شخص يحاول محاكاة العالم المجهري.

ملخص تقني: التدريب الفعال لمولدات بولتزمان باستخدام تنظيم تشتت اللوغاريتم خارج السياسة (Off-Policy Log-Dispersion Regularization)

1. بيان المشكلة

يمثل أخذ العينات من كثافات الاحتمالات غير المعيرة، وتحديداً توزيع بولتزمان للأنظمة الفيزيائية، تحدياً جوهرياً في الفيزياء والكيمياء الحسابية. يتم تعريف التوزيع المستهدف كـ $p_X(x) = \tilde{p}_X(x)/Z$ ، حيث $\tilde{p}_X(x) = \exp(-E(x)/k_B T)$ هي الكثافة غير المعيرة، و $E(x)$ هي دالة الطاقة، و $Z$ هو ثابت المعايرة غير القابل للتقدير (intractable).

بينما تعتبر الطرق الكلاسيكية مثل الديناميكا الجزيئية (MD) ومونتي كارلو لسلاسل ماركوف (MCMC) صحيحة تقاربياً، إلا أنها غالباً ما تعاني من بطء في الاختلاط (mixing) وتكاليف حسابية عالية بسبب المسارات الطويلة والمترابطة، لا سيما في الأنظمة عالية الأبعاد أو المعقدة طاقياً. توفر مولدات بولتزمان (BGs) بديلاً للنمذجة التوليدية، مما يتيح أخذ عينات مستقلة من التوزيعات المتوازنة. ومع ذلك، فإن فائدتها العملية مقيدة بـ كفاءة البيانات. تعتمد أهداف التدريب القياسية عادةً على:

عينات التوازن من التوزيع المستهدف (والتي غالباً ما تكون مكلفة في توليدها عبر MD).
تقييمات طاقة مكثفة في الإعدادات التباينية (variational settings).

غالباً ما تفشل النهج الحالية في الاستفادة الكاملة من تسميات طاقة الهدف المتاحة أثناء توليد مجموعة البيانات، أو أنها تتطلب عينات إضافية "داخل السياسة" (on-policy) وتقييمات طاقة إضافية لدمج هذه المعلومات بفعالية.

2. المنهجية: تنظيم تشتت اللوغاريتم خارج السياسة (LDR)

يقترح المؤلفون تنظيم تشتت اللوغاريتم خارج السياسة (LDR)، وهو إطار عمل يدمج معلومات طاقة الهدف في تدريب مولدات بولتزمان دون الحاجة إلى عينات إضافية "داخل السياسة" أو تقييمات طاقة إضافية.

المفهوم الجوهري

يعتمد هذا الأسلوب على هدف تباين اللوغاريتم، المستخدم تقليدياً في التدريب التبايني داخل السياسة. يعرّف المؤلفون دالة $f_\theta(x)$ تمثل الفرق بين كثافة النموذج السالبة واللوغاريتم السالب لكثافة الهدف (أوزان الأهمية غير المعيرة):
$f_\theta(x) = -\log q_\theta^X(x) - (-\log \tilde{p}_X(x)) = -\log q_\theta^X(x) - \frac{E(x)}{k_B T}$
عند الوصول إلى الحالة المثلى، حيث $q_\theta^X = p_X$ ، يجب أن تكون $f_\theta(x)$ ثابتة ( $\log Z$ ).

هدف تشتت اللوغاريتم

يعمم المؤلفون هدف تباين اللوغاريتم إلى عائلة من أهداف تشتت اللوغاريتم:
$\mathcal{L}_\theta^{LD} = \mathbb{E}_{r_X} \left[ \rho(f_\theta(x) - c_\theta) \right], \quad c_\theta = \mathbb{E}_{r_X}[f_\theta(x)]$
حيث $\rho(u) \geq 0$ هو مقياس تشتت (مثل $|u|^p$ )، و $r_X$ هو توزيع مرجعي.

LDR-L2 ( $p=2$ ): يقلل التباين (العزم المركزي الثاني)، مما يستعيد هدف تباين اللوغاريتم القياسي.
LDR-L1 ( $p=1$ ): يقلل العزم المركزي المطلق الأول. يفترض المؤلفون أن هذا المتغير أقل حساسية للقيم الشاذة للطاقة ويوفر استقراراً أكبر في التحسين، وهو أمر بالغ الأهمية نظراً للطبيعة ذات الذيول الثقيلة لأوزان الأهمية في تضاريس الطاقة عالية الأبعاد.

استراتيجية التنظيم خارج السياسة (Off-Policy)

هناك رؤية نظرية حاسمة (الملحق A) مفادها أنه إذا كان التوزيع المرجعي $r_X$ (على سبيل المثال، مجموعة بيانات ثابتة) لا يمتلك دعماً كاملاً (full support) عبر فضاء التكوينات، فإن تقليل هدف تشتت اللغاريتم وحده ليس تباعداً (divergence)؛ فهو يفشل في تقييد النموذج خارج نطاق البيانات، مما يؤدي إلى معايرة غير صحيحة.

لحل هذه المشكلة، يُطبق LDR كـ منظم (regularizer) جنباً إلى جنب مع هدف قائم على البيانات (مثل Forward KL، أو Flow Matching، أو Score Matching):
$\mathcal{L}_\theta = \lambda_{data}\mathcal{L}_\theta^{data} + \lambda_{LD}\mathcal{L}_\theta^{LD}$

الحد القائم على البيانات: يضمن المعايرة العالمية والتقارب نحو التوزيع المستهدف الصحيح.
حد LDR: يعمل كمنظم للشكل (shape regularizer)، حيث يقوم بمحاذاة توزيع الاقتراح مع تضاريس طاقة الهدف من خلال تقليل تشتت أوزان الأهمية اللوغاريتمية على نطاق البيانات.

يسمح هذا النهج باستخدام توزيعات مرجعية عشوائية، بما في ذلك بيانات المحاكاة المنحازة أو مجموعات البيانات الملحقة ببيانات الطاقة، دون الحاجة إلى تقييمات طاقة إضافية أثناء التدريب.

3. المساهمات الرئيسية

التكيف مع الإعداد خارج السياسة (Off-Policy): قام المؤلفون بتكييف هدف تباين اللوغاريتم من التدريب التبايني داخل السياسة إلى إعداد خارج السياسة، باستخدامها كمنظم على مجموعات بيانات ثابتة موسومة بالطاقة.
التعميم إلى تشتت اللوغاريتم: قاموا بتعميم هدف التشتت إلى عائلة من خسائر تشتت اللوغاريتم، مقدمين نسخة L1 (LDR-L1) توفر استقراراً أفضل ضد القيم الشاذة مقارنة بنسخة L2 القياسية.
قابلية التطبيق الواسعة: تم إثبات فعالية المنهج عبر ثلاثة أنظمة تدريب متميزة:
- التدريب على بيانات توازن غير منحازة.
  $\text{Biased simulation data}$ (عبر الاستفادة من أخذ العينات بالأهمية والبيانات المختلطة).
- التدريب التبايني الصرف دون الوصول إلى عينات مستهدفة (باستخدام تقييمات طاقة الهدف فقط).
التكامل مع أحدث التقنيات: تم دمج الطريقة بنجاح مع Constrained Mass Transport (CMT)، وهو أحدث ما توصل إليه العلم في التدريب التبايني، مما أدى إلى تحسين كفاءتها بشكل كبير.

4. النتائج التجريبية

قيم المؤلفون LDR على عدة اختبارات مرجعية، بما في ذلك نموذج خليط غاوسي ثنائي الأبعاد (GMM)، والألانين دي ببتيد ( $d=60$ )، والألانين هيكسابيبتيد ( $d=180$ ). تم قياس الأداء باستخدام السلبية اللوغاريتمية (NLL) وحجم العينة الفعال (ESS).

النتائج الرئيسية:

البيانات غير المنحازة: في مجموعات البيانات غير المنحازة، حسن LDR كلاً من NLL و ESS بشكل كبير. بالنسبة لـ Alanine Dipeptide، حقق LDR أداءً مع $1 \times 10^6$ عينة تفوق على التدريب غير المنظم مع $5 \times 10^6$ عينة، مما يشير إلى تحسن بمقدار 5 أضعاف في كفاءة البيانات.
البيانات المنحازة: عند التدريب على مجموعات بيانات منحازة (تم توليدها عبر مسارات قصيرة)، حقق تطبيق LDR على مجموعة بيانات التوازن المعاد أخذ عيناتها ( $D_{IS}$ ) ومجموعة البيانات المنحازة الأصلية مكاسب جوهرية. مكن LDR من تدريب نماذج عالية الأداء باستخدام $1 \times 10^5$ عينة أهمية فقط بالإضافة إلى بناء مجموعة البيانات المنحازة الأولية، بينما تطلبت النماذج المرجعية غير المنظمة أكثر من 10 أضعاف من عينات الأهمية.
التدريب التبايني (بدون عينات مستهدلة): في الإعداد التبايني الصرف باستخدام CMT، قلل LDR من عدد تقييمات طاقة الهدف المطلوب بنحو رتبة مقدار واحدة (order of magnitude). بالنسبة لـ Alanine Dipeptide، حقق CMT + LDR أداءً مشابهاً لـ CMT القياسي باستخدام $1 \times 10^7$ تقييم فقط بدلاً من $1 \times 10^8$ . بالنسبة لـ Alanine Hexapeptide، منع LDR انهيار النمط (mode collapse) في الحالات التي فشل فيها vanilla CMT (حقق >30% ESS مقابل <6% لـ vanilla CMT).
الإحداثيات الكارتيزية: تكررت المكاسب عند التدريب مباشرة على الإحداثيات الكارتيزية باستخدام TarFlow، مما يؤكد أن الفوائد ليست مرتبطة بتمثيلات الإحداثيات الداخلية.
الاستقرار: وفر LDR-L1 ديناميكيات تدريب أكثر استقراراً (تباين أقل في معيار التدرج) من LDR-L2، خاصة في الأنظمة عالية الأبعاد ذات أوزان الأهمية ذات الذيول الثقيلة.

5. الأهمية والادعاءات

يزعم البحث أن LDR يوفر إطار عمل بسيطاً وقوياً لدمج معلومات طاقة الهدف في تدريب مولدات بولتزمان. تكمن أهميته الأساسية في:

كفاءة البيانات: يحسن باستمرار الأداء النهائي وكفاءة البيانات عبر سيناريوهات متنوعة، وغالباً ما يقلل من عدد العينات أو تقييمات الطاقة المطلوبة برتبة مقدار كاملة.
المرونة: قابل للتطبيق على نطاق واسع، حيث يدعم التدريب غير المنحاز، والمنحاز، والتدريب التبايني الصرف دون الحاجة إلى عينات إضافية "داخل السياسة" أو تقييمات طاقة إضافية.
التكامل: يشير المؤلفون إلى أن LDR مكمل لتقنيات تقليل التباين الحالية مثل "تدرجات المسار" (path gradients) (التي تستخدم تدرجات الهدف)، حيث يستفيد LDR من قيم طاقة الهدف (المعلومات من الدرجة صفر).

يؤكد المؤلفون أنه بينما لا يلغي LDR الاعتماد على حجم مجموعة البيانات، إلا أنه يخفف بشكل كبير من الحاجة إلى مجموعات بيانات ضخمة عن طريق زيادة المعلومات المستخرجة من كل عينة. تم تصميم الإطار ليكون من السهل دمجه في خطوط تدريب النماذج الانسيابية (normalizing flows) الحالية، ومن المحتمل أيضاً في المولدات القائمة على الانتشار (diffusion-based generators).