ملخص تقني: مطابقة الطاقة ذات الهدف الثابت (CTEM)

بيان المشكلة

يُعد تقدير الكثافة مهمة أساسية في النمذجة الاحتمالية، ومع ذلك، غالبًا ما تكون المنهجيات الحالية مجزأة بسبب طبيعة فضاء الحالة. تعتمد الطرق المستمرة عادةً على مطابقة السكور (score matching) (تعلم $\nabla \log \rho$)، والتي تستغل الهياكل التفاضلية ولكنها غير معرفة في الفضاءات المنفصلة. وعلى العكس من ذلك، فإن الامتدادات المنفصلة غالبًا ما تستخدم الفروق المحدودة أو نسب الكثافة (على سبيل المثال، $\rho(\tilde{z})/\rho(z)$). ورغم أن هذه المقاربات المنفصلة قد طورت المجال، إلا أنها تعاني من عدم الاستقرار العددي. وتحديدًا، فإن نسب الكثافة العادية تكون غير محدودة وتصبح سيئة التكيّف بالقرب من حالات الاحتمالية المنخفضة، وهي مشكلة تتفاقم في الفضاءات المنفصلة المتناثرة والمجالات ذات المتغيرات المختلطة. أما العلاجات الموجودة، مثل أهداف "السكور-إنتروبي" (score-entropy) أو بارامترات الحالة الماصة، فهي غالبًا ما تكون مرتبطة ارتباطًا وثيقًا بهندسات محددة لفضاء الحالة أو عمليات الإفساد (corruption)، مما يفتقر إلى هدف موحد قابل للتطبيق عبر المجالات المستمرة والمنفصلة والمختلطة.

المنهجية

تقدم الورقة البحثية مطابقة الطاقة ذات الهدف الثابت (CTEM)، وهو إطار عمل موحد قائم على الطاقة مصمم لتقدير كثافات الاحتمال على فضاءات الحالة العامة (المستمرة، والمنفصلة، والمختلطة).

المفهوم الجوهري

تستبدل CTEM عملية الانحدار لنسب الكثافة العادية غير المحدودة بـ نسبة كثافة معدلة ومحدودة. تعتمد الطريقة على الهوية التالية (التمهيدية 1)، التي تربط فرق لوغاريتم الكثافة بتحويل الظل الزائدي (hyperbolic tangent) المحدود:
$$\tanh\left(\frac{\log \rho(z) - \log \rho(\tilde{z})}{2}\right) = \frac{\rho(z) - \rho(\tilde{z})}{\rho(z) + \rho(\tilde{z})}$$
بدلاً من تعلم النسبة مباشرة، تقوم CTEM بتعلم جهد قياسي $f_\theta \approx \log \rho + C$ عن طريق مطابقة الفرق المحول للنموذج مع نسبة الهدف.

اختزال الهدف الثابت

يتمثل التحدي الحرج في تعلم القائم على الطاقة في أن نسبة الهدف $\frac{\rho(z) - \rho(\tilde{z})}{\rho(z) + \rho(\tilde{z})}$ تعتمد على كثافة البيانات المجهولة $\rho$. تحل CTEM هذه المعضلة من خلال حجة التماثل (النظرية 1). فمن خلال تعريف هدف مطابقة مرجح بالكثافة عبر أزواج من الحالات $(z, \tilde{z})$ باستخدام وزن مقارنة متماثل $\omega(z, \tilde{z})$، يوضح المؤلفون أن حدود الكثافة المجهولة تُلغي بعضها البعض جبريًا.

يؤدي هذا الاختزال إلى هدف تدريب يعتمد على العينات فقط مع هدف انحدار ثابت قدره 1:
$$L_\omega(\theta) = \mathbb{E}_{z \sim P, \tilde{z} \sim \omega(\cdot|z)} \left[ \left( \tanh\left(\frac{f_\theta(z) - f_\theta(\tilde{z})}{2}\right) - 1 \right)^2 \right]$$
تتجنب هذه الصيغة التقدير الصريح لنسب الكثافة غير المستقرة. ويستعيد الجهد المتعلم $\log \rho$ حتى ثابت مضاف في كل مكون متصل من فضاء الحالة الناتج عن بنية المقارنة.

النماذج التطبيقية

• المتغيرات المستمرة: يتم إنشاء وزن المقارنة $\omega$ عبر اضطرابات اتجاهية محلية (كروية) أو نوى غاوسية متماثلة. يتحكم معامل القياس $\epsilon$ في نصف قطر المقارنة ولكنه لا يغير هدف الطاقة النهائي، على عكس مطابقة السكور لإزالة الضجيج حيث يحدد مستوى الاضطراب الهدف.
• المتغيرات المنفصلة: تُعرف المقارنات عبر جيران مستندين إلى الرسم البياني (مثل تغيرات مسافة هامينج-1) أو عمليات إفساد موحدة عالمية.
• الفضاءات المختلطة: يمتد إطار العمل بشكل طبيعي إلى فضاءات الضرب من خلال الجمع بين نوى المقارنة المستمرة والمنفصلة.

المساهمات الرئيسية

1. إطار عمل موحد: توفر CTEM بارامترية موحدة للجهد القياسي ومبدأ تدريب مشترك للفضاءات المستمرة والمنفصلة والمختلطة، مما يسمح بالنمذجة الاحتمالية متعددة الأنماط دون الحاجة لدوال خسارة خاصة بكل مجال.
2. اشتقاق هدف مستقر: تشتق الورقة خسارة تباينية من هوية نسبة كثافة معدلة. هذا الهدف يعتمد على العينات، ويتجنب الانحدار إلى نسب غير محدودة، ولا يرتبط بحد الاضطراب اللانهائي، مما يسم يسمح بضبط مقياس المقارنة من أجل الاستقرار بدلاً من تقليل الانحياز.
3. التحقق التجريبي: تم التحقق من صحة إطار العمل عبر اختبارات متنوعة، مما أظهر أداءً فائقًا في استعادة الكثافة، وتقدير السكور، وجودة أخذ العينات مقارنة بالنماذج المنافسة.

النتائج التجريبية

قيم المؤلفون CTEM عبر ثلاث فئات من المهام:

• تقدير الكثافة المستمرة: في اختبارات ثنائية الأبعاد (Spiral, 2-Gaussian, Banana, Two Rings) وفي مجموعات غاوس عالية الأبعاد (10-D و 30-D)، حققت CTEM أدنى متوسط خطأ تربيعي (MSE) لاستعادة الكثافة، وأدنى تباعد فيشر (Fisher divergence) لاستعادة السكور. وقد تفوقت بشكل ملحوظ على مقدرات كثافة النواة (KDE)، وRealNVP، وNeural Spline Flows، خاصة في الدعم ذي البنية الهندسية أو المنفصل.
• تقدير الكثافة المنفصلة: في توزيعات الألعاب المكممة ثنائية الأبعاد (moons, swissroll, 8-Gaussians)، قللت CTEM من مسافة التباين الكلي (TV) وتشتت KL مقارنة بـ Concrete Score Matching (CSM) وSEDD. وفي مجموعة بيانات MNIST الثنائية، ولدت CTEM عينات أرقام يمكن التعرف عليها باستخدام طاقة مشروطة بالضجيج وأخذ عينات Metropolis–Hastings، محققة درجة تعرّف المصنف (top-1) تبلغ 0.929 (مقارنة بـ 0.992 للبيانات الحقيقية).
• الفضاءات المختلطة (مستمرة-منفصلة): في فضاء ضرب $\mathbb{R}^2 \times \{0, \dots, 15\}$، نجحت CTEM في استعادة طاقة متوافقة عالميًا، حيث التقطت بدقة كلاً من التوزيع المختلط العالمي والبنية الشرطية المرتبطة بكل تسمية منفصلة.

الأهمية والادعاءات

تزعم الورقة أن CTEM تقدم مسارًا مستقرًا وموحدًا لتقدير الكثافة يتجاوز الفصل التقليدي بين النمذجة التوليدية المستمرة والمنفصلة. ومن خلال تحويل تقدير الكثافة إلى مشكلة مطابقة طاقة مستقرة ذات هدف ثابت، تتجنب CTEM الهشاشة العددية لطرق النسبة.

يضع المؤلفون CTEM كخطوة نحو هدف تدريب مشترك للنمذجة التوليدية متعددة الأنماط. ويشيرون إلى أنه بينما يحسن الأسلوب الاستقرار واستعادة الكثافة، فإنه لا يعالج بعد حجم نماذج اللغة الكبيرة الحديثة أو التوليد متعدد الوسائط، كما أنه لا يقترح عينة (sampler) جديدة أسرع مصممة خصيصًا لهدف الهدف الثابت. يشير العمل إلى أن مبدأ الهدف الثابت قد يوفر أساسًا مفيدًا لتعلم دالة السكور الأكثر استقرارًا في بيئات البيانات غير المتجانسة.