Gradient-Free Noise Optimization for Reward Alignment in Generative Models

ملخص تقني: ZeNO (تحسين الضجيج من الدرجة صفر)

بيان المشكلة
تعتمد طرق محاذاة المكافأة الحالية للنماذج التوليدية (مثل نماذج الانتشار والتدفق) عادةً على تحسين المسارات العشوائية متعددة الخطوات. ورغم فعاليتها في هذه الإعدادات، إلا أن هذه النهج يصعب توسيعها لتشمل المولدات الحتمية أو أحادية الخطوة (مثل نماذج الاتساق، ونماذج الانتشار المقطرة)، والتي لا تظهر بشكل طبيعي نفس هيكل المسار. وهناك بديل طبيعي يتمثل في تحسين ضجيج المدخلات مباشرة. ومع ذلك، فإن تحسين الضجيج القائم على التدرج التقليدي يتطلب الانتشار العكسي (backpropagation) عبر كل من المولد ودالة المكافأة، مما يحد من إمكانية التطبيق في سلاسل العمل غير القابلة للتفاضل، كما يمكن أن يكون غير موثوق عندما تعكس التدرجات حساسيات محلية زائفة بدلاً من تحسينات دلالية ذات معنى. علاوة على ذلك، فإن العديد من دوال المكافأة العملية (مثل قابلية تصميم البروتينات، أو المحاذاة بين النص والصورة التركيبية) هي دوال غير قابلة للتفاضل أو "صندوق أسود"، مما يجعل الأساليب القائمة على التدرج غير ممكنة.

المنهجية: ZeNO
يقترح المؤلفون ZeNO (تحسين الضجيج من الدرجة صفر)، وهو إطار عمل خالٍ من التدرج يصيغ تحسين الضجيج كمسألة تحكم بالتكامل المساري (path-integral control - PIC). الفكرة الجوهرية هي التعامل مع تطور ضجيج المدخلات كعملية عشوائية قابلة للتحكم، وتحسينها باستخدام تقييمات المكافأة من الدرجة صفر فقط.

1. صياغة التحكم بالتكامل المساري:
   يصيغ الأسلوب تحسين الضجيج كمعادلة تفاضلية عشوائية (SDE) محكومة. الهدف هو توجيه مسار الضجيج نحو المناطق التي تحقق حالات نهائية عالية المكافأة مع تنظيم جهد التحكم. ويتم اشتقاق التحكم الأمثل $u^*(z, t)$ في شكل تكامل مساري:
   $$u^*(z, t) = \frac{\mathbb{E}_{z:t \to T} [\exp(r(G_\theta(z_T))/\lambda) d w_t]}{\mathbb{E}_{z:t \to T} [\exp(r(G_\theta(z_T))/\lambda)]}$$
   ومن الأهمية بمكان أن هذا المقدر يعتمد فقط على تقييمات التكلفة النهائية (المكافآت) ولا يتطلب التفاضل عبر المولد $G_\theta$ أو دالة المكافأة $r$.

2. الديناميكيات المرجعية (عملية أورنشتاين-أولينبيك):
   لضمان بقاء الضجيج المحدث متوافقًا مع المولدات المدربة مسبقًا، يتبنى ZeNO عملية أورنشتاين-أولينبيك (OU) كديناميكيات مرجعية. وخلافًا لمعادلات SDE ذات التباين المتفجر، تحافظ عملية OU على التوزيع الغاوسي المستقر $N(0, I)$، والذي يطابق التوزيع القبلي لمعظم المولدات المدربة مسبقًا. هذا الاختيار يربط تحديث الضجيج بديناميكيات لانجفان (Langevin dynamics) التي تستهدف ضمنيًا توزيعًا مائلًا بالمكافأة $p^*(z) \propto p(z) \exp(r(G_\theta(z))/\lambda)$.

3. المقدر الخطي وتقليل التباين:
   يعاني مقدر التكامل المساري القياسي من تباين مرتفع بسبب الوزن الأسي. يقدم المؤلفون تقريبًا خطيًا (Proposition 1) عن طريق طرح متوسط المكافأة $\bar{r}$ كخط أساس، وخطيّة الحد الأسي تحت فرضية صغر تباين المكافأة:
   $$u^*(z_t, t) \approx \mathbb{E}[(r(G_\theta(z_T)) - \bar{r}) d w_t] / \lambda$$
   يتطابق هذا المقدر مع مقدر دالة الدرجة (score function estimator) المستخدم في استراتيجيات التطور الطبيعي (Natural Evolution Strategies) ويتفوق تجريبيًا على المتغيرات الأسية.

4. الأفق المتراجع أحادي الخطوة:
   لتجنب التكلفة الحسابية لعمليات التمرير طويلة الأفق، يستخدم ZeNO تقريب الأفق المتراجع أحادي الخطوة ($H=1$). في كل تكرار، يتم أخذ عينات من $N$ من مرشحات الضجيج المضطربة من الديناميكيات المرجعية، وتقييمها بواسطة نموذج المكافأة، ويُستخدم تقدير التحكم الخطي لتحديث حالة الضجيج الحالية. وهذا يسمح بالتوسع في وقت الاستدلال عن طريق زيادة عدد الجسيمات ($N$) أو التكرارات ($M$) دون تعديل المولد.

المساهمات الرئيسية

• محاذاة خالية من التدرج: يتيح ZeNO محاذاة المكافأة للمولدات الحتمية وأحادية الخطوة دون الحاجة إلى الانتشار العكسي عبر المولد أو نموذج المكافأة.
• التوافق مع الصندوق الأسود: المنهج قابل للتطبيق على دوال المكافأة غير القابلة للتفاضل وصناديق الأسود، وهي بيئة تفشل فيها أساليب تحسين الضجيج القائمة على التدرج (مثل ORIGEN و $\Psi$-Sampler).
• الارتباط النظري: يؤسس الإطار رابطًا نظريًا بين تحسين الضجيج من الدرجة صفر وأخذ عينات لانجفان التي تستهدف توزيعًا مائلًا بالمكافأة، مما يوفر تبريرًا مبدئيًا لقاعدة التحديث.
• التوسع في وقت الاستدلال: يقدم ZeNO آلية مرنة للمقايضة بين الميزانية الحسابية (عبر $N$ و $M$) وبين تحسين أداء المكافأة.

النتائج التجريبية
قيم المؤلفون ZeNO عبر مولدات متنوعة (SDXL-Turbo, DMD2, LCM, DFGAN) ودوال مكافأة مختلفة (درجة الجمالية، PickScore، GenEval، وقابلية تصميم البروتين).

• توليد الصور: يحسن ZeNO درجات المكافأة باستمرار عبر جميع المولدات وأنواع المكافآت المختبرة. وقد حقق أداءً تنافسيًا أو متفوقًا مقارنة بالنماذج المرجعية القائمة على التدرج (ORIGEN, $\Psi$-Sampler) وعينات Best-of-N. ومن الملاحظ أنه في مولد LCM، أدت الطرق القائمة على التدرج إلى تدهور الأداء دون المستوى الأساسي غير المتحكم به، بينما حافظ ZeNO على التحسن، مما يسلط الض الضوء على قوة أساليب الدرجة صفر ضد الحساسيات التدرجية المحلية.
• المكافآت غير القابلة للتفاضل: في مهمة GenEval (عد الأشياء وتحديد مواقعها)، حيث تكون المكافآت غير قابلة للتفاضل، تفوق ZeNO على Best-of-N في مهام العد، مما يثبت أن تحسين الضجيج التكراري يستخلص قيمة أكبر من نفس الميزانية الحسابية مقارنة بالعينات المستقلة.
• توليد بنية البروتين: عند تطبيقه على مولد هيكل بروتيني من نوع Riemannian MeanFlow (RMF) أحادي الخطوة، حسن ZeNO قابلية التصميم بشكل كبير (مقاسة بـ self-consistency RMSD). لقد حقق مستويات تصميم تضاهي نموذج RMF المكون من 5 خطوات باستخدام تقييم تدفق واحد فقط، مما يثبت قدرته على تعويض نقص خطوات أخذ العينات عبر تحسين الضنيج.
• التنوع: يشير التحليل باستخدام Vendi Score إلى أن ZeNO يحسن المكافأة مع الحفاظ على تنوع العينات، متجنبًا الانهيار إلى نمط واحد (mode collapse) الذي غالبًا ما تسببه الأساليب القائمة على التدرج.

الأهمية والادعاءات
يزعم البحث أن ZeNO يوفر حلاً عمليًا ومبررًا نظريًا لمحاذاة الفئة المتنامية من النماذج التوليدية الفعالة والحتمية وأحادية الخطوة مع دوال المكافأة. تكمن أهميته الأساسية في قدرته على العمل في البيئات التي تكون فيها التدرجات غير متاحة أو غير موثوقة، مثل نماذج المكافأة "الصندوق الأسود" أو مهام التصميم البيولوجي المعقدة. من خلال صياغة تحسين الضجيج كمسألة تحكم بالتكامل المساري، يقدم ZeNO إطارًا قابلاً للتوسع وغير مرتبط بمولد معين (generator-agnostic) للمحاذاة في وقت الاستدلال دون الحاجة إلى إعادة تدريب أو تعديل النموذج التوليدي الأساسي. ويشير المؤلفون إلى قيد واحد: يتطلب الأسلوب تقييمات متعددة للمكافأة في كل خطوة تحديث، مما قد يكون مرهقًا حسابيًا إذا كان نموذج المكافأة نفسه مكلفًا.