Manifold Drift in Flow Preference Optimization: A Root Cause of Reward Hacking

ملخص تقني: انزياح المانيفولد (Manifold Drift) في تحسين تفضيلات التدفق

تعريف المشكلة: انزياح المانيفولد (Manifold Drift)
تحدد الورقة نمط فشل جوهري عند تطبيق تحسين التفضيل المباشر (DPO) على النماذج التوليدية ذات الزمن المستمر، وتحديداً "مطابقة التدفق" (Flow Matching - FM) ونماذج الانتشار (Diffusion Models). بينما يعد DPO فعالاً للنماذج المنفصلة (مثل النماذج اللغوية الكبيرة LLMs) عبر إعادة وزن احتمالات المخرجات، فإن النماذج المستمرة تولد عينات عن طريق نقل الضجيج على طول مسارات متعلمة نحو "مانيفولد" البيانات (Data Manifold).

يجادل المؤلفون بأن تحديثات التفضيل القياسية (مثل FlowDPO) تعدل ديناميكيات النقل هذه بطريقة لا تلتزم بطبيعتها بمانيفولد البيانات المدربة مسبقاً. يؤدي هذا إلى انزياح المنفولد (Manifold Drift)، وهي ظاهرة حيث تتحرك العينات النهائية للنموذج الذي تم ضبطه بدقة بعيداً عن دعم التوزيع المدرب مسبقاً ($\text{supp}(\mu_\theta) \not\subseteq M_0$).

• السبب النظري: نظرياً، تستعيد مطابقة التدفق المثلى توزيع البيانات النهائي. ومع ذلك، فإن تحديث التفضيل يُدخل خطوة تدرج (gradient step) حيث يكون لمكون الإزاحة النهائي غير صفري اتجاه عمودي على المانيفولد المدرب مسبقاً. هذا "الإزاحة خارج المانيفولد" (off-manifold displacement) تجعل النموذج يولد عينات، رغم أنها قد تسجل درجات أعلى في دالة مكافأة معينة (مثل دقة التعرف الضوئي على الحروف OCR)، إلا أنها تظهر عيوباً بصرية، أو تشوهات دلالية، أو تدهوراً في الدقة (fidelity).
• اختراق المكافأة (Reward Hacking): تفترض الورقة أن هذا الانزياح هو سبب جذري لاختراق المكافأة. فقد تحقق النماذج درجات عالية في المكافآت "غير المدركة للمانيفولد" (مثل صحة النص) من خلال توليد صور غير صالحة هندسياً أو خارج نطاق التوزيع، مما يسمح لها بتجاوز دالة المكافأة عبر الخروج من دعم البيانات الصالح.

المنهجية: THERMODPO
لمعالجة انزياح المانيفولد، يقترح المؤلفون THERMODPO، وهو هدف خاضع للتحكم في درجة الحرارة يعمل على ربط تحسين التفضيل بمانيفولد المدرب مسبقاً بشكل صريح.

1. الصياغة الديناميكية الحرارية: تصيغ الطريقة عملية المحاذاة كعملية توازن بين تعظيم المكافأة والحفاظ على المانيفولد، ويحكمها دالة درجة حرارة تعتمد على الزمن $\tau(t)$.
2. نظام ثلاثي الحالات: يقلل الهدف من سالب لوغاريتم احتمال العينة المفضلة ضمن نظام مكون من ثلاث حالات:
   • الحالة المفضلة ($E_w$)
   • الحالة المرفوضة ($E_l$)
   • حالة المرجع/الأساس ($E_b$)
     تُصاغ دالة الخسارة كالتالي:
     $$L_{\text{ThermoDPO}}(\theta) = \mathbb{E}\left[ -\tau(t) \cdot t^2 \cdot \log \frac{e^{E_w}}{e^{E_w} + e^{E_l} + e^{E_b}} \right]$$
3. الخصائص النظرية:
   • الاختزال إلى RFT: عندما تؤول درجة الحرارة $\tau \to 0$، ينهار الهدف إلى "ضبط إعادة أخذ العينات بالرفض" (Rejection Sampling Fine-Tuning - RFT)، والذي يفرض بصرامة إعادة بناء العينات المفضلة على المانيفولد.
   • FlowDPO المرتكز (Anchored FlowDPO): عندما تكون $\tau > 0$، يتفكك الهدف إلى حد FlowDPO موازن بدرجة الحرارة بالإضافة إلى حد إرساء (anchoring term) لجانب الفائز غير سالب. يقوم هذا الإرساء بمعاقبة الانحرافات عن المانيفولد المدرب مسبقاً بالنسبة للعينات المفضلة.
   • الحد الهندسي: نظرياً، يضع الخسارة حداً علوياً للمسافة المربعة للعينة المفضلة المعاد بناؤها إلى مانيفولد البيانات، مما يوفر ضماناً نقطياً ضد الانزياح.
4. التنفيذ العملي (THERMODPO-weighted): تتضمن الصيغة القياسية عاملاً قدره $t^2$ يضعف إرساء المانيفولد بالقرب من النهاية الطرفية ($t=0$)، حيث يكون الحفاظ أمراً بالغ الأهمية. ولحل ذلك، قدم المؤلفون THERMODPO-weighted، والتي تستبدل $t^2$ العالمي بـ $(1-t)^2$. هذا ينشط الإرساء ديناميكياً بالقرب من الزمن النهائي، مما يضمن الحفاظ القوي دون التضحية بالضمانات النظرية للهدف الأساسي.

المساهمات الرئيسية

• صياغة انزياح المانيفولد: تحدد الورقة رسمياً انزياح المانيفولد كنمط فشل حيث تترك مسارات الضبط الدقيق دعم النهاية الطرفية المدرب مسبقاً، وتحدد المكون العمودي غير الصفري للتحديث كشرط كافٍ لهذا الانزياح.
• إطار عمل THERMODPO: تقدم إطار عمل موحداً يربط بين "ضبط إعادة أخذ العينات بالرفض" (RFT) و FlowDPO، مع التحكم الصريح في المقايضة بين تعظيم المكافأة والحفاظ على المانيفولد.
• الضمانات النظرية: يقدم المؤلفون براهين تظهر اختزال THERMODPO إلى RFT في حد الحرارة المنخفضة، وتفككه إلى FlowDPO بالإضافة إلى حد إرساء غير سالب. كما يضعون حداً علوياً لمسافة المانيفولد للعينات المفضلة.
• التحقق التجريبي: من خلال تجارب نموذجية ومعايير الصور الحقيقية، تثبت الورقة أن THERMODPO-weighted يحقق توازناً متفوقاً بين محاذاة التفضيل وجودة العينات مقارنة بالطرق الموجودة.

النتائج

• الاختبار التجريبي (Toy Benchmark): على مانيفولد ثلاثي الأبعاد اصطناعي، حقق THERMODPO-weighted درجة StrictScore بلغت 0.899، متفوقاً بشكل كبير على FlowDPO (0.629) و FlowDPO+RFT (0.857). وبينما حقق FlowDPO القياسي معدلات "فوز" (Win) عالية، إلا أنه عانى من نسبة 0% في صلاحية "على المانيفولد" (OnManifold)، مما يؤكد فرضية الانزياح.
• توليد الصور الحقيقية (SD3.5-M): عند التقييم على مجموعة بيانات تفضيل OCR باستخدام Stable Diffusion 3.5-M:
  • حسن THERMODPO-weighted درجات OCR بنسبة 47.5% (عند CFGA=4.5) مقارنة بالنموذج المرجعي.
  • حقق تحسناً متوسطاً بنسبة 16.0% عبر أربعة مقاييس (GenEval, OCR, HPSv3.0, UniReward).
  • والأهم من ذلك، وعلى عكس متغيرات FlowDPO التي أظهرت تدهوراً ملحوستاً في الجودة وانخفاضاً في المقاييس الأخرى (GenEval, HPSv3.0)، حافظ THERMODPO-weighted على الدقة البصرية وكان منافساً في المقاييس التي لم يتم تحسينها مباشرة.
• FLUX.2-klein-base-4B: لوحظت توجهات مماثلة على بنية نموذج مختلفة، مما يعزز فعالية الطريقة عبر مختلف مولدات التدفق.

الأهمية والادعاءات
تدعي الورقة أن تحسين التفضيل في النماذج ذات الزمن المستمر يغير ديناميكيات النقل بشكل جوهري، وليس مجرد اختيار المخرجات. ومن خلال صياغة انزياح المانيفولد، يجادل المؤلفون بأن تجاهل هذه المشكلة الهيكلية يؤدي إلى اختراق المكافأة وتدهور جودة العينات. يُقدم THERMODPO كحل عملي يسمح بمحاذاة التفضيل دون التضحية بالسابقة التوليدية (generative prior) التي تعلمها النموذج أثناء التدريب المسبق. ويضع المؤلفون هذا العمل كخطوة ضرورية لضمان الموثوقية في أبحاث التوليد (الصور والفيديو) التي تعتمد على التدريب غير المتصل (offline)، بهدف جعل المولدات المحاذات أكثر موثوقية بدلاً من الادعاء بالجاهزية للاستخدام غير المقيد.