💻 computer science

ConsistentRFT: Reducing Visual Hallucinations in Flow-based Reinforcement Fine-Tuning

تقدم هذه الورقة ConsistentRFT، وهو إطار عمل عام يخفف من الهلوسة البصرية في الضبط الدقيق القائم على التدعيم المتدفق عبر معالجة قضايا الاستكشاف المحدود ومحاكاة المسار من خلال آلية تدحرج الحبيبية الديناميكية وتحسين تدرج السياسة المتسق.

المؤلفون الأصليون: Xiaofeng Tan, Jun Liu, Yuanting Fan, Bin-Bin Gao, Xi Jiang, Xiaochen Chen, Jinlong Peng, Chengjie Wang, Hongsong Wang, Feng Zheng

نُشر 2026-02-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiaofeng Tan, Jun Liu, Yuanting Fan, Bin-Bin Gao, Xi Jiang, Xiaochen Chen, Jinlong Peng, Chengjie Wang, Hongsong Wang, Feng Zheng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فناناً موهوباً (مولد صور بالذكاء الاصطناعي) بارع جداً في رسم الصور بناءً على أوصافك. ومع ذلك، عندما تطلب منه "رسم لاعب بيسبول يرمي الكرة"، فإنه أحياناً يصبح مهووساً بملمس العشب أو غرز الخياطة على الكرة لدرجة أنه ينسى أن اللاعب يحمل في الواقع مضرباً، أو قد يضيف بالخطأ ذراعاً ثالثة. يُسمى هذا الهلوسة البصرية (Visual Hallucination).

تقدم الورقة البحثية طريقة تدريب جديدة تسمى ConsistentRFT لإصلاح هذا الأمر. وإليك كيف تعمل، مشروحة ببساطة:

المشكلة: الفنان "المفرط في التحسين"

وجد الباحثون أن الطرق الحالية لتعليم هؤلاء الفنانين من الذكاء الاصطناعي (التي تسمى التعزيز الدقيق بالتعزيز - Reinforcement Fine-Tuning) تعاني من عيبين رئيسيين:

فخ "التكبير" (مشكلة الاستكشاف):
تخيل أن الذكاء الاصطناعي يحاول تعلم شكل الصورة "الجيدة" من خلال إنشاء العديد من النسخ المتنوعة. الطرق الحالية تعمل مثل مصور فوتوغرافي يكتفي فقط بعمل "زوم" (تكبير) على تفاصيل دقيقة جداً (مثل ورقة شجر واحدة) ليرى ما إذا كانت تبدو حادة وواضحة، متجاهلاً الشجرة بأكملها.

النتيجة: يصبح الذكاء الاصطناعي بارعاً جداً في جعل التفاصيل الصغيرة مثالية، لدرجة أنه يبدأ في اختراع تفاصيل وهمية (مثل إضافة نمط شبكي أو زهور إضافية) فقط للحصول على درجة عالية، حتى لو كان الشكل العام للصورة غير منطقي.

ارتباك "التقليد الأعمى" (مشكلة الاستغلال):
لكي يتعلم، يحاول الذكاء الاصطناعي تقليد الرسومات "الفائزة" التي صنعها أثناء التدريب. ولكن نظرًا لأن طريقة التدريب كانت فوضوية نوعاً ما (بسبب الضجيج العشوائي)، يبدأ الذكاء الاصطناعي في تقليد الفوضى جنباً إلى جنب مع الأجزاء الجيدة.

النتيجة: ينسى الذكاء الاصطناعي القواعد السلسة والمنطقية التي تعلمها عندما تم إنشاؤه لأول مرة. ويبدأ في اتخاذ طرق مختصرة غريبة، مما يؤدي إلى صور غير متسقة أو ضبابية.

الحل: ConsistentRFT

يقترح المؤلفون مدرباً جديداً يحتوي على استراتيجيتين لمعالجة هذه المشكلات:

1. استراتيجية "التكبير الديناميكي" (Dynamic Granularity Rollout)

بدلاً من التكبير فقط على التفاصيل الدقيقة أو النظر فقط إلى الصورة ككل، تعلم هذه الطة الجديدة الذكاء الاصطناعي القيام بـ الأمرين معاً، ولكن في الأوقات المناسبة.

التشبيه: تخيل معلماً يقول لطالب: "أولاً، انظر إلى الغابة بأكملها لتتأكد من أن الأشجار في أماكنها الصحيحة (الدلالات الكلية - Global Semantics). ثم قم بالتكبير لتتأكد من أن الأوراق تبدو واقعية (التفاصيل المحلية - Local Details)".
كيف تعمل: يقوم النظام بالتبديل بين "التحليل خشن الحبيبات" (النظر إلى الصورة الكبيرة) و"التحليل ناعم الحبيبات" (التركيز على التفاصيل) أثناء التدريب. كما يستخدم مرشحاً ذكياً لاختيار أكثر الأمثلة تنوعاً للدراسة، حتى لا يقوم الذكنا الاصطناعي بحفظ نفس "الورقة المثالية" مراراً وتكراراً.

2. استراتيجية "اليد الثابتة" (Consistent Policy Gradient Optimization)

هذا الجزء يمنع الذكاء الاصطناعي من تقليد الرسومات "التدريبية" الفوضوية ويجبره على الالتزام بالقواعد المنطقية التي يعرفها بالفعل.

التشبيه: تخيل أن الذكاء الاصطناعي يتعلم ركوب الدراجة. الطريقة القديمة كانت تخبره بأن يقلد المسار المتعرج والمترنح لراكب مخمور لمجرد أنه وصل إلى خط النهاية. أما الطريقة الجديدة فتقول: "لا، قلد المسار السلس والمستقيم لراكب خبير، حتى لو سلك طريقاً مختلفاً قلياً".
كيف تعمل: تضيف قاعدة تقول: "أي شيء ترسمه في الخطوة 10 يجب أن يتصل منطقياً بما رسمته في الخطوة 9". هذا يمنع الذكاء الاصطناعي من الهلوسة بتفاصيل غريبة وغير متصلة لمجرد الحصول على درجة مكافأة عالية.

النتائج: فنان أفضل

اختبر المؤلفون هذه الطريقة الجديدة على مولد صور شهير يسمى FLUX1.dev.

هلوسة أقل: قللت من "الهلوسات منخفضة المستوى" (مثل الأنسجة الغريبة أو خطوط الشبكة) بنسبة 49%، ومن "الهلوسات عالية المستوى" (مثل الأجسام الخاطئة أو الأجزاء المفقودة) بنسبة 38%.
قدرة أفضل على التعميم: على عكس الطرق الأخرى التي تتحسن في أسئلة اختبار محددة وتسوء في كل شيء آخر، حسنت هذه الطريقة قدرة الذكاء الاصطناعي على فهم الأوامر الجديدة وغير المرئية بنسبة 5.1%.
السرعة: تعمل بنفس سرعة الطرق القياسية، مما يجعلها ترقية عملية.

باختصار: تعلم طريقة ConsistentRFT الذكاء الاصطناعي كيفية الموازنة بين النظر إلى الصورة الكبيرة والنظر إلى التفاصيل، وتجبره على البقاء منطقياً، مما ينتج صوراً جميلة ومنطقية في آن واحد.

ملخص تقني: ConsistentRFT

1. بيان المشكلة

يعد الضبط الدقيق بالتعزيز (RFT) للنماذج التوليدية القائمة على التدفق (flow-based) أمراً ضرورياً لمواءمة توليد الصور مع التفضيلات البشرية. ومع ذلك، فإن طرق الـ RFT الحالية القائمة على التدفق (مثل DDPO، وDPO، ومتغيرات GRPO) غالباً ما تتسبب في ظهور هلوسات بصرية (visual hallucinations). وتتجلى هذه الهلوسات بثلاث طرق رئيسية:

الإفراط في تحسين التفاصيل (Detail Over-Optimization): توليد تفاصيل غير ذات صلة، أو حدة مفرطة، أو تشوهات شبكية (grid artifacts).
عدم المواءمة الدلالية (Semantic Misalignment): انفصال بين الصورة المولدة والنص الوصفي (prompt).
عدم الاتساق عبر الخطوات (Cross-Step Inconsistency): تدهور دلالي وتباعد عند استخدام أخذ عينات بعدد خطوات قليل.

حدد المؤلفون أن الطرق الحالية تفشل لأنها تعمل وفق منظور موحد لـ الاستكشاف (Exploration) (عمليات Rollouts الخاصة بـ SDE) و الاستغلال (Exploitation) (تحديثات تدرج السياسة) وهو منظور معيب جوهرياً بالنسبة لنماذج التدفق:

الاستكشاف المحدود: غالباً ما ينتج عن عمليات Rollout الخاصة بالمعادلات التفاضلية العشوائية (SDE) نطاق استكشاف ضيق. فعند استخدام نفس الضجيج الأولي مع تغيير ضجيج العملية، تولد النماذج صوراً متشابهة للغاية تختلف فقط في التفاصيل المحلية. يؤدي هذا إلى تحسين دقيق للغاية (fine-grained optimization) يركز بشكل مفرط على الأنسجة المحلية بينما يهمل الدلالات العالمية.
تشوه محاكاة المسار (Trajectory Imitation Distortion): يتم تفسير طرق تدرج السياسة (مثل GRPO) كعمليات محاكاة للمسارات المرجحة بالمكافأة. وهي تجبر النموذج على محاكاة مسارات SDE عشوائية وغير خطية لتعظيم المكافآت. وهذا يتعارض مع هدف ما قبل التدريب المتمثل في تعلم مجال سرعة (velocity field) حتمي ومتسق، مما يؤدي إلى تشويه المجال المتجه الأساسي للنموذج ويسبب عدم الاستقرار.

2. المنهجية: ConsistentRFT

للحد من هذه الهلوسات، يقترح المؤلفون ConsistentRFT، وهو إطار عمل عام متوافق مع طرق RFT عبر الإنترنت (DDPO، DPO، GRPO). ويتكون من مكونين أساسيين:

أ. التوليد ذو الحبيبات الديناميكية (Dynamic Granularity Rollout - DGR)

تعالج هذه الآلية محدودية الاستكشاف من خلال موازنة الدلالات العالمية والتفاصيل المحلية عبر جدولة ضجيج ديناميكية.

جدولة ما بين المجموعات (Inter-Group Schedule): تنقسم عملية التدريب إلى فترات تحتوي على عمليات Rollout دقيقة الحبيبات و خشنة الحبيبات.
- دقيقة الحبيبات (Fine-Grained): تستخدم حقن الضجيج التدريجي (تغيير ضجيج العملية) لتنقية التفاصيل المحلية.
- خشنة الحبيبات (Coarse-Grained): تستخدم مصادر ضجيج أولية مختلفة لاستكشاف التباينات الدلالية العالمية.
- هذا يمنع النموذج من العلوق في النهايات الصغرى المحلية التي تركز فقط على التفاصيل.
جدولة داخل المجموعة (Intra-Group Schedule): لتعزيز التنوع داخل مجموعات الحبيبات الدقيقة دون حسابات مفرطة، تستخدم الطريقة التوليد المدرك للتقدم مع التجميع (progress-aware rollout with clustering).
- تقوم بإجراء تنبؤ وسيط بخطوة واحدة لتقييم الحالة.
- يتم تجميع العينات في الفضاء الكامن (latent space) لاختيار مجموعات ممثلة (واحدة للتنقية التفصيلية، وأخرى للإدراك الخشن)، مما يضمن التنوع مع تقليل العبء الحسابي.

ب. تحسين تدرج السياسة المتسق (Consistent Policy Gradient Optimization - CPGO)

تعالج هذه الآلية تشوه الاستغلال من خلال الحفاظ على الاتساق الجوهري للنموذج.

الرؤية الجوهرية: بدلاً من مجرد محاكاة مسارات SDE العشوائية، تفرض CPGO دقة التنبؤ بخطوة واحدة عبر قيود المعادلات التفاضلية العادية (ODE).
التنفيذ: تقوم بمواءمة تنبؤ النموذج الحالي عند الخطوة $t$ $t$ مع تنبؤ النموذج القديم عند الخطوة $t-1$ $t - 1$ باستخدام حلّال يعتمد على ODE.
- تضيف دالة الهدف حداً للاتساق: $J_{CPGO} = -\mathbb{E}[\|\pi^{ODE}_{\theta}(x_t, t) - \pi^{ODE}_{\theta_{old}}(x_{t-1}, t-1)\|^2]$ .
الأثر: هذا يقيد عملية التحسين لتتبع مسارات أكثر سلاسة واتساقاً، مما يمنع النموذج من محاكة العينات المهلوسة المستنتجة من التوزيع السابق للتدريب.

ج. مقيم الهلوسة البصرية (Visual Hallucination Evaluator - VH-Evaluator)

قدم المؤلفون مقياس تقييم جديد يجمع بين المقاييس الموضوعية منخفضة المستوى (مثل تباين لابلاس، وكشف الأنماط الشبكية) والتقييمات عالية المستوى عبر النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) لقياس الإفراط في تحسين التفاصيل والهلوسات الإدراكية تحديداً.

3. المساهمات الرئيسية

تحليل أسباب الهلوسة: تقدم الورقة تحليلاً أولياً يعزو الهلوسات البصرية في RFT القائم على التدفق إلى خيارين تصميميين محددين: نطاقات استكشاف محدودة في rollouts الخاصة بـ SDE (مما يؤدي إلى الإفراط في تحسين التفاصيل)، وتشوه المجال المتجه الناتج عن محاكة المسار في تدرجات السياسة.
التوليد ذو الحبيبات الديناميكية (DGR): آلية جدولة مبتكرة توازن ديناميكياً بين الاستكشاف الدلالي العالمي وتنقية التفاصيل المحلية، مما يمنع النموذج من التركيز حصرياً على العيوب دقيقة الحبيبات.
تحسين تدرج السياسة المتسق (CPGO): صيغة لتدرج السياسة تفرض الاتساق الزمني والمواءمة مع سوابق مستقرة، مما يخفف من عدم الاتساق الناتج عن محاكة المسارات العشوائية.
التقييم الشامل: تقديم VH-Evaluator وإجراء تجارب واسعة النطاق أظهرت انخفاضاً كبيراً في الهلوسات عبر مقاييس متعددة.

4. النتائج التجريبية

أُجريت تجارب واسعة النطاق على نموذج FLUX.1-dev باستخدام مجموعة بيانات HPDv2 ومعيار HPS-v2.

تقليل الهلوسة: حققت ConsistentRFT متوسط انخفاض بنسبة 49% في الهلوسات الإدراكية منخفضة المستوى (مثل الأنماط الشبكية والضجيج) و 38% في الهلوسات الإدراكية عالية المستوى مقارنة بالطرق المرجعية.
التعميم خارج النطاق (Out-of-Domain Generalization): على عكس الطرق المرجعية التي غالباً ما تضحي بالأداء خارج النطاق مقابل مكاسب داخل النطاق (على سبيل المثال، حسنت MixGRPO من HPS ولكن خفضت درجات CLIP بنسبة 10.8%)، قامت ConsistentRFT بتحسين المقاييس خارج النطاق. تحديداً، أظهرت تحسناً بنسبة 5.1% في الدرجات الشاملة على FLUX1.dev، بينما انخفضت الطريقة المرجعية بنسبة 0.4%.
الأداء مقابل SOTA: تفوقت الطريقة على أفضل الطرق المرجعية (SOTA) في RFT (مثل DDPO، وDPO، ومتغيرات GRPO) في درجات التفضيل البشري (ImageReward، PickScore) والجودة الجمالية مع الحفاظ على المواءمة الدلالية.
الكفاءة: الطريقة متوافقة مع تدرجات السياسة القياسية وتوفر تسريعاً. على سبيل المثال، قللت Intra-Group DGS من وقت التدريب بنسبة ~18.6% مقارنة بـ DanceGRPO القياسي مع الحفاظ على الأداء أو تحسينه.
أخذ العينات بعدد خطوات قليل: أظهرت الطريقة استقراراً فائقاً في سيناريوهات أخذ العينات بعدد خطوات قليل، حيث تتدهور الطرق الأخرى عادةً.

5. الأهمية والادعاءات

تزعم الورقة أن ConsistentRFT تقدم حلاً عاماً لمشكلة الهلوسات البصرية المستمرة في الضبط الدقيق بالتعزيز القائم على التدفق. ومن خلال فصل تحسين الدلالات العالمية والتفاصيل المحلية (عبر DGR) وفرض اتساق المجال المتجه (عبر CPGO)، يسمح إطار العمل للنماذج بالمواءمة مع التفضيلات البشرية دون التضحية بالسلامة الهيكلية والواقعية للصور المولدة.

يضع المؤلفون هذا العمل كـ تحقيق أولي في الأسباب المحددة للهلوسة في مرحلة ما بعد التدريب لنماذج التدفق. ويؤكدون أنه بينما توفر طريقتهم استراتيجية تخفيف قوية، فإن تحدي الهلوسات البصرية يتطلب أيضاً نماذج مكافأة أكثر قوة وقابلية للتوسع، وهو ما يتوقعون أن يطوره المجتمع العلمي في المستقبل. لا تدعي الورقة حل جميع مشكلات الهلوسة، لكنها تثبت أنها خطوة كبيرة للأمام في تحقيق التوازن بين مواءمة التفضيلات والدقة البصرية.