🤖 AI

Training-Free Reward-Guided Image Editing via Trajectory Optimal Control

تقدم هذه الورقة إطار عمل خالٍ من التدريب لتحرير الصور الموجه بالمكافأة، حيث تصيغ العملية كمسألة تحكم أمثل للمسار، مما يمكن النموذج من تعزيز أهداف محددة مع الحفاظ على دقة الصورة المصدر دون الحاجة إلى تدريب إضافي أو المعاناة من اختراق المكافأة.

المؤلفون الأصليون: Jinho Chang, Jaemin Kim, Jong Chul Ye

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jinho Chang, Jaemin Kim, Jong Chul Ye

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك محرر صور سحرياً. تريد أن تأخذ صورة لقط أبيض عادي وتحولها إلى أسد ذهبي مهيب، لكنك تريد الحفاظ على وضعية القط بدقة، والخلفية، والإضاءة كما هي تماماً.

معظم محررات الذكاء الاصطناعي الحالية تشبه النحاتين الخرقاء. فهي تحاول نحت الحجر (الصورة) عبر ضربه في اتجاه "المكافأة" (الأسد الذهبي). ولكن لأنها تنظر فقط إلى القطعة التالية من الحجر، فإنها غالباً ما تكسر أنف التمثال أو أرجله. قد تحصل على اللون "الذهبي"، لكن القط يبدو ككتلة ذائبة مشوهة. يسمى هذا "اختراق المكافأة" (Reward Hacking)؛ أي الحصول على النتيجة التي تريدها ولكن مع إفساد الصورة.

تقدم هذه الورقة البحثية طريقة جديدة تسمى التحكم الأمثل في المسار (Trajectory Optimal Control). وإليك كيف تعمل باستخدام تشبيهات بسيطة:

1. المشكلة: فخ "الخطوة الواحدة"

تخيل أنك تقود سيارة من منزلك (الصورة الأصلية) إلى وجهتك (الصورة المعدلة).

الطرق القديمة (الارتفاع المتدرج - Gradient Ascent): تشبه سائقاً لا ينظر إلا إلى الطريق على بعد بوصة واحدة فقط أمام المصد. إذا رأى لوحة تقول "انعطف يميناً للحصول على الذهب"، فإنه يلف المقود بقوة نحو اليمين فوراً. قد يصطدم بشجرة أو ينحدر من منحدر صخر لأن مساره لم يكن مخططاً له بالكامل.
المشكلة: في الذكاء الاصطناعي، هذا "الارتباك" يدمر تفاصيل الصورة الأصلية. يتحول القط إلى أسد، ولكنه يفقد أيضاً شاربيه وتتحول خلفيته إلى ضجيج رقمي.

2. الحل: "مخطط مسار نظام تحديد المواقع (GPS)"

تعامل طريقة المؤلفين عملية التحرير ليس كسلسلة من الخطوات الصغيرة المذعورة، بل كخطة طيران كاملة.

المسار (The Trajectory): بدلاً من مجرد النظر إلى الخطوة التالية، يقوم الذكاء الاصطناعي برسم الرحلة بأكملها من البداية الصاخبة (الضوضاء) إلى الصورة النهائية الواضحة. إنه يعامل المسار بأكمله كخط واحد يمكن التحكم فيه.
"المساعد" (The Adjoint - المساعد الجوي): هذا هو السر الكامن وراء الورقة البحثية. تخيل أن لديك مساعد طيار يمكنه رؤية مسار الرحلة بأكره في المستقبل.
- ينظر المساعد إلى الوجهة (الأسد الذهبي) ويقول: "للوصول إلى هناك دون تحطم، نحتاج إلى البدء بالانعطاف جهة اليمين بلطف الآن، وليس بلف المقود بعنف لاحقاً".
- يعمل هذا المساعد بشكل عكسي من خط النهاية إلى البداية، حيث يحسب المنحنى السلس والمثالي الذي يجب اتباعه.
التحسين التكراري: لا يحصل الذكاء الاصطناعي على المسار المثالي من المحاولة الأولى. فهو يرسم مساراً تقريبياً، ثم يراجعه مع المساعد، ويعدل التوجيه، ثم يرسمه مرة أخرى. يفعل ذلك مراراً وتكراراً حتى يصبح المسار سلساً، فعالاً، وآمناً.

3. لماذا يعد هذا أمراً هاماً؟

تسمي الورقة البحثية هذه الطريقة بأنها "خالية من التدريب" (Training-Free).

الطريقة القديمة: لتعليم الذكاء الاصطناعي تعديل الصور بشكل مثالي، تحتاج عادةً إلى تغذيته بملايين الصور لـ "قبل وبعد" وقضاء أسابيع في التدريب. الأمر يشبه توظيف طالب جديد في مدرسة الفنون لكل نمط جديد تريده.
الطريقة الجديدة: تستخدم هذه الطريقة "عقل" الذكاء الاصطناعي الموجود مسبقاً (النموذج المدرب مسبقاً) وتغير فقط طريقة قيادته. الأمر يشبه أخذ سيارة فيراري تعرف بالفعل كيف تقود، ومنحها نظام GPS أفضل. أنت لا تحتاج لإعادة بناء المحرك؛ بل تقوم فقط بتحسين المسار.

4. أمثلة من الواقع من الورقة البحثية

اختبر المؤلفون هذه الطريقة في أربع "مهام" مختلفة:

تفضيلات البشر: جعل الصورة تبدو "أكثر جمالاً" أو "أكثر فنية" بناءً على ما يحبه البشر. الطريقة الجديدة تجعلها تبدو رائعة دون أن تبدو مزيفة.
نقل الأسلوب (Style Transfer): تحويل صورة لشارع إلى لوحة لفان جوخ. الطرق القديمة جعلت المباني تتمايل؛ أما هذه الطريقة فتحافظ على استقامة المباني أثناء طلائها بأسلوب فان جوخ.
الواقع المضاد (Counterfactuals): تغيير صورة لـ "شخص سعيد" إلى "شخص حزين" لاختبار كيفية تفكير الذكاء الاصطناعي. الطريقة الجديدة تغير التعبير ولكن تحافظ على هيكل وجه الشخص متطابقاً تماماً.
تحرير النصوص: تغيير صورة لـ "رجل" إلى "رجل مبتسم". الطريقة الجديدة تضيف الابتسامة دون مسح الخلفية أو تغيير شعر الرجل.

الخلاصة

فكر في هذه الورقة البحثية على أنها تعطي الذكاء الاصطناعي مخططاً طويل الأمد بدلاً من رد فعل قصير المدى.

من خلال حساب المسار المثالي من البداية إلى النهاية وتعديل عجلة القيادة بلطف على طول الطريق، يمكن للذكاء الاصطناعي إجراء تغييرات دراماتيكية على الصورة (مثل تحويل قط إلى أسد) مع الحفاظ على روح الصورة الأصلية، وهيكلها، وتفاصيلها بدقة تامة. إنه يحصل على المكافأة (التغيير) دون دفع الثمن (إفساد الصورة).

1. بيان المشكلة

أدت التطورات الأخيرة في نماذج الانتشار (Diffusion) ومطابقة التدفق (Flow-matching) إلى تمكين توليد صور عالية الدقة. وبينما يعد التوليد الموجه بالمكافأة (توجيه التوليد نحو هدف محدد باستخدام دالة مكافأة) فعالاً لإنشاء صور جديدة من الضوضاء، فإن تطبيق ذلك على تحرير الصور يعد تحدياً أكبر بكثير.

التحدي الجوهري: يتطلب تحرير الصور تعظيم مكافأة مستهدفة (مثل نمط معين، أو درجة تفضيل بشرية، أو لوجيت مصنف) مع الحفاظ بصرامة على المحتوى الدلالي والأمانة الهيكلية للصورة المصدر.
محدودية الطرق الحالية:
- صعود التدرج الساذج (Naive Gradient Ascent): يؤدي التحسين المباشر في فضاء البكسل إلى ظهور عيوب تنافسية (adversarial artifacts) ونتائج خارج نطاق التوزيع.
- التوجيه القائم على القلب (Inversion-Based Guidance): تعتمد الطرق الحالية الخالية من التدريب (مثل DPS، وFreeDoM، وTFG) عادةً على قلب الصورة المصدر إلى فضاء الضوضاء وتطبيق توجيه المكافأة أثناء عملية العكس. ومع ذلك، تعتمد هذه الطرق على تقريبات (تدرجات متوسط اللاحقة) والتي غالباً ما تفشل أمام دوال المكافأة المعقدة وغير الخطية. يؤدي هذا إلى اختراق المكافأة (reward hacking) (تحقيق الدرجة ولكن فقدان جودة الصورة) والتدهور الهيكلي (فقدان هوية الصورة المصدر).
- الافتقار إلى الأساس النظري: تتطلب الطرق الحالية غالباً ضبطاً تجريبياً لمقاييس التوجيه دون وجود تبرير نظري للمسار الأمثل.

2. المنهجية: التحكم الأمثل في المسار (Trajectory Optimal Control)

يقترح المؤلفون إطار عمل جديداً خالياً من التدريب، يعيد صياغة تحرير الصور الموجه بالمكافأة كمسألة تحكم أمثل في المسار (OC).

أ. صياغة المشكلة

بدلاً من معاملة عملية الانتشار العكسية كمسار ثابت مع تصحيحات خطوة بخطوة، تعامل هذه الطريقة المسار العكسي بأكمله $\{x_t\}_{t=T}^1$ (بدءاً من الصورة المصدر $x_1$ المقلوبة إلى عمق الضوضاء $T$ ) كنظام ديناميكي قابل للتحكم.

الهدف: إيجج إشارة تحكم مثلى $u_t$ توجه المسار إلى حالة نهائية $x_1^*$ تعظم المكافأة $r(\cdot)$ مع تقليل الانحراف عن تدفق الانتشار الطبيعي (التنظيم).
دالة التكلفة: تُعرف المسألة بتقليل:
$\min_{u} \int_T^1 \left( \frac{1}{2}\|u(x_t, t)\|^2 - r(x_1) \right) dt$
بشرط المعادلة التفاضلية العشوائية (SDE) لنموذج الانتشار/مطابقة التدفق مع إضافة حد التحكم.

ب. الحل عبر مبدأ أقصى بونترياغين (PMP)

لحل مسألة التحكم غير الخطية هذه دون تدريب النموذج، يستخدم المؤلفون مبدأ أقصى بونترياغين (PMP). يوفر هذا المبدأ شروط الضرورة للأمثلية والتي تتضمن ثلاث معادلات تفاضلية مترابطة:

معادلة الحالة (للأمام): تصف تطور المسار مع التحكم $u_t$ .
المعادلة الملحقة (للخلف): تحدد تطور الحالة الملحقة $p_t$ ، والتي تمثل حساسية التكلفة للحالة. يتم تهيئتها عند الوقت النهائي بتدرج المكافأة السالب: $p_1 = -\nabla r(x_1)$ .
شرط الأمثلية: يتم اشتقاق التحكم الأمثل كـ $u_t^* = -p_t$ .

ج. خوارزمية التحسين التكراري

بما أن الحل المغلق غير قابل للتتبع، يقترح المؤلفون خوارزمية النزول الإحداثي التكراري (الخوارزمية 1):

التهيئة: توليد مسار أولي من الصورة المصدر باستخدام القلب الحتمي (DDIM للانتشار، أو ODE المعكوس زمنياً لمطابقة التدفق).
حساب الملحق: تثبيت المسار الحالي وحل المعادلة الملحقة للخلف في الزمن لحساب الحالات الملحقة $\{p_t\}$ .
تحديث التحكم: تحديث إشارة التحكم $u_t$ باتجاه $-p_t$ باستخدام خطوة تدرج.
تحديث المسار: محاكاة مسار أمامي جديد باستخدام التحكم المحدث.
التكرار: تكرار الخطوات 2-4 حتى التقارب.

تعمل هذه العملية بفعالية على توجيه مسار التوليد بأكمله لاستيفاء شروط الأمثلية، مما يضمن أن تكون الصورة النهائية عالية المكافأة وأمينة هيكلياً في آن واحد.

3. المساهمات الرئيسية

إطار عمل مبتكر: تقديم إطار عمل لتحرير الصور الموجه بالمكافأة وخالٍ من التدريب، قابل للتطبيق على كل من نماذج الانتشار ومطابقة التدفق من خلال صياغته كمسألة تحكم أمثل في المسار.
أساس نظري: تطوير إجراء تحسين للحالة الملحقة تكراري يعتمد على PMP، مما يوفر أساساً نظرياً للتوجيه يتجنب الضبط التجريبي المطلوب في الطرق السابقة.
أداء متفوق: أثبتت النتائج أن تحسين المسار بأكمله (بدلاً من مجرد متوسط اللاحقة) يمنع اختراق المكافأة والانهيار الهيكلي، محققاً توازناً متفوقاً بين تعظيم المكافأة والأمانة الهيكلية للمصدر.

4. النتائج التجريبية

تم تقييم الطريقة عبر أربع مهام متميزة باستخدام Stable Diffusion 1.5 و Stable Diffusion 3:

المهام:
1. التفضيل البشري: تعظيم درجات ImageReward/HPSv2.
2. نقل الأسلوب: تطبيق أنماط فنية مع الحفاظ على المحتوى.
3. التوليد المضاد للواقع (Counterfactual Generation): تغيير قرارات المصنف مع تغيير هيكلي ضئيل.
4. التحرير الموجه بالنص: تحرير بناءً على نصوص وصفية دون الحاجة لنماذج مشروطة بالنص.
النماذج المرجعية (Baselines): تمت المقارنة مع صعود التدرج الساذج، وInversion+DPS، وInversion+FreeDoM، وInversion+TFG.
المقاييس:
- المكافأة: ImageReward، HPSv2، CLIPScore، Logits.
- الأمانة (Fidelity): LPIPS (التشابه الإدراكي)، CLIP-Isrc (التشابه الدلالي).
النتائج:
- كمياً: تفوقت الطريقة المقترحة باستمرار على النماذج المرجعية، حيث حققت درجات مكافأة أعلى مع الحفاظ على قيم LPIPS أقل (أمانة أفضل للمصدر). على سبيل المثال، في التفضيل البشري، حققت أعلى ImageReward (1.89) وHPSv2 (0.25) مع أمانة أفضل بكثير للمصدر مقارنة بالطرق القائمة على القلب.
- نوعياً: أظهرت النتائج البصرية أن النماذج المرجعية غالباً ما تعاني من عيوب، أو تشبع لوني، أو فقدان لتفاصيل الخلفية (اختراق المكافأة)، بينما أنتجت الطريقة المقترحة تعديلات متماسكة وعالية الجودة.
- جبهة باريتو (Pareto Frontier): أرست الطريقة جبهة باريتو مهيمنة في المقايضة بين مواءمة المكافأة والأمانة الهيكلية، حتى عندما مُنحت النماذج المرجعية ميزانيات حوسبة مكافئة.
- دراسة المستخدم: صنف المشاركون الطريقة المقترحة بدرجات أعلى بكثير من حيث المواءمة، والأمانة، والجودة العامة مقارنة بالنماذج المرجعية.

5. الأهمية

سد الفجوة: نجح هذا العمل في سد الفجوة بين التوليد الموجه بالمكافأة وتحرير الصور، وهو المجال الذي عانت فيه الطرق السابقة من التدهور الهيكلي.
كفاءة خالية من التدريب: تقدم بديلاً قوياً لضبط النماذج (مثل RLHF أو Adjoint Matching) لمهام تحرير محددة، دون الحاجة لتحديثات للنموذج وتعمل مع دوال مكافأة قابلة للاشتقاق جاهزة للاستخدام.
رؤية نظرية: من خلال ربط أخذ العينات الموجه بالتحكم الأمثل، يوفر البحث تفسيراً دقيقاً لسبب فشل الطرق السابقة (الاعتماد على تقريبات الخطوة الواحدة) وكيفية إصلاح ذلك (التحسين التكراري للمسار).
القدرة على التعميم: الإطار مستقل عن النموذج، حيث يعمل بفعالية على كل من بنيات الانتشار ومطابقة التدفق، مما يجعله أداة متعددة الاستخدامات لتطبيقات الذكاء الاصماعي التوليدي المستقبلية.

في الختام، يقدم البحث نهجاً مؤسساً رياضياً، خالياً من التدريب، يطور بشكل كبير أحدث ما توصل إليه العلم في مجال تحرير الصور القابل للتحكم من خلال معاملة عملية التوليد كمسألة تحسين عالمي بدلاً من سلسلة من التصحيحات المحلية.