RRFC: Recursive Refinement via Feedback Conditioning for Iterative Image-to-Image Generation

في عالم الذكاء الاصطناعي، أصبحت الحواسيب ماهرة بشكل ملحوظ في إنشاء الصور من الأوصاف أو الرسومات التخطيطية. لسنوات طويلة، كانت الطريقة القياسية لعمل هذه الأنظمة تشبه لقطة واحدة حاسمة لكاميرا: حيث يأخذ الجهاز مدخلاً، ويجري حساباته مرة واحدة، ثم ينتج صورة نهائية. وإذا كانت النتيجة غير دقيقة تماماً — كوجه يبدو عريضاً بعض الشيء أو ملمس يبدو خاطئاً — لم يكن لدى النظام أي وسيلة لملاحظة ذلك أو إصلاحه بنفسه. فقد كان يكتفي ببساطة بقبول تلك المخرجات باعتبارها نهاية المطاف. وكان السبيل الوحيد للتحسين هو إعادة تدريب النظام بأكستمل، وهي عملية بطيئة تعمل على تعديل القواعد الداخلية للآلة بناءً على آلاف الأمثلة، لكنها لم تكن تقدم أي مساعدة للصورة المحددة التي يتم إنشاؤها حالياً. هذا القصور يعني أنه بمجرد إنشاء الصورة، تصبح الآلة عمياء عن أخطائها الخاصة.

اقترح باحثون في الجامعة الأمريكية في بيروت طريقة جديدة لسد هذه الفجوة، مما يسمح لمولدات الصور هذه بالنظر إلى عملها والمحاولة مرة أخرى. وقد أطلقوا على طريقتهم اسم "التحسين المتكرر عبر التكييف بالتغذية الراجعة" (Recursive Refinement via Feedback Conditioning). فبدلاً من معاملة المحاولة الأولى كإجابة نهائية، يتم تعليم النظام تغذية مخرجاته السابقة في مدخلاته الخاصة. تخيل رساماً يتراجع خطوة إلى الوراء من أمام اللوحة، ويرى بقعة أو خطاً لا يبدو متناسقاً تماماً، ثم يستخدم تلك الملاحظة لتوجيه ضربة الفرشاة التالية. في هذه النسخة الرقمية، تأخذ الحاسبة الصورة التي صنعتها للتو، وتتعامل معها كمعلومة جديدة، وتدمجها مع الطلب الأصلي لإنتاج نسخة ثانية محسنة. ويمكن لهذه العملية أن تتكرر، حيث تقوم الآلة بتحسين الصورة خطوة بخطوة، وتتعلم تصحيح أخطائها في الوقت الفعلي بدلاً من الانتظار لجلسة تدريب مستقبلية.

اختبر الباحثون هذه الفكرة عبر ربط طريقتهم الجديدة بستة أنواع مختلفة من نماذج توليد الصور، بدءاً من الأنظمة القديمة ذات الدفعة الواحدة وصولاً إلى الأنظمة الأحدث والأكثر تعقيداً التي تستخدم بالفعل حلقات داخلية لإنشاء الصور. وطبقوا التقنية على ثلاث مهام متميزة: تحويل خريطة مدينة تقريبية إلى صورة فوتوغرافية واقعية، وملء الأجزاء المفقودة من منظر طبيعي، وتحويل رسم تخطيطي بسيط لوجه إلى صورة شخصية مفصلة. وكان الهدف هو معرفة ما إذا كان السماح للآلة بـ "رؤية" محاولتها السابقة سيجعل الصورة النهائية أفضل حقاً، أم أنه سيؤدي فقط إلى إرباك النظام.

كانت النتائج واضحة، لكنها اعتمدت كلياً على ما تحاول الآلة تحقيقه. فعندما كانت المهمة تتعلق بجعل الصورة تبدو واقعية أو الحفاظ على الهوية المحددة لشخص ما، نجحت عملية التحسين بشكل رائع. ففي مهمة ترميم المناظر الطبيعية (inpainting)، أظهرت الصور المحسنة تفاصيل وملمساً ووضوحاً أفضل بكثير، حيث نجحت الآلة في إصلاح التفاصيل التي أغفلتها النسخة الأصلية. وبالمثل، عند تحويل الرسوم التخطيطية إلى وجوه، أصبح النظام أفضل بكثير في الحفاظ على ملامح الشخص قابلة للتمييز، مما أدى إلى شحذ الشبه بطريقة لم تستطع نماذج الدفعة الواحدة تحقيقها. وفي هذه الحالات، أدت قدرة الآلة على مراجعة وتعديل عملها إلى تحسينات ملموسة وذات دلالة إحصائية عبر معظم النماذج التي تم اختبارها.

ومع ذلك، لم تنجح الطريقة في كل المواقف. فعندما كانت المهمة تتطلب من الآلة اتباع مخطط أو ترتيب صارم للأشياء — مثل ضمان ظهور مبنى في مكان محدد على خريطة مدينة — أدت خطوة التحسين الإضافية إلى جعل النتائج أسوأ في الواقع. وفي هذه الحالات، أنتج كل نموذج استخدم الطريقة الجديدة نتائج أقل دقة من نسخة الدفعة الواحدة الأصلية. ووجد الباحثون أن فائدة التصحيح الذاتي ليست عالمية؛ فهي تساعد فقط عندما يكون الهدف هو تحسين الجودة البصرية أو الهوية المحددة للموضوع. أما عندما يكون الهدف هو ضبط الترتيب الهيكلي، فإن الحلقة الإضافية من المحاولة مرة أخرى يبدو أنها تسبب الارتباك بدلاً من الوضوح.

هذا التمييز أمر بالغ الأهمية لأنه يخبرنا أن منح الآلة القدرة على التأمل في مخرجاتها ليس حلاً سحرياً لجميع المشكلات. إنه أداة تتفوق في صقل التفاصيل والحفاظ على الهوية، ولكنها قد تتعثر عندما تكون الأولوية للالتزام الصارم بالمخطط. وتشير الدراسة إلى أن قيمة هذا النهج المتكرر تعتمد على ما إذا كانت المهمة تسمح بالتحسين التدريجي للدقة البصرية. فبالنسبة للمهام التي يمكن للآلة من خلالها تعلم جعل الصورة تبدو أكثر واقعية أو جعل الوجه يبدو أكثر شبهاً بصاحبه، فإن القدرة على التكرار والتحسين تعد ميزة قوية. ولكن بالنسبة للمهام التي يمثل فيها ترتيب العناصر التحدي الأساسي، تظل طريقة الدفعة الواحدة التقليدية هي الأكثر موثوقية. ويظهر هذا العمل أنه بينما يمكن للآلات أن تتعلم تصحيح أخطائها، فإنها تفعل ذلك بشكل أفضل عندما تكون طبيعة الخطأ شيئاً يمكنها إدراكه بصرياً وتعديله، وليس شيئاً يتطلب تغييراً جوهرياً في البنية.