Fusion in Your Way: Aligning Image Fusion with Heterogeneous Demands via Direct Preference Optimization
تقترح هذه الورقة البحثية DPOFusion، وهو إطار عمل لتحسين التفضيل المباشر يدمج نماذج الانتشار الكامن المتوافقة مع الخصائص والقابلة للتحكم في التفضيلات لتحقيق دمج تكيفي للصور تحت الحمراء والمرئية قادر على التوافق مع متطلبات الرؤية البشرية والآلية غير المتجانسة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك كاميرتين تلتقطان صورة لنفس المشهد في نفس الوقت. إحداهما كاميرا مرئية (مثل هاتفك)، ترى الألوان والأنسجة بشكل رائع ولكنها تعاني في الظلام. والأخرى كاميرا بالأشعة تحت الحمراء، ترى البصمات الحرارية بوضوح ولكنها تبدو كشبح حراري أبيض وأسود ضبابي.
دمج الصور (Image Fusion) هو فن دمج هاتين الصورتين في صورة واحدة مثالية تجمع بين أفضل ما في العالمين.
المشكلة: "المقاس الواحد لا يناسب الجميع"
يشير البحث إلى مشكلة رئيسية في طرق الدمج الحالية: إنها جامدة.
تخيل أنك تطلب من طاهٍ أن يطبخ قطعة لحم (ستيك).
- الإنسان قد يقول: "أريدها متوسطة النضج مع تحمير جيد".
- رجل الأمن قد يقول: "لا يهمني المذاق؛ أحتاج فقط لرؤية وجه الشخص بوضوح لتحديده".
- السيارة ذاتية القيادة قد تقول: "أحتاج لرؤية حافة الطريق بدقة لتجنب الاصطدام بالمشاة".
نماذج الدمج الحالية تشبه الطاهي الذي لا يستطيع طبخ سوى طريقة واحدة محددة. إذا كنت تريد نتيجة مختلفة، فعليك استئجار طاهٍ جديد تماماً (تدريب نموذج ذكاء اصطناعي جديد) بوصفة جديدة. هذا الأمر بطيء، مكلف، وغير مرن.
الحل: "الدمج على طريقتك"
يقترح المؤلفون نظاماً جديداً يسمى DPOFusion. فكر في هذا النظام كـ طاهٍ خارق لديه قرص لضبط "حاسة التذوق".
بدلاً من طبخ وجبة جديدة من الصفر لكل زبون، يبدأ هذا الطاهي بطبق أساسي عالي الجودة ثم يقوم بتعديله فوراً بناءً على ما تطلبه بالضبط.
إليك كيف يعمل ذلك، مقسماً إلى خطوات بسيطة:
1. مولد "قائمة التذوق" (PALDM)
أولاً، ينشئ النظام "قائمة تذوق" للعديد من نتائج الدمج المختلفة.
- يأخذ الصورتين المصدرتين (المرئية وتحت الحمراء).
- يستخدم ذكاءً اصطناعياً خاصاً (نموذج انتشار كامن - Latent Diffusion Model) لتوليد مجموعة واسعة من الصور المدمجة. بعضها قد يكون بنسبة 90% أشعة تحت حمراء، وبعضها 50/50، وبعضها بلمسات إضافية من الأنسجة، أو تباين أفضل.
- تشبيه: تخيل رساماً يرسم بسرعة 50 نسخة مختلفة من منظر طبيعي، كل منها بإضاءة أو تركيز مختلف قليلاً. هذا يمنح النظام مخزوناً ضخماً من الخيارات للاختيار من بينها.
2. "اختبار التذوق" (جمع التفضيلات)
الآن، يحتاج النظام لمعرفة أي نسخة هي "الأفضل". لكن "الأفضل" يعتمد على من يسأل.
- بالنسبة للبشر: ينظر الشخص إلى الرسومات ويقول: "أعجبني ملمس السيارة هنا، لكن السماء تبدو غريبة". يحدد الأجزاء الجيدة والأجزاء السيئة.
- بالنسبة للآلات: تنظر كاميرا أمنية (ذكاء اصطناعي للكشف عن الأجسام) إلى الرسومات وتقول: "لا يمكنني رؤية الشخص في هذه الصورة، لكني أراه بوضوح في تلك الصورة".
- بالنسبة لنقاد الذكاء الاصطناعي: يعمل نموذج لغوي ذكي (VLM) كناقد طعام، حيث يقوم بترتيب الصور بناءً على الجودة التقنية (الحدة، عدم وجود ضجيج، الألوان الطبيعية).
3. "قرص السحر" (تحسين التفضيل المباشر - IDPO)
هذا هو السر وراء بحثهم. بدلاً من إعادة تدريب الطاهي بالكامل، يستخدمون تقنية تسمى تحسين التفضيل المباشر (Direct Preference Optimization - DPO).
- الطريقة القديمة: لتعليم نموذج تفضيلاً جديداً، عليك عادةً إعادة تدريبه من الصفر، وهو أمر يشبه إرسال الطاهي إلى مدرسة الطهي لمدة عام.
- طريقة DPO: ينظر النظام إلى الصورة "الفائزة" (التي أعجبتك) والصورة "الخاسرة" (التي لم تعجبك). ثم يقوم بإجراء تعديل دقيق وصغير على "دماغ" الطاهي ليجعل الصورة التالية تبدو أكثر شبهاً بالفائزة.
خدعة "القناع" (تحسين التفضيل المباشر للمثيل - Instance Direct Preference Optimization):
أحياناً، قد ترغب في تغيير جزء فقط من الصورة.
- مثال: "اجعل السيارة أكثر وضوحاً، لكن لا تلمس السماء".
- يستخدم النظام قناعاً (مثل الاستنسل). يخبر الذكاء الاصطناعي: "قم فقط بتعديل البكسلات الموجودة داخل هذا الاستنسل لتطابق التفضيل. أبقِ كل شيء خارج الاستنسل كما هو تماماً".
- هذا يضمن أنه إذا طلبت تفاصيل أفضل للسيارة، فلن تفسد السماء أو الخلفية عن طريق الخطأ.
النتائج
اختبر البحث هذا النظام (قرص السحر) على مجموعات بيانات من العالم الحقيقي (مثل مشاهد الشوارع الليلية).
- التغذية الراجعة البشرية: عندما طُلب من النظام جعل الصور تبدو أكثر طبيعية، قام بتعديل الألوان والأنسجة بشكل مثالي.
- التغذية الراجعة الآلية: عندما طُلب منه مساعدة سيارة ذاتية القيادة على "الرؤية" بشكل أفضل، قام النظام بتعديل الصورة لإبراز المشاة والسيارات، مما جعل برامج الكشف الخاصة بالسيارة أكثر دقة بكثير.
- تعدد الاستخدامات: يمكن للنموذج الأساسي نفسه الانتقال بين "وضع البشر"، و"وضع الأمن"، و"وضع القيادة" بمجرد تغيير الأمر النصي، دون الحاجة إلى إعادة تدريبه.
الملخص
DPOFusion هو أداة دمج صور مرنة تتعلم من التغذية الراجعة. سواء كنت إنساناً يريد صورة جميلة، أو نظام أمن يحتاج لتفاصيل واضحة، أو روبوتاً يحتاج لتجنب العوائق، فإن هذا النظام يمكنه ضبط نتيجة الدمج فوراً لتناسب احتياجاتك المحددة، مع الحفاظ على مثالية بقية الصورة. إنه ينقلنا من "نموذج واحد للجميع" إلى "الدمج على طريقتك".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.