💻 computer science

Bringing Multimodal Large Language Models to Infrared-Visible Image Fusion Quality Assessment

تقدم هذه الورقة البحثية FuScore، وهو إطار عمل مبتكر لتقييم جودة دمج الصور بالأشعة تحت الحمراء والمرئية، يستفيد من النماذج اللغوية الكبيرة متعددة الوسائط لتوليد درجات جودة مستمرة ويستخدم هدفاً ثلاثي الأجزاء مع تسميات ناعمة، مما يحقق ارتباطاً متطوراً مع التفضيلات البصرية البشرية من خلال التغلب على قيود طرق التقييم الحالية المنفصلة والعددية.

المؤلفون الأصليون: Yuchen Guo, Junli Gong, Yao Lu, Xintong Xu, Yiuming Cheung, Weifeng Su

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuchen Guo, Junli Gong, Yao Lu, Xintong Xu, Yiuming Cheung, Weifeng Su

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "جلب النماذج اللغوية الكبيرة متعددة الوسائط إلى تقييم جودة دمج الصور بالأشعة تحت الحمراء والمرئية" (FuScore)، باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: مزج كاميرتين في واحدة

تخيل أن لديك كاميرتين تلتقطان صورة لنفس المشهد في الليل.

الكاميرا (أ) (الأشعة تحت الحمراء): ترى الحرارة. يمكنها رصد شخص مختبئ في الظلام لأنه دافئ، لكن الصورة تبدو ضبابية وتفتقر إلى التفاصيل.
الكاميرا (ب) (المرئية): ترى الضوء. تظهر تفاصيل حادة مثل أغصان الأشجار أو لافتات الطرق، ولكن إذا كان الوقت مظلماً جداً، تصبح الصورة سوداء تماماً.

دمج الصور (Image Fusion) هو عملية دمج هاتين الصورتين في "صورة خارقة" واحدة تمتلك كلاً من اكتشاف الحرارة والتفاصيل الحادة. وهذا أمر بالغ الأهمية لأشياء مثل السيارات ذاتية القيادة أو أنظمة الأمن.

المشكلة: كيف نعرف أن "الصورة الخارقة" جيدة؟

تجادل الورقة البحثية بأن الطرق الحالية للحكم على هذه "الصور الخارقة" معطلة.

الطريقة القديمة (المعادلات الرياضية): اعتاد العلماء استخدام معادلات رياضية جامدة (مثل عد كمية "المعلومات" في الصورة). تقول الورقة إن هذا يشبه الحكم على وصفة حساء فقط عن طريق عد عدد الجزر والبطاطس. قد يكون لديك الكثير من المكونات، لكن الحساء قد يظل طعمه سيئاً. هذه المعادلات غالباً ما تعطي درجات عالية لصور قبيحة وضبابية.
طريقة الذكاء الاصطناعي "أحادية النمط" (One-Hot): مؤخراً، حاول الناس استخدام الذكاء الاصطناعي (النماذج اللغوية الكبيرة) للحكم على الصور. لكنهم أجبروا الذكاء الاصطناعي على اختيار درجة مثل تقرير مدرسي: "1، 2، 3، 4، أو 5".
- الخلل: تخيل أن طالبين حصلا على 94.5 و 94.8. إذا أجبرتهم على الدخول في فئات "أ" أو "ب"، فستفقد الدقة. تقول الورقة إن إجبار الذكاء الاصطناعي على اختيار مستوى رقمي صحيح واحد (مثل "المستوى 4") يجعله يفقد الفروق الدقيقة والمهمة بين صورتين متشابهتين جداً. الأمر يشبه القول بأن لوحتين متطابقتين تقريباً تنتميان إلى معارض فنية مختلفة تماماً لمجرد أن إحداهما حصلت على "4" والأخرى حصلت على "3".

الحل: FuScore

ابتكر المؤلفون FuScore، وهو حكم ذكاء اصطناعي جديد يعمل أكثر مثل خبير بشري.

1. تشبيه "الدرجة المستمرة"

بدلاً من سؤال الذكاء الاصطناعي: "هل هذه 4 أم 5؟"، يسأل FuScore: "على مقياس من 1 إلى 5، أين تقع هذه الصورة بالضبط؟"

الذكاء الاصطناعي القديم: "هذه 4." (متقطع)
FuScore: "هذه 4.75." (مستمر)
هذا يسمح للذكاء الاصطناعي بالتمييز بين صورتين متطابقتين تقريباً، وهو أمر حيوي لضبط تقنية الدمج بدقة.

2. تشبيه "إجماع المجموعة"

كيف يعرف FuScore مدى دقة درجته؟ إنه ينظر إلى أربعة معايير محددة تُستخدم للحكم على هذه الصور:

الاحتفاظ بالحرارة: هل حافظت على البقع الدافئة؟
النسيج (Texture): هل التفاصيل حادة؟
العيوب (Artifacts): هل هناك خلل غريب أو ضجيج؟
الحدة (Sharpness): هل الصورة واضحة؟

السيناريو (أ) (الاتفاق): إذا قالت المعايير الأربعة: "هذه صورة رائعة"، فإن FuScore يعطي درجة حادة وواثقة (مثلاً 4.8).
السيناريو (ب) (الاختلاف): إذا كانت الصورة تحتوي على حرارة رائعة ولكن بها عيوب سيئة، فإن المعايير الأربعة تتجادل مع بعضها البعض. يدرك FuScore قائلاً: "همم، قد يختلف البشر حول هذه الصورة". لذا، فإنه يعطي نطاق درجات أوسع وأكثر غموضاً ليعكس حالة عدم اليقين هذه. إنه يشبه معلماً يقول: "هذا المقال جيد، ولكن بما أن القواعد والقصة متناقضتان، فأنا لست متأكداً بنسبة 100% أين أضع الدرجة".

3. "التدريب ثلاثي الأجزاء"

لتعليم هذا الذكاء الاصطناعي، لم يكتفِ المؤلفون بإظهار صورة واحدة في كل مرة، بل استخدموا استراتيجية تدريب مكونة من ثلاثة أجزاء:

الجزء 1 (الفردي): تعليم الذكاء الاصطناعي إعطاء الدرجة الصحيحة لصورة واحدة بناءً على "إجماع" المعايير الأربعة.
الجزء 2 (نفس المشهد): عرض صورتين لنفس المشهد تم إنتاجهما بطرق مختلفة على الذكاء الاصطناعي. وسؤاله: "أيهما أفضل؟" هذا يعلمه كيفية ترتيب الطرق بإنصاف.
الجزء 3 (مشاهد مختلفة): عرض صور من مشاهد مختلفة (مثل غابة مقابل مدينة) على الذكاء الاصطناعي. هذا يعلمه أن بعض المشاهد أصعب في الدمج من غيرها، حتى لا يرتبك بسبب صعوبة الخلفية.

النتائج

اختبرت الورقة البحثية FuScore مقابل:

الصيغ الرياضية القديمة.
أحكام ذكاء اصطناعي أخرى.
الخبراء البشر.

النتيجة: طابق FuScore التفضيلات البشرية بشكل أفضل من أي طريقة أخرى. لقد كان بارعاً بشكل خاص في رصد الفروق الصغيرة بين الصور عالية الجودة التي فاتتها الطرق الأخرى. كما أثبت أنه عندما تختلف المعايير الأربعة (الحرارة، النسيج، إلخ)، يختلف الخبراء البشر أيضاً، مما يثبت أن ميزة "عدم اليقين" في FuScore حقيقية ومفيدة.

الملخص

FuScore هو حكم ذكاء اصطناعي جديد للصور المدمجة، يتوقف عن معاملة الجودة كاختبار متعدد الخيارات. بدلاً من ذلك، يعمل كنقاد بشري دقيق، حيث يعطي درجات عشرية دقيقة ويعترف عندما تكون الصورة صعبة الحكم عليها بسبب تضارب أجزائها المختلفة. إنه يتعلم من خلال النظر في الاتفاق بين عوامل الجودة المختلفة ومن خلال مقارنة الصور جنباً إلى جنب، مما ينتج عنه نظام يفهم الذوق البشري بشكل أفضل بكثير من الصيغ الرياضية القديمة أو درجات الذكاء الاصطناعي الجامدة.

ملخص تقني: FuScore – جلب النماذج اللغوية الكبيرة متعددة الوسائط إلى تقييم جودة دمج الصور تحت الحمراء والمرئية

1. بيان المشكلة

يهدف دمج الصور تحت الحمراء والمرئية (IVIF) إلى دمج المعلومات الحرارية والهياكل المكانية التفصيلية في صورة واحدة مدمجة. ومع ذلك، لا يزال تقييم جودة هذه الصور المدمجة يمثل تحديًا كبيرًا. تعاني أساليب التقييم الحالية من قصورين رئيسيين:

عدم التوافق مع الإدراك البشري: تفشل المقاييس التقليدية المصممة يدويًا والتي لا تعتمد على مرجع (مثل الإنتروبيا، والمعلومات المتبادلة، وVIF) والمقاييس التي تعتمد على مرجع كامل (التي تعامل أزواج المصادر كحقائق أرضية زنيفة، مثل SSIM وPSNR) في عكس التفضيلات الإدراكية البشرية. بل قد تمنح درجات أعلى لصور مدمجة أقل جودة بصريًا.
قصور النهج الحالية القائمة على النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs): تعتمد الجهود الأخيرة لاستخدام النماذج اللغبية الكبيرة متعددة الوسائط لتقييم جودة IVIF عادةً على الإشراف بنظام "الواحد الساخن" المنفصل (التنبؤ بمستوى جودة واحد) أو الانحدار القياسي على درجات مجمعة.
- الإشراف المنفصل: يجبر الصور المدمجة ذات الجودة المتشابهة على مستويات تصنيف منفصلة وصلبة (على سبيل المثال، المستوى 4 مقابل المستوى 3)، مما يؤدي إلى انهيار الفروق الإدراكية الدقيقة.
- الانحدار القياسي: يتعلم من التقييمات البشرية ولكنه يفشل في الاستفيد من قدرات الاستدلال للنماذج اللغبية الكبيرة متعددة الوسائط أو ترميز "الإجماع" (أو الغموض) في الأحكام البشرية لصور محددة.

السؤال الجوهري الذي يتم معالجته هو: كيف يمكن للنماذج اللغبية الكبيرة متعددة الوسائط إنتاج درجات جودة مستمرة لـ IVIF تحت إشراف يرمز لإجماع التقييم لكل صورة؟

2. المنهجية: FuScore

يقترح المؤلفون FuScore، وهو مقيّم يعتمد على MLLM يقوم بتوليد درجات جودة مستمرة بدلاً من المستويات المنفصلة. يتكون الإطار من ثلاثة مكونات رئيسية:

أ. توليد الدرجة المستمرة عبر المخرجات التوزيعية

بدلاً من تدريب الـ MLLM على إصدار رمز جودة واحد، يستخدم FuScore احتمالات فك الترميز عبر خمسة رموز لمستويات الجودة المحددة مسبقًا ( $L = \{1, 2, 3, 4, 5\}$ ).

يُنتج النموذج توزيعًا فئويًا $q_i(l)$ عبر هذه الرموز.
يتم حساب الدرجة المستمرة النهائية $\hat{y}_i$ كقيمة متوقعة لهذا التوزيع: $\hat{y}_i = \sum l \cdot q_i(l)$ .
يسمح هذا للنموذج بتعيين درجات دقيقة ذات قيم حقيقية ضمن النطاق $[1, 5]$ ، مما يلتقط الفروق الدقيقة في الجودة التي قد يغفل عنها الإشراف المنفصل.

ب. بناء الملصقات الناعمة المدركة للأبعاد الفرعية

للإشراف على التوزيع المتوقع، يبني FuScore "ملصقًا ناعمًا" $p_i$ لكل صورة. يكون مركز هذا الملصق هو الدرجة البشرية الإجمالية، ولكن "حدة" (عرض) هذا الملصق يتم تعديلها ديناميكيًا بواسطة الاتفاق بين أربعة أبعاد فرعية خاصة بـ IVIF:

الاحتفاظ الحراري (Thermal Retention)
الحفاظ على الملمس (Texture Preservation)
العيوب (Artifacts)
الحدة (Sharpness)

يعرف المؤلفون إشارة الإجماع $\delta_i$ بأنها الانحراف المعياري لدرجات هذه الأبعاد الفرعية الأربعة.

إجماع عالٍ ( $\delta_i$ منخفض): عندما تتفق الأبعاد الفرعية، يكون الملصق الناعم مركزًا بحدة حول الدرجة الإجمالية.
إجماع منخفض ( $\delta_i$ مرتفع): عندما تختلف الأبعاد الفرعية، يتم توسيع الملصق ليعكس أن الحكم الإجمالي أقل إجماعًا.
يضمن هذا النهج أن هدف الإشراف يعكس بصدق الغموض المتأصل في التقييم البشري لصور محددة.

ج. هدف التدريب الثلاثي

يستخدم FuScore دالة خسارة مركبة لمعالجة الترتيب في نطاقات مختلفة:

الإشراف التوزيعي لكل صورة ( $\mathcal{L}_{KL}$ ): يطابق التوزيع المتوقع مع الملصق الغاوسي الناعم باستخدام تباعد كولباك - ليبلر.
الأمانة داخل زوج المصدر الواحد ( $\mathcal{L}_{fid}$ ): يفرض أمانة من نمط ثرستون (Thurstone-style) للصور من نفس زوج المصدر (نفس المشهد). هذا يلتقط الترتيب على مستوى الطريقة. ويتم اشتقاق هامش الزوج من عروض الملصقات الناعمة، مما يجعل المقارنة واعية بعدم اليقين.
الأمانة عبر أزواج المصادر المختلفة ( $\mathcal{L}_{xfid}$ ): يفرض أمانة من نمط ثرستون عبر أزواج مصادر مختلفة (مشاهد مختلفة). هذا يلتقط اختلافات الصعوبة على مستوى المشهد ويضمن تعميم النموذج عبر المشاهد.

إجمالي الخسارة هو مجموع موزون: $\mathcal{L} = \mathcal{L}_{KL} + \lambda_{fid}\mathcal{L}_{fid} + \lambda_{xfid}\mathcal{L}_{xfid}$ .

3. المساهمات الرئيسية

FuScore: أول مقيّم لجودة IVIF يعتمد على MLLM ويتم تدريبه باستخدام الإشراف على مستوى التوزيع، وهو قادر على توليد درجات مستمرة للصور المدمجة.
الملصقات الناعمة المدركة للأبعاد الفرعية: طريقة مبتكرة لبناء الملصقات تقوم بتعديل حدة الملصق بناءً على الاتفاق بين أربعة أبعاد فرعية خاصة بـ IVIF، مما يسمح للإشراف بعكس إجماع الحكم البشري.
هدف التدريب الثلاثي: استراتيجية تحسين مشتركة تجمع بين مطابقة التوزيع لكل صورة، والأمانة داخل زوج المصدر، والأمانة عبر أزواج المصادر، باستخدام هوامش واعية بعدم اليقين مشتقة من الاتفاق بين الأبعاد الفرعية.

4. النتائج التجريبية

أُجريت التجارب على معيار EVAFusion (9,350 صورة مدمجة، 850 زوجًا من المصادر) ومجموعة بيانات جديدة SemanticRT 5-expert pilot.

ارتباط الحالة الراهنة (SOTA): حقق FuScore أعلى ارتباط مع التفضيلات البصرية البشرية عبر جميع مقاييس الترتيب المسجلة (SRCC, PLCC, KRCC, PairAcc, Per-SP $\tau$ $τ$ ).
- في EVAFusion، حقق تجمع الـ 3-seed درجة SRCC بلغت 0.648، متفوقًا على أقوى خط أساس خارجي (ViT-L+MLP) بمقدار +0.094.
- تفوق بشكل كبير على نماذج IQA للصور الطبيعية ذات الصفر المعرفي (مثل Q-Align وDeQA-Score) والمقاييس المصممة يدويًا، مما يشير إلى أن التدريب المسبق للصور الطبيعية لا ينتقل جيدًا إلى IVIF دون إشراف ضمن المجال.
التعميم:
- عبر الطرق (Cross-Method): في تقييم "ترك طريقة واحدة خارج المجموعة" (leave-K-method-out)، حافظ FuScore على ارتباط عالٍ (SRCC 0.628)، بفارق 0.020 فقط عن أدائه داخل التوزيع.
- عبر مجموعات البيانات (Cross-Dataset): في مجموعة SemanticRT pilot (بيانات غير مرئية)، حقق FuScore درجة SRCC بلغت 0.561، متفوقًا على خط الأساس ViT-L+MLP (0.471) بمقدار +0.090.
دراسات الاستئصال (Ablation Studies):
- ثبت أن الهدف الثلاثي (وتحديدًا الأمانة عبر أزواج المصادر) هو المحرك الرئيسي لمكاسب الترتيب.
- نجحت الملصقات الناعمة المدركة للأبعاد الفرعية في نمذجة الغموض في التدوين. أظهر المؤلفون أن عدم اليقين المتوقع ( $\hat{\sigma}$ ) يرتبط إيجابيًا بالاختلاف بين المقيمين البشريين في SemanticRT pilot ( $\rho = 0.42$ )، مما يؤكد أن الصراع متعدد الأبعاد ( $\delta_i$ ) يعكس بالفعل الغموض البشري بدلاً من مجرد مقايضات بين السمات.
- لوحظ وجود "أرضية من جانب البيانات" (data-side floor): في الصور ذات الاختلاف العالي في الأبعاد الفرعية (عالية- $\delta$ )، استقرت جميع الطرق الـ 11 التي تم تقييمها (بما في ذلك FuScore) عند نطاق منخفض من SRCC، مما يشير إلى حد تفرضه عدم الاتساق المتأصل في التدوينات البشرية لهذه الصور تحديدًا.

5. الأهمية والادعاءات

يدعي البحث أن FuScore يمثل خطوة كبيرة للأمام في تقييم جودة IVIF من خلال:

سد فجوة التوافق البشري: تجاوز المستويات المنفصلة الصلبة والانحدار القياسي لالتقاط دقة الإدراك البشري وإجماع حكم الخبراء.
الاستفادة من استدلال MLLM: استخدام القدرات اللغوية والبصرية للنماذج اللغبية الكبيرة متعددة الوسائط (تحديدًا Qwen3-VL) بطريقة مصممة خصيصًا لمجال IVIF من خلال الإشراف المدرك للأبعاد الفرعية.
معالجة غموض التدوين: نمذجة عدم اليقين في التقييمات البشرية صراحةً، مما يسمما للنموذج بالتعلم بشكل أكثر قوة من البيانات البشرية الضوضائية أو المتضاربة.

يشير المؤلفون إلى أنه بينما يحقق FuScore نتائج رائدة، فإن سقف الأداء في الصور عالية الغموض يشير إلى أن التحسينات المستقبلية قد تعتمد على تدوينات أغنى من عدة مقيمين يمكنها فصل آثار التجميع عن الغموت البشري المتأصل. كما يقر البحث بتكلفة الاستدلال لاستخدام النماذج اللغبية الكبيرة متعددة الوسائط، مما يوحي بأن النشر في الوقت الفعلي سيتطلب هياكل خلفية أصغر.