Résumé Technique : FuScore – Apporter les Modèles de Langage Multimodaux à Grande Échelle à l'Évaluation de la Qualité de la Fusion d'Images Infrarouge-Visible

1. Énoncé du Problème

La fusion d'images infrarouge-visible (IVIF) vise à intégrer des informations thermiques et des structures spatiales détaillées dans une seule image fusionnée. Cependant, évaluer la qualité de ces images fusionnées reste un défi majeur. Les approches d'évaluation existantes souffrent de deux limitations principales :

1. Désalignement avec la Perception Humaine : Les métriques sans référence traditionnelles conçues à la main (par exemple, Entropie, Information Mutuelle, VIF) et les métriques avec référence complète (traitant les paires sources comme des vérités de base pseudo, par exemple SSIM, PSNR) échouent souvent à refléter les préférences perceptives humaines. Elles peuvent même attribuer des scores plus élevés à des images fusionnées visuellement inférieures.
2. Limitations des Approches Actuelles Basées sur les MLLM : Les efforts récents visant à utiliser des Modèles de Langage Multimodaux à Grande Échelle (MLLM) pour l'évaluation de la qualité IVIF reposent généralement sur une supervision discrète one-hot (prédire un seul niveau de qualité) ou une régression scalaire sur des scores agrégés.
   • Supervision Discrète : Force les images fusionnées de qualité similaire dans des niveaux d'évaluation distincts et rigides (par exemple, Niveau 4 vs Niveau 3), effaçant les différences perceptives subtiles.
   • Régression Scalaire : Apprend à partir des notes humaines mais échoue à exploiter les capacités de raisonnement des MLLM ou à encoder le consensus (ou l'ambiguïté) des jugements humains pour des images spécifiques.

La question centrale abordée est la suivante : Comment les MLLM peuvent-ils produire des scores de qualité IVIF continus sous une supervision qui encode le consensus d'annotation par image ?

2. Méthodologie : FuScore

Les auteurs proposent FuScore, un scoreur basé sur un MLLM qui génère des scores de qualité continus plutôt que des niveaux discrets. Le cadre se compose de trois composants principaux :

A. Génération de Scores Continus via une Sortie Distributionnelle

Au lieu d'entraîner le MLLM à émettre un seul jeton de qualité, FuScore utilise les probabilités de décodage sur cinq jetons de niveaux de qualité prédéfinis ($L = \{1, 2, 3, 4, 5\}$).

• Le modèle émet une distribution catégorielle $q_i(l)$ sur ces jetons.
• Le score continu final $\hat{y}_i$ est calculé comme l'espérance de cette distribution : $\hat{y}_i = \sum l \cdot q_i(l)$.
• Cela permet au modèle d'attribuer des scores réels fins, dans la plage $[1, 5]$, capturant des différences de qualité subtiles que la supervision discrète manquerait.

B. Construction d'Étiquettes Douces Consciente des Sous-Dimensions

Pour superviser la distribution prédite, FuScore construit une « étiquette douce » $p_i$ pour chaque image. Le centre de cette étiquette est le score humain global, mais sa netteté (largeur) est modulée dynamiquement par l'accord entre quatre sous-dimensions spécifiques à l'IVIF :

1. Rétention Thermique
2. Préservation de la Texture
3. Artéfacts
4. Netteté

Les auteurs définissent un signal de consensus $\delta_i$ comme l'écart-type de ces quatre scores de sous-dimensions.

• Haut Consensus (Faible $\delta_i$) : Lorsque les sous-dimensions s'accordent, l'étiquette douce est fortement concentrée autour du score global.
• Faible Consensus (Élevé $\delta_i$) : Lorsque les sous-dimensions ne s'accordent pas, l'étiquette est élargie pour refléter que le jugement global est moins consensuel.
  Cette approche garantit que la cible de supervision reflète fidèlement l'ambiguïté inhérente à l'annotation humaine pour des images spécifiques.

C. Objectif d'Entraînement Tripartite

FuScore emploie une fonction de perte composite pour aborder le classement à différentes échelles :

1. Supervision Distributionnelle par Image ($\mathcal{L}_{KL}$) : Aligne la distribution prédite avec l'étiquette gaussienne douce en utilisant la divergence de Kullback–Leibler.
2. Fidélité au sein de la Paire Source ($\mathcal{L}_{fid}$) : Impose une fidélité de type Thurstone pour les images provenant de la même paire source (même scène). Cela capture le classement au niveau de la méthode. La marge de paire est dérivée des largeurs d'étiquettes douces, rendant la comparaison consciente de l'incertitude.
3. Fidélité entre Paires Sources ($\mathcal{L}_{xfid}$) : Impose une fidélité de type Thurstone à travers des différentes paires sources (scènes différentes). Cela capture les variations de difficulté au niveau de la scène et garantit que le modèle généralise à travers les scènes.

La perte totale est une somme pondérée : $\mathcal{L} = \mathcal{L}_{KL} + \lambda_{fid}\mathcal{L}_{fid} + \lambda_{xfid}\mathcal{L}_{xfid}$.

3. Contributions Clés

1. FuScore : Le premier scoreur de qualité IVIF basé sur un MLLM entraîné avec une supervision au niveau de la distribution, capable de générer des scores continus pour les images fusionnées.
2. Étiquettes Douces Conscientes des Sous-Dimensions : Une méthode novatrice de construction d'étiquettes qui module la netteté de l'étiquette en fonction de l'accord entre quatre sous-dimensions spécifiques à l'IVIF, permettant à la supervision de refléter le consensus du jugement humain.
3. Objectif d'Entraînement Tripartite : Une stratégie d'optimisation conjointe combinant l'appariement distributionnel par image, la fidélité au sein de la paire source et la fidélité entre paires sources, utilisant des marges conscientes de l'incertitude dérivées de l'accord des sous-dimensions.

4. Résultats Expérimentaux

Des expériences ont été menées sur le benchmark EVAFusion (9 350 images fusionnées, 850 paires sources) et un nouveau jeu de données pilote SemanticRT 5-experts.

• Corrélation État-de-l'Art : FuScore a atteint la corrélation la plus élevée avec les préférences visuelles humaines sur toutes les métriques de rang rapportées (SRCC, PLCC, KRCC, PairAcc, Per-SP $\tau$).
  • Sur EVAFusion, l'ensemble de 3 graines a atteint un SRCC de 0,648, surpassant la meilleure base externe (ViT-L+MLP) de +0,094.
  • Il a nettement surpassé les modèles d'IQA d'images naturelles en zéro-shot (par exemple, Q-Align, DeQA-Score) et les métriques conçues à la main, indiquant que le pré-entraînement sur des images naturelles ne se transfère pas bien à l'IVIF sans supervision intra-domaine.
• Généralisation :
  • Cross-Méthode : Dans une évaluation de type leave-K-method-out, FuScore a maintenu une corrélation élevée (SRCC 0,628), seulement 0,020 en dessous de sa performance intra-distribution.
  • Cross-Jeu de Données : Sur le pilote SemanticRT (données invisibles), FuScore a atteint un SRCC de 0,561, surpassant la base ViT-L+MLP (0,471) de +0,090.
• Études d'Ablation :
  • L'objectif tripartite (spécifiquement la fidélité entre paires sources) s'est révélé être le principal moteur des gains de classement.
  • Les étiquettes douces conscientes des sous-dimensions ont modélisé avec succès l'ambiguïté de l'annotation. Les auteurs ont démontré que l'incertitude prédite ($\hat{\sigma}$) corrèle positivement avec le désaccord inter-évaluateurs humain sur le pilote SemanticRT ($\rho = 0,42$), confirmant que le conflit de haute dimension ($\delta_i$) reflète une ambiguïté humaine réelle et non simplement des compromis multi-attributs.
  • Un « plancher côté données » a été observé : sur des images avec un désaccord élevé entre sous-dimensions (haut-$\delta$), toutes les 11 méthodes évaluées (y compris FuScore) ont plafonné dans une bande de SRCC faible, suggérant une limite imposée par l'incohérence inhérente des annotations humaines pour ces images spécifiques.

5. Signification et Revendications

L'article revendique que FuScore représente une avancée significative dans l'évaluation de la qualité IVIF en :

• Combler le Fossé d'Alignement Humain : Aller au-delà des niveaux discrets rigides et de la régression scalaire pour capturer la nuance de la perception humaine et le consensus du jugement expert.
• Exploiter le Raisonnement des MLLM : Utiliser les capacités de raisonnement linguistique et visuel des MLLM (spécifiquement Qwen3-VL) d'une manière spécifiquement adaptée au domaine IVIF grâce à une supervision consciente des sous-dimensions.
• Aborder l'Ambiguïté de l'Annotation : Modéliser explicitement l'incertitude dans les notes humaines, ce qui permet au modèle d'apprendre plus robustement à partir de données d'experts bruyantes ou conflictuelles.

Les auteurs notent que bien que FuScore atteigne des résultats état-de-l'art, le plafond de performance sur les images à haute ambiguïté suggère que les améliorations futures pourraient dépendre d'annotations multi-évaluateurs plus riches permettant de démêler les artefacts d'agrégation de l'ambiguïté humaine inhérente. L'article reconnaît également le coût d'inférence de l'utilisation de grands MLLM, suggérant qu'un déploiement en temps réel nécessiterait des backbones plus petits.