Bridging Human Evaluation to Infrared and Visible Image Fusion

Cet article propose un cadre de renforcement par feedback humain, incluant le premier jeu de données à grande échelle de scores subjectifs pour la fusion d'images infrarouges et visibles, afin d'aligner les résultats de fusion sur les préférences visuelles humaines grâce à l'optimisation de politique de groupe.

L'essentiel

🌟 Le Problème : Le Chef Cuisinier qui ne goûte jamais son plat

Imaginez que vous avez deux types d'ingrédients magiques pour créer un plat unique :

1. La vision de nuit (Infrarouge) : Comme des lunettes de nuit, elle voit la chaleur des corps (les gens, les voitures) même dans le noir total, mais l'image est floue et sans détails.
2. La vision normale (Visible) : Comme nos yeux, elle voit les couleurs, les textures et les détails, mais elle est aveugle dans le brouillard ou l'obscurité.

L'objectif de la fusion d'images est de mélanger ces deux ingrédients pour créer un "plat parfait" : une image claire, détaillée, qui montre à la fois les silhouettes chaudes et les textures réelles.

Le problème actuel ?
Les chercheurs ont construit des robots-cuisiniers (les algorithmes) qui mélangent ces images. Mais ces robots sont formés uniquement sur des règles mathématiques strictes. Ils vérifient si les pixels sont alignés ou si les contrastes sont bons, comme un inspecteur qui mesure la température avec un thermomètre.

Le résultat ? Le robot produit un plat qui est "mathématiquement parfait", mais qui ressemble à un plat dégoûtant pour un humain. C'est comme un gâteau parfaitement rond et symétrique, mais qui a le goût de carton. Les humains regardent ces images fusionnées et disent : "Ça ne me plaît pas, c'est bizarre, il y a des artefacts (des défauts)".

💡 La Solution : Le "Sommelier" Humain et le Robot Apprenti

Les auteurs de ce papier (Jinyuan Liu et son équipe) ont eu une idée géniale : au lieu de demander au robot de suivre des règles mathématiques, demandons-lui de suivre les goûts des humains.

Ils ont créé un système en trois étapes, comme une école de cuisine de luxe :

1. La Création du "Menu de Goût" (Le Dataset)

Avant, personne n'avait noté systématiquement ce que les humains aiment dans ces images.

• Ce qu'ils ont fait : Ils ont pris des milliers d'images fusionnées créées par différents robots.
• L'astuce : Ils ont fait appel à des experts humains pour noter ces images sur une échelle de 1 à 5, comme des critiques gastronomiques. Ils ont noté : "Est-ce qu'on voit bien la chaleur ?", "Est-ce que les textures sont nettes ?", "Y a-t-il des défauts bizarres ?".
• L'IA qui aide : Pour ne pas passer des années à tout noter, ils ont utilisé une intelligence artificielle très avancée (GPT-4o) pour apprendre à noter comme un humain, puis les experts ont vérifié le travail.
• Résultat : Une immense bibliothèque de "goûts humains" (un dataset) qui sert de manuel de cuisine pour les robots.

2. Le "Sommelier" Numérique (Le Modèle de Récompense)

Maintenant qu'ils ont le manuel de goût, ils ont créé un Sommelier Numérique.

• C'est un petit cerveau d'IA qui regarde une image fusionnée et dit : "Ah, celle-ci est excellente, 5 étoiles ! Celle-ci a trop de bruit, 2 étoiles.".
• Ce sommelier ne se base pas sur des maths, mais sur ce qu'il a appris du "Menu de Goût" humain. Il sait repérer les défauts invisibles pour les mathématiques mais visibles pour l'œil humain.

3. La Rééducation du Robot (L'Apprentissage par Renforcement)

C'est ici que la magie opère. Ils prennent le robot-cuisinier (le réseau de fusion) et le font rééduquer.

• Le jeu : Le robot crée une image.
• Le verdict : Le Sommelier Numérique la note.
• La leçon : Si la note est basse, le robot ajuste ses "pincettes" (ses paramètres) pour essayer de faire mieux la prochaine fois. Si la note est haute, il garde cette méthode.
• La technique spéciale : Ils utilisent une méthode appelée GRPO (Optimisation de Politique Relative de Groupe). Imaginez que le robot ne regarde pas juste l'image entière, mais qu'il découpe l'image en petits morceaux (comme un puzzle) pour vérifier que chaque partie (une voiture, un arbre, un piéton) est parfaite. Il compare ensuite ses différentes tentatives pour choisir la meilleure.

🏆 Le Résultat : Un Plat qui Plait à Tout le Monde

Grâce à cette méthode, le robot a appris à créer des images qui ne sont pas seulement "justes" mathématiquement, mais belles et utiles pour les humains.

• Dans la vraie vie : Imaginez un conducteur de voiture autonome dans le brouillard. Avec les anciennes méthodes, l'image fusionnée pourrait être floue ou avoir des taches bizarres, ce qui pourrait faire rater un piéton. Avec cette nouvelle méthode, l'image est claire, nette, et le piéton est parfaitement visible, car le robot a appris à privilégier ce que l'œil humain préfère.
• Les preuves : Les tests montrent que leur méthode bat toutes les autres, tant sur les mesures techniques que sur les préférences humaines (les gens préfèrent vraiment leurs images).

En Résumé

Ce papier dit essentiellement : "Arrêtons de faire des robots qui pensent comme des calculatrices. Donnons-leur un 'estomac' et un 'œil' humains pour qu'ils créent des images que nous, humains, aimons vraiment regarder."

C'est un pont construit entre la froideur des mathématiques et la chaleur de la perception humaine. 🌉👁️✨

Résumé technique

1. Problématique

La fusion d'images infrarouge et visible (IVIF) vise à combiner les informations thermiques des images infrarouges avec les détails texturaux riches des images visibles pour améliorer la perception des scènes. Cependant, les méthodes actuelles souffrent de limitations majeures :

• Décalage avec la perception humaine : La plupart des approches optimisent des fonctions de perte manuelles et des métriques objectives (entropie, similarité structurelle, etc.) qui ne correspondent pas toujours aux préférences visuelles humaines.
• Nature mal posée du problème : Il n'existe pas de « vérité terrain » unique pour une image fusionnée, ce qui rend l'évaluation subjective difficile à intégrer dans le processus d'optimisation.
• Absence de données et de métriques centrées sur l'humain : Le domaine manque de grands ensembles de données contenant des retours humains qualitatifs et d'un mécanisme automatisé fiable pour quantifier la qualité perceptive.

2. Méthodologie

Les auteurs proposent un cadre de renforcement par feedback humain (Feedback Reinforcement Framework) qui intègre directement l'évaluation subjective dans le pipeline de fusion. L'approche se décompose en trois étapes clés :

A. Construction d'un ensemble de données de feedback humain à grande échelle

Pour pallier le manque de données, l'équipe a créé le premier grand ensemble de données de feedback humain dédié à l'IVIF :

• Collecte : 850 paires d'images (infrarouge/visible) provenant de 8 jeux de données de référence, fusionnées par 11 modèles représentatifs, générant 9 350 images fusionnées.
• Annotation hybride : Une approche collaborative combine l'expertise humaine et les grands modèles de langage (LLM).
  • Des experts ont annoté un « jeu de données semence » de 100 images avec des scores fins et des masques d'artefacts.
  • Le modèle GPT-4o, affiné sur ces données, a annoté l'ensemble des 9 350 images.
  • Une révision par des experts a validé la qualité des annotations.
• Dimensions d'évaluation : Chaque image reçoit des scores (1-5) sur quatre dimensions : rétention thermique, rétention de texture, niveau d'artefacts et netteté, accompagnés de cartes thermiques (heatmaps) localisant les artefacts.

B. Modèle de Récompense Orienté Fusion (Fusion-Oriented Reward Model)

Un modèle de récompense est entraîné sur cet ensemble de données pour quantifier la qualité perceptive :

• Architecture : Basée sur un modèle Vision-Language (ViT). Les images infrarouge, visible et fusionnée sont encodées par un ViT partagé.
• Fonctionnalités : Le modèle prédit simultanément :
  1. Quatre scores fins (rétention thermique, texture, etc.) via une branche de régression.
  2. Une carte d'artefacts (probabilité de présence d'artefacts) via une branche de segmentation.
• Entraînement : Optimisé conjointement avec une perte d'erreur quadratique moyenne (MSE) pour les scores et les cartes thermiques.

C. Optimisation de la Politique par RLHF (Group Relative Policy Optimization)

Le réseau de fusion (basé sur le cadre DCEvo) est affiné (fine-tuning) en utilisant l'apprentissage par renforcement à partir du feedback humain (RLHF) :

• Stratégie GRPO : Inspiré de la Group Relative Policy Optimization, le système segmente l'image fusionnée en régions sémantiques clés à l'aide du modèle SAM (Segment Anything Model).
• Calcul de l'avantage : Les scores du modèle de récompense sont calculés pour chaque région. Un avantage relatif normalisé est déterminé au sein de chaque groupe de régions pour guider la mise à jour de la politique.
• Objectif : Maximiser la fonction de récompense tout en régularisant la divergence KL pour éviter que le modèle ne s'éloigne trop de la politique de référence initiale.

3. Contributions Clés

1. Cadre de renforcement par feedback : Une nouvelle architecture qui intègre explicitement les préférences humaines subjectives dans le processus de fusion d'images, comblant le fossé entre les métriques objectives et la perception humaine.
2. Premier jeu de données IVIF centré sur l'humain : Création d'un ensemble de données à grande échelle (9 350 images) avec des scores multidimensionnels et des annotations d'artefacts, enrichi par l'IA et validé par des experts.
3. Stratégie d'apprentissage par renforcement adaptée : Développement d'une fonction de récompense et d'une stratégie d'optimisation (GRPO) spécifiques à l'IVIF, permettant aux modèles de mieux capturer les préférences visuelles humaines.

4. Résultats Expérimentaux

Les performances ont été évaluées sur plusieurs jeux de données (TNO, RoadScene, M3FD, FMB) et comparées à 13 méthodes de l'état de l'art (SOTA) :

• Qualité de fusion (Métriques objectives) : La méthode proposée obtient les meilleurs résultats en termes de Corrélation Croisée (CC) et de PSNR sur tous les jeux de données, surpassant les méthodes existantes comme CDDFuse, DDFM et TarDAL.
• Qualité sans référence : Elle domine également les métriques NIQE et BRISQUE, indiquant une meilleure qualité naturelle de l'image.
• Préférences humaines : Une étude subjective avec des experts et des non-experts montre que les images générées par cette méthode sont systématiquement mieux classées que celles des autres méthodes.
• Tâches en aval (Segmentation et Détection) : Les images fusionnées améliorent significativement les performances de segmentation sémantique et de détection d'objets (ex: détection de piétons dans le brouillard, véhicules la nuit), surpassant les méthodes concurrentes en précision (mAP et mIoU).
• Études d'ablation : La suppression de la branche de prédiction de scores, de la carte thermique ou de la segmentation SAM entraîne une dégradation des performances, validant l'importance de chaque composant du cadre.

5. Signification et Impact

Ce travail représente une avancée majeure dans le domaine de la fusion d'images en déplaçant le paradigme d'optimisation :

• Changement de focus : Il passe d'une optimisation purement mathématique (minimisation d'erreur pixel) à une optimisation guidée par la perception humaine.
• Solution au problème mal posé : En utilisant le feedback humain comme superviseur ultime via le RLHF, le papier propose une solution robuste au manque de vérité terrain unique en IVIF.
• Applicabilité : Les résultats montrent que cette approche est cruciale pour des applications critiques où la perception humaine est primordiale, telles que la surveillance de sécurité, l'assistance à la conduite autonome et le reconnaissance militaire.

En résumé, cette recherche établit un nouveau standard pour l'évaluation et l'optimisation des systèmes de fusion d'images, en démontrant que l'intégration directe du feedback humain via l'apprentissage par renforcement permet de générer des images fusionnées plus réalistes, plus informatives et plus agréables à l'œil humain.