💻 computer science

Fusion in Your Way: Aligning Image Fusion with Heterogeneous Demands via Direct Preference Optimization

Ce papier propose DPOFusion, un cadre d'optimisation de préférence directe qui intègre des modèles de diffusion latente alignés sur les propriétés et contrôlables par préférence pour réaliser une fusion adaptative d'images infrarouges et visibles capable de s'aligner sur des demandes hétérogènes de vision humaine et machine.

Auteurs originaux : Weijian Su, Songqian Zhang, Yuqi Han, Jian Zhuang, Yongdong Huang, Qiang Zhang

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Weijian Su, Songqian Zhang, Yuqi Han, Jian Zhuang, Yongdong Huang, Qiang Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez deux caméras prenant une photo de la même scène en même temps. L'une est une caméra visible (comme votre téléphone), qui voit de superbes couleurs et textures mais peine dans l'obscurité. L'autre est une caméra infrarouge, qui voit clairement les signatures thermiques dans le noir mais ressemble à un fantôme thermique flou, en noir et blanc.

La fusion d'images est l'art de mélanger ces deux photos en une seule image parfaite qui offre le meilleur des deux mondes.

Le Problème : « Une taille unique ne convient pas à tous »

L'article souligne un gros problème avec les méthodes de fusion actuelles : elles sont rigides.

Imaginez que vous demandiez à un chef de cuisiner un steak.

Un humain pourrait dire : « Je le veux saignant avec une belle croûte. »
Un agent de sécurité pourrait dire : « Je ne me soucie pas du goût ; je dois juste voir le visage de la personne clairement pour l'identifier. »
Une voiture autonome pourrait dire : « Je dois voir parfaitement le bord de la route pour éviter de heurter un piéton. »

Les modèles de fusion actuels sont comme un chef qui ne peut cuisiner que d'une manière spécifique. Si vous voulez un résultat différent, vous devez engager un tout nouveau chef (entraîner un nouveau modèle d'IA) avec une nouvelle recette. C'est lent, coûteux et peu flexible.

La Solution : « La fusion à votre façon »

Les auteurs proposent un nouveau système appelé DPOFusion. Imaginez cela comme un super-chef doté d'un cadran de réglage des « papilles gustatives ».

Au lieu de cuisiner un nouveau plat à partir de zéro pour chaque client, ce chef commence avec un plat de base de haute qualité, puis l'ajuste instantanément en fonction exactement de ce que vous demandez.

Voici comment cela fonctionne, décomposé en étapes simples :

1. Le Générateur de « Menu Dégustation » (PALDM)

D'abord, le système crée un « menu dégustation » de nombreux résultats de fusion différents.

Il prend les deux photos sources (visible et infrarouge).
Il utilise une IA spéciale (un Modèle de Diffusion Latente) pour générer une grande variété d'images mélangées. Certaines pourraient être à 90 % infrarouge, d'autres à 50/50, certaines avec plus de texture, d'autres avec un meilleur contraste.
Analogie : Imaginez un peintre qui esquisse rapidement 50 versions différentes d'un paysage, chacune avec un éclairage ou un point de mise au point légèrement différent. Cela donne au système un vaste réservoir d'options à choisir.

2. Le « Test de Goût » (Collecte des Préférences)

Maintenant, le système doit savoir quelle version est la « meilleure ». Mais la « meilleure » dépend de celui qui demande.

Pour les Humains : Une personne regarde les esquisses et dit : « J'aime la texture sur la voiture ici, mais le ciel paraît étrange. » Elle marque les bonnes parties et les mauvaises.
Pour les Machines : Une caméra de sécurité (IA de détection d'objets) regarde les esquisses et dit : « Je ne vois pas la personne sur celle-ci, mais je la vois clairement sur celle-là. »
Pour les Critiques IA : Un modèle de langage intelligent (VLM) agit comme un critique gastronomique, classant les images selon leur qualité technique (netteté, absence de bruit, couleurs naturelles).

3. Le « Cadran Magique » (Optimisation Directe des Préférences - IDPO)

C'est l'ingrédient secret de l'article. Au lieu de réentraîner tout le chef, ils utilisent une technique appelée Optimisation Directe des Préférences (DPO).

L'Ancienne Façon : Pour enseigner à un modèle une nouvelle préférence, vous devez généralement le réentraîner depuis zéro, ce qui équivaut à envoyer le chef retourner à l'école de cuisine pendant un an.
La Façon DPO : Le système regarde l'image « Gagnante » (ce que vous avez aimé) et l'image « Perdante » (ce que vous n'avez pas aimé). Il effectue ensuite un ajustement minuscule et précis au cerveau du chef pour que la prochaine image ressemble davantage à la gagnante.

L'Astuce du « Masque » (Optimisation Directe des Préférences par Instance) :
Parfois, vous ne voulez changer qu'une partie de l'image.

Exemple : « Rendez la voiture plus claire, mais ne touchez pas au ciel. »
Le système utilise un masque (comme un pochoir). Il dit à l'IA : « Ajustez uniquement les pixels à l'intérieur de ce pochoir pour correspondre à la préférence. Gardez tout ce qui est à l'extérieur du pochoir exactement identique. »
Cela garantit que si vous demandez de meilleurs détails sur la voiture, vous ne gâchez pas accidentellement le ciel ou l'arrière-plan.

Les Résultats

L'article a testé ce système de « Cadran Magique » sur des ensembles de données réels (comme des scènes de rue nocturnes).

Feedback Humain : Lorsqu'on lui a demandé de rendre les images plus naturelles, le système a ajusté les couleurs et les textures parfaitement.
Feedback Machine : Lorsqu'on lui a demandé d'aider une voiture autonome à « mieux voir », le système a ajusté l'image pour mettre en évidence les piétons et les voitures, rendant le logiciel de détection de la voiture beaucoup plus précis.
Polyvalence : Le même modèle de base pouvait passer du « Mode Humain » au « Mode Sécurité » et au « Mode Conduite » simplement en changeant l'invite, sans avoir besoin d'être réentraîné.

Résumé

DPOFusion est un mélangeur d'images flexible qui apprend des retours d'information. Que vous soyez un humain souhaitant une belle photo, un système de sécurité ayant besoin de détails clairs, ou un robot devant éviter des obstacles, ce système peut ajuster instantanément le résultat de la fusion pour répondre à vos besoins spécifiques, tout en gardant le reste de l'image parfait. Il nous fait passer d'« un modèle pour tous » à « la fusion à votre façon ».

Résumé Technique : DPOFusion

Énoncé du Problème

La fusion d'images infrarouges et visibles (IVIF) vise à intégrer des informations spectrales complémentaires pour améliorer la perception humaine et optimiser les tâches de vision en aval. Cependant, les méthodes existantes font face à une limitation critique : elles peinent à accommoder de manière flexible des exigences hétérogènes. Différents utilisateurs et applications privilégient des objectifs contradictoires, tels que la qualité globale de l'image, l'apparence naturelle, ou une adéquation spécifique à des tâches de vision par machine comme la détection d'objets et la segmentation. Les approches basées sur l'apprentissage actuelles nécessitent généralement des modèles distincts et des stratégies d'entraînement complexes pour chaque exigence spécifique, manquant d'un cadre unifié capable d'une fusion adaptative alignée sur des préférences humaines et machine diverses.

Méthodologie

Les auteurs proposent DPOFusion, un cadre qui exploite l'Optimisation Directe des Préférences (DPO) pour aligner la fusion d'images sur des exigences hétérogènes. Le cadre se compose de deux composants principaux et d'un pipeline de collecte de données :

1. Modèle de Diffusion Latente Aligné sur les Propriétés (PALDM)

PALDM sert de générateur de candidats. Il est conçu pour produire des résultats de fusion diversifiés et de haute qualité aux propriétés variées.

Fusion Latente Antérieure : Un modèle de fusion latente antérieure ( $\epsilon_{lfm}$ ) est d'abord entraîné à l'aide d'une fonction de perte de fusion conjointe pour guider le processus de génération.
Perte Conditionnelle Conjointe : Pour générer des candidats diversifiés, PALDM emploie une perte conditionnelle conjointe. Il entraîne un modèle de diffusion latente à débruyer à la fois des latents fusionnés standards et des latents interpolés selon les propriétés (créés par interpolation linéaire des latents sources et du latent fusionné antérieur). Cela permet au modèle d'aligner les sorties générées sur des invites textuelles descriptives de propriétés spécifiques (par exemple, « principalement des informations infrarouges »).

2. Modèle de Diffusion Latente Contrôlé par Préférence (PCLDM)

PCLDM est un module de fine-tuning qui ajuste les résultats de fusion en fonction de signaux de préférence spécifiques.

Architecture : Il s'initialise à partir du PALDM figé ( $\epsilon_{ref}$ ) et introduit une branche entraînables connectée via une convolution 1 $\times$ 1 initialisée à zéro. Cette structure préserve les capacités de fusion fondamentales tout en permettant une adaptation rapide à de nouvelles préférences.
Optimisation Directe des Préférences par Instance (IDPO) : C'est l'innovation centrale. Contrairement à la DPO standard qui optimise globalement, l'IDPO applique une supervision des préférences uniquement au sein d'une région d'intérêt masquée tout en imposant une cohérence stricte au niveau des pixels ailleurs.
- Fonction de Perte : La perte IDPO ( $L_{IDPO}$ ) combine une perte d'alignement des préférences pour la région masquée (encourageant le modèle à préférer l'échantillon « gagnant » par rapport à l'échantillon « rejeté ») et une perte de cohérence pour les régions non masquées (assurant que la sortie reste proche du modèle de référence figé). Cela équilibre l'adaptation localisée avec la fidélité globale.

3. Collecte de Données de Préférence

Le cadre collecte des données de préférence hétérogènes à partir de trois sources pour créer des paires d'entraînement ( $I_w^0 \succ I_l^0$ ) avec des masques correspondants ( $I_m$ ) :

Feedback Humain (RLHF) : Des annotateurs humains sélectionnent les régions préférées dans les images candidates.
Modèles Vision-Language (RLVF) : Des VLM (spécifiquement QWEN3-Omni-Think) classent les candidats en fonction de la qualité technique de l'image (netteté, artefacts, etc.).
Modèles Pilotés par la Tâche (RLDF) : Des modèles en aval (YOLOv11 pour la détection, SegFormer pour la segmentation) évaluent les candidats. Les échantillons préférés/rejetés sont déterminés par des métriques de performance de tâche (mAP, mIoU), et les masques sont dérivés des régions cibles ou des patches de détection.

Contributions Clés

Cadre Unifié : DPOFusion présente un cadre unique capable de s'adapter à des préférences d'utilisateurs diverses (humaines, VLM) et à des tâches de vision par machine (détection, segmentation) sans nécessiter de modèles distincts pour chacun.
Optimisation Directe des Préférences par Instance (IDPO) : Les auteurs introduisent l'IDPO, une adaptation novatrice de la DPO pour la fusion d'images. En restreignant l'optimisation des préférences à des régions masquées spécifiques, l'IDPO atteint un alignement local précis sans dégrader la structure ou la cohérence globale de l'image.
Génération Alignée sur les Propriétés : L'intégration du PALDM avec une perte conditionnelle conjointe permet la génération d'un pool riche de candidats diversifiés, facilitant une annotation et un fine-tuning des préférences efficaces.
Adaptabilité Orientée Tâche : Le cadre démontre la capacité à affiner les sorties de fusion spécifiquement pour améliorer les performances des tâches en aval (par exemple, améliorer la segmentation de petites cibles ou la détection d'objets denses) tout en maintenant la qualité visuelle.

Résultats Expérimentaux

Les auteurs ont évalué DPOFusion sur des ensembles de données réels (LLVIP, MSRS, RoadScene, M3FD) contre neuf méthodes de l'état de l'art (par exemple U2Fusion, DDFM, SHIP, Text-IF).

Alignement Humain et VLM : Les métriques quantitatives (Entropie, Écart-type, Gradient Moyen, MUSIQ, CNNIQA) montrent que les variantes de DPOFusion (RLHF et RLVF) atteignent des performances de l'état de l'art. Les résultats qualitatifs indiquent une préservation supérieure des textures et une apparence naturelle, en particulier dans des scénarios de faible luminosité et d'éclairage complexe.
Performance des Tâches en Aval :
- Segmentation Sémantique : La variante RLDF-Seg a obtenu une amélioration de 0,5 % du mIoU par rapport aux bases de référence, avec des résultats qualitatifs montrant une meilleure segmentation des petites cibles.
- Détection d'Objets : La variante RLDF-OD a obtenu une amélioration de 4,2 % du mAP, démontrant une capture efficace des caractéristiques pour les cibles denses et petites.
Études d'Ablation : Les expériences ont confirmé que la perte conditionnelle conjointe dans PALDM produit des candidats de meilleure qualité et que l'IDPO surpasse significativement la DPO standard et la perte contrastive dans l'alignement avec les préférences tout en préservant la cohérence globale.
Efficacité : Bien que basé sur la diffusion, DPOFusion opère dans un espace latent compressé, réduisant le temps d'inférence à 1,7 s par image (contre 7,8 s pour DDFM), le rendant plus efficace que d'autres méthodes de fusion génératives.

Importance et Revendications

L'article revendique que DPOFusion résout avec succès le « problème ouvert et difficile » d'atteindre une fusion adaptative qui s'aligne sur diverses préférences issues de la vision humaine et machine. En exploitant la DPO, le cadre élimine le besoin de modèles de récompense explicites et de pipelines complexes d'optimisation conjointe avec des tâches en aval.

Les auteurs positionnent DPOFusion comme une solution unifiée et flexible pour la « fusion à votre façon », capable d'affiner un modèle fondamental pour satisfaire des exigences spécifiques — qu'elles soient pilotées par la perception visuelle humaine, des instructions linguistiques ou des métriques de tâches en aval — grâce à un fine-tuning minimal. Ce travail établit une nouvelle référence pour la qualité de la fusion adaptative et la transférabilité orientée tâche dans le domaine de la fusion d'images infrarouges et visibles.