Technische Samenvatting: DPOFusion

Probleemstelling

Infrarood- en zichtbaar beeldfusie (IVIF) heeft tot doel complementaire spectrale informatie te integreren om menselijke waarneming te verbeteren en downstream visietaken te optimaliseren. Echter, bestaande methoden kampen met een kritieke beperking: ze worstelen om flexibel tegemoet te komen aan heterogene eisen. Verschillende gebruikers en toepassingen prioriteren conflicterende doelen, zoals algehele beeldkwaliteit, natuurlijke uitstraling, of specifieke geschiktheid voor machinevisietaken zoals objectdetectie en segmentatie. Huidige op leren gebaseerde benaderingen vereisen doorgaans aparte modellen en complexe trainingsstrategieën voor elke specifieke eis, en missen een unifyend kader dat adaptieve fusie mogelijk maakt die aansluit bij diverse menselijke en machinevoorkeuren.

Methodologie

De auteurs stellen DPOFusion voor, een kader dat Direct Preference Optimization (DPO) benut om beeldfusie af te stemmen op heterogene eisen. Het kader bestaat uit twee primaire componenten en een dataverzamelingspijplijn:

1. Eigenschap-gealigneerde Latente Diffusiemodel (PALDM)

PALDM fungeert als de kandidaatgenerator. Het is ontworpen om diverse, hoogwaardige fusieresultaten te produceren met variërende eigenschappen.

• Prior Latente Fusie: Een prior latente fusiemodel ($\epsilon_{lfm}$) wordt eerst getraind met een gezamenlijke fusieverliesfunctie om het generatieproces te sturen.
• Gezamenlijke Conditionele Verliesfunctie: Om diverse kandidaten te genereren, hanteert PALDM een gezamenlijke conditionele verliesfunctie. Het traint een latente diffusiemodel om zowel standaard gefuseerde latenten als eigenschap-geïnterpoleerde latenten (gegenereerd door lineaire interpolatie van bronlatenten en de prior gefuseerde latent) te denoizen. Dit stelt het model in staat om gegenereerde outputs af te stemmen op specifieke eigenschap-beschrijvende tekstprompts (bijv. "voornamelijk infraroodinformatie").

2. Voorkeursgecontroleerd Latent Diffusiemodel (PCLDM)

PCLDM is een fine-tuningmodule die de fusieresultaten aanpast op basis van specifieke voorkeurssignalen.

• Architectuur: Het initialiseert vanuit het bevroren PALDM ($\epsilon_{ref}$) en introduceert een trainbare tak die verbonden is via een met nul geïnitieerde 1$\times$1 convolutie. Deze structuur behoudt de fundamentele fusiecapaciteiten terwijl snelle adaptatie aan nieuwe voorkeuren mogelijk wordt gemaakt.
• Instance Direct Preference Optimization (IDPO): Dit is de kerninnovatie. In tegenstelling tot standaard DPO, dat globaal optimaliseert, past IDPO voorkeurssupervisie alleen toe binnen een gemaskerd gebied van belang terwijl het elders strikte pixel-niveau consistentie afdwingt.
  • Verliesfunctie: De IDPO-verliesfunctie ($L_{IDPO}$) combineert een voorkeursaligneringsverlies voor het gemaskerde gebied (het model aanmoedigend om de "winnende" steekproef boven de "verworpen" te prefereren) en een consistentieverlies voor de niet-gemaskerde gebieden (zorgend dat de output dicht bij het bevroren referentiemodel blijft). Dit balanceert lokale adaptatie met globale fideliteit.

3. Voorkeursdataverzameling

Het kader verzamelt heterogene voorkeursdata uit drie bronnen om trainingsparen ($I_w^0 \succ I_l^0$) te creëren met bijbehorende maskers ($I_m$):

• Menselijke Feedback (RLHF): Menselijke annotatoren selecteren geprefereerde gebieden in kandidaatbeelden.
• Visie-Taalmodellen (RLVF): VLM's (specifiek QWEN3-Omni-Think) rangschikken kandidaten op basis van technische beeldkwaliteit (scherpte, artefacten, etc.).
• Taakgedreven Modellen (RLDF): Downstream modellen (YOLOv11 voor detectie, SegFormer voor segmentatie) evalueren kandidaten. Geprefereerde/verworpen steekproeven worden bepaald door taakprestatie-metrics (mAP, mIoU), en maskers worden afgeleid van doelgebieden of detectiepatches.

Belangrijkste Bijdragen

1. Unifyend Kader: DPOFusion presenteert een enkel kader dat zich kan aanpassen aan diverse gebruikersvoorkeuren (mens, VLM) en machinevisietaken (detectie, segmentatie) zonder dat voor elke taak aparte modellen nodig zijn.
2. Instance Direct Preference Optimization (IDPO): De auteurs introduceren IDPO, een nieuwe aanpassing van DPO voor beeldfusie. Door voorkeursoptimalisatie te beperken tot specifieke gemaskerde gebieden, bereikt IDPO precieze lokale alignering zonder de globale beeldstructuur of coherentie te degraderen.
3. Eigenschap-gealigneerde Generatie: De integratie van PALDM met gezamenlijke conditionele verliesfunctie maakt het genereren van een rijke pool van diverse kandidaten mogelijk, wat effectieve voorkeursannotatie en fine-tuning faciliteert.
4. Taakgerichte Aanpasbaarheid: Het kader demonstreert het vermogen om fusieoutputs specifiek te fine-tunen om downstream taakprestaties te verbeteren (bijv. verbeterde segmentatie van kleine doelen of detectie van dichte objecten) terwijl de visuele kwaliteit behouden blijft.

Experimentele Resultaten

De auteurs evalueerden DPOFusion op real-world datasets (LLVIP, MSRS, RoadScene, M3FD) tegen negen state-of-the-art methoden (zoals U2Fusion, DDFM, SHIP, Text-IF).

• Menselijke en VLM Alignering: Kwantitatieve metrics (Entropie, Standaardafwijking, Gemiddelde Gradient, MUSIQ, CNNIQA) tonen aan dat DPOFusion-varianten (RLHF en RLVF) state-of-the-art prestaties behalen. Kwalitatieve resultaten wijzen op superieure textuurbehoud en natuurlijke uitstraling, met name in situaties met weinig licht en complexe verlichting.
• Downstream Taakprestaties:
  • Semantische Segmentatie: De RLDF-Seg-variant behaalde een verbetering van 0,5% in mIoU ten opzichte van baselines, met kwalitatieve resultaten die betere segmentatie van kleine doelen tonen.
  • Objectdetectie: De RLDF-OD-variant behaalde een verbetering van 4,2% in mAP, wat effectieve feature-capturing voor dichte en kleine doelen demonstreert.
• Ablatiestudies: Experimenten bevestigden dat de gezamenlijke conditionele verliesfunctie in PALDM resulteert in hogere kwaliteit kandidaten en dat IDPO significant beter presteert dan standaard DPO en contrastieve verliesfuncties in het aligneren met voorkeuren terwijl globale consistentie behouden blijft.
• Efficiëntie: Hoewel op diffusie gebaseerd, opereert DPOFusion in een gecomprimeerde latente ruimte, wat de inferentietijd reduceert tot 1,7s per beeld (tegenover 7,8s voor DDFM), waardoor het efficiënter is dan andere generatieve fusiemethoden.

Betekenis en Claims

Het artikel claimt dat DPOFusion succesvol het "open en uitdagende probleem" aanpakt van het bereiken van adaptieve fusie die aansluit bij diverse voorkeuren van zowel menselijke als machinevisie. Door DPO te benutten, elimineert het kader de noodzaak voor expliciete beloningmodellen en complexe gezamenlijke-optimalisatiepijplijnen met downstream taken.

De auteurs positioneren DPOFusion als een unifyende en flexibele oplossing voor "fusie op jouw manier", capable om een fundamenteel model te fine-tunen om specifieke eisen te vervullen—of deze nu gedreven worden door menselijke visuele waarneming, taalinstrukties, of downstream taakmetrics—via minimale fine-tuning. Het werk zet een nieuwe benchmark voor adaptieve fusiekwaliteit en taakgerichte overdraagbaarheid in het veld van infrarood- en zichtbaar beeldfusie.