💻 computer science

P2Fusion: Prompt-based Progressive Infrared-Visible Image Fusion via Dual-Prior Distillation

Het artikel introduceert P2Fusion, een nieuw prompt-gebaseerd framework dat gebruikmaakt van duale intrinsieke priors en een Teach-to-Fuse-mechanisme met gated dynamische expert-recalibratie om de staat-van-de-kunst prestaties van infrarood-zichtbare beeldfusie te bereiken en de robuustheid van downstream objectdetectie aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Yi Shi, Huichao Xie, Yuqing Wang, Mingyu Wang, Kaihui Yang, Yu Liu, Ruitao Lu, Lizhe Li, Junwei Han, Dingwen Zhang

Gepubliceerd 2026-08-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yi Shi, Huichao Xie, Yuqing Wang, Mingyu Wang, Kaihui Yang, Yu Liu, Ruitao Lu, Lizhe Li, Junwei Han, Dingwen Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de perfecte foto probeert te maken van een spookachtige, mistige nacht. Je hebt twee camera's: één die in het donker ziet als een vleermuis (infrarood), wat geweldig is in het opsporen van warme dingen zoals mensen of auto's, maar er wazig uitziet en weinig detail heeft. De andere is een gewone camera (zichtbaar licht), die scherpe texturen ziet zoals boomtakken of verkeersborden, maar volledig verblind wordt door de duisternis of rook. Beeldfusie is de kunst van het magisch combineren van deze twee foto's tot één superafbeelding die het beste van beide werelden heeft. Jarenlang hebben wetenschappers geprobeerd om computers te bouwen die dit automatisch kunnen doen. Het doel is om robots, zelfrijdende auto's en drones te helpen "helder te zien" in slecht weer, tijdens de nacht, of door rook, zodat ze niet crashen of belangrijke doelen missen. Het was echter een lastige puzzel om een computer te leren deze twee zeer verschillende soorten visie te mengen zonder de details te verpesten.

De onderzoekers achter dit artikel, genaamd P²Fusion, besloten te stoppen met het dwingen van de computer om rigide, vooraf geschreven regels te volgen. In plaats daarvan hebben ze een nieuwe manier uitgevonden om de AI te leren deze beelden te mengen door gebruik te maken van "dynamische prompts", die als behulpzame, verschuivende hints fungeren in plaats van strikte bevelen. Ze noemen hun methode "Teach-to-Fuse".

Dit is het probleem dat ze oplossen: In het verleden probeerden wetenschappers de computer te sturen door het statische "voorkennis" te geven—zoals een vaste kaart van waar objecten zouden moeten zijn of een rigide regel die zegt: "houd randen altijd scherp." De auteurs stellen dat dit is alsof je een auto probeert te besturen met een kaart die nooit wordt bijgewerkt; als de weg verandert, raakt de bestuurder in de war. Andere methoden probeerden massieve, vooraf getrainde AI-modellen (zoals de modellen die katten of honden herkennen) te gebruiken om hints te geven, maar de auteurs vonden dat deze hints vaak te vaag en abstract waren, en de fijne, op pixelniveau vereiste details misten.

Om dit op te lossjen, gebruikt P²Fusion een slimme tweestapsstrategie. Eerst werkt het als een slimme leraar die niet alleen antwoorden uitdeelt, maar de AI leert hoe de AI moet leren van de beelden zelf. Het gebruikt twee "leraren":

De Thermische Leraar: Deze leraar kijkt naar het infraroodbeeld en benadrukt de "hete" plekken (zoals een persoon of een auto) die behouden moeten blijven.
De Kwaliteitsleraar: Deze leraar kijkt naar het zichtbare beeld en wijst aan welke delen helder en scherp zijn, en welke delen wazig of donker zijn.

In plaats van deze hints hard te coderen, verandert het systeem ze in "prompts"—flexibele, leerbare signalen die de AI begeleiden terwijl deze werkt. Denk aan een dirigent die een orkest leidt. In plaats van elke muzikant elke seconde precies te vertellen welke noot hij moet spelen (wat rigide en foutgevoelig is), geeft de dirigent dynamische signalen op basis van hoe de muziek daadwerkelijk klinkt, waardoor de muzikanten in realtime kunnen bijsturen.

Het tweede deel van hun uitvinding is een speciale module genaamd GDER (Gated Dynamic Expert Recalibration). Stel je een team van twee specialisten voor die aan een puzzel werken. De ene specialist is een expert in het vinden van de "hete" doelen (de Modality Expert), en de andere is een expert in het zien van de algemene structuur en textuur (de Attention Expert). In veel oude systemen zouden deze twee simpelweg hun ideeën bij elkaar vegen, wat vaak voor verwarring zorgt. P²Fusion gebruikt een "gating"-mechanisme—een slimme scheidsrechter—die beslist hoeveel gewicht er op elk moment aan de mening van elke specialist wordt gegeven. Als de scène rokerig is, luistert de scheidsrechter misschien meer naar de thermische expert. Als de scène helder maar druk is, luistert hij misschien meer naar de textuur-expert. Dit stelt het systeem in staat om zijn eigen fouten te herstellen en de balans tussen de twee soorten visie perfect te beheren.

De auteurs hebben hun nieuwe systeem getest op vijf verschillende datasets, waaronder scènes met zware rook, extreme helderheid en nachtelijke ritten. Ze kwamen tot de conclusie dat P²Fusion consequent betere resultaten produceerde dan de huidige beste methoden. Sterker nog, het domineerde de ranglijsten in 14 van de 20 belangrijkste meetcategorieën in deze tests. Het zag er niet alleen beter uit; het hielp computers ook daadwerkelijk om objecten nauwkeuriger te detecteren. Bijvoorbeeld, wanneer het werd gebruikt om een drone te helpen voertuigen te spotten, verbeterde de detectienauwkeurigheid met 3,2% op de ene dataset en met 0,9% op een andere. Zelfs wanneer het werd getest op volledig nieuwe, ongeziene omgevingen (zoals luchtbeelden van drones die het nog nooit had gezien), bleef het systeem robuust en liep het niet vast of faalde het niet.

Kortom, het artikel suggereert dat door af te stappen van rigide, statische regels en in plaats daarvan flexibele, op beelden gebaseerde "prompts" te gebruiken die worden gestuurd door een slim, zelfcorrigerend team van experts, we veel betere hulpmiddelen kunnen creëren om in het donker en door de mist te kijken. De auteurs geloven dat deze aanpak het conflict tussen het behouden van de scherpte van het beeld en het zichtbaar houden van de belangrijke doelen oplost, wat een meer aanpasbare oplossing biedt voor de toekomst van autonome machines.

Technische Samenvatting van P²Fusion: Prompt-gebaseerde Progressieve Infrarood-Zichtbaar Beeldfusie via Dual-Prior Distillatie

Probleemstelling

Infrarood-Zichtbaar Beeldfusie (IVIF) beoogt complementaire thermische straling en texturele details te integreren in een allesomvattende representatie. Bestaande prior-gestuurde methoden kampen echter met drie fundamentele beperkingen:

Statische Beperkingen: Methoden die vertrouwen op expliciete modus-specifieke harde beperkingen (bijv. segmentatiemaskers) behandelen priors vaak als rigide regularisatietermen. Dit dwingt het netwerk om prior-distributies te verifiëren boven pixel-niveau feature-integratie, wat leidt tot het verlies van fijnmazige texturen.
Optimalisatieconflicten: Gezamenlijke optimalisatie met downstream-taken (bijv. objectdetectie) introduceert frequent multi-objectieve conflicten waarbij de drang naar taak-niveau nauwkeurigheid de bewaring van achtergronddetails in de weg staat.
Granulariteitsmismatch: Recente trends die gebruikmaken van extrinsieke semantische sturing vanuit grootschalige foundation-modellen (bijv. CLIP, DINO) introduceren hoog-niveau abstracte representaties die afwijken van de pixel-niveau essentie van beeldfusie, wat resulteert in een mismatch tussen semantiek en laag-niveau texturele reconstructie.

Methodologie

De auteurs stellen P²Fusion voor, een framework gebaseerd op het "Teach-to-Fuse" (T2F) paradigma. In plaats van statische straffen op te leggen, herformuleert de methode IVIF door intrinsieke, dynamische prompts te distilleren uit de invoerbeelden zelf.

1. Dual-Teacher Prompt Distillatie
Het framework vervangt rigide priors door leerbare, proces-georiënteerde sturingssignalen afgeleid van twee complementaire intrinsieke attributen:

Infrared Saliency Prior ( $T_{ir}$ ): Een "Thermal Saliency Teacher" (IST), gebaseerd op een SegFormer-B2 model, genereert saliency maps om locaties met hoge thermische straling (voetgangers, voertuigen) te lokaliseren. Deze kaarten worden naverwerkt om specifieke targets als voorgrond te behandelen en dienen als ruimtelijke prompts.
Visible Quality Prior ( $T_{vis}$ ): Een "Visible-Quality Teacher" (VQT), gebruikmakend van een BRISQUE-gebaseerde evaluator, genereert een globale kwaliteitsscore om de betrouwbaarheid van texturen te beoordelen (bijv. het identificeren van onder- of overbelichte gebieden).
Deze priors worden geprojecteerd in leerbare prompts ( $P_{ir}, P_{vis}$ ) en ingebed in de feature-stromen, waardoor statische beperkingen worden getransformeerd in dynamische regulatoren.

2. Adaptieve Fusie met Gated Dynamic Expert Recalibration (GDER)
Om de heterogeniteit tussen thermische contouren en texturele details te hanteren, gebruikt de architectuur een Gated Dynamic Expert Recalibration (GDER) module. In tegenstelling tot traditionele Mixture-of-Experts (MoE) die worden gebruikt voor capaciteitsuitbreiding, fungeert GDER als een zelfcorrigerend feedbackmechanisme voor feature-ontkoppeling en verfijning:

Prior-Responsive Modality Expert ( $E_{mod}$ ): Consumeert expliciet dynamische prompts om modus-specifieke saillante informatie (bijv. thermische targets of hoog-contrast texturen) te versterken.
Prior-Agnostic Attention Expert ( $E_{att}$ ): Werkt onafhankelijk van prompts en maakt gebruik van een globale attention-mechanisme (CBAM) om intrinsieke lang-afstandsafhankelijkheden en fijnmazige structurele details te minen, dienend als een contextuele compensator.
Gating Mechanisme: Een gating-netwerk berekent dynamische gewichten op basis van de wederzijdse overeenstemming tussen lokale features en globale prompts. Dit stelt het netwerk in staat om de fusie-strategie adaptief te herkalibreren, conflicterende features te ontkoppelen en vertekende signalen te corrigeren.

3. Optimalisatie Doelstellingen
De totale verliesfunctie ( $L_{total}$ ) combineert perceptuele beperkingen (Gradient, Intensity en SSIM losses) met Prompt Distillatie Losses. De distillatie-verliezen (MSE voor zichtbare kwaliteit, Binary Cross-Entropy voor infrarode saliency) zorgen ervoor dat de leerbare prompts uitlijnen met de teacher-signalen zonder hard-coded straffen op te leggen.

Belangrijkste Bijdragen

Teach-to-Fuse Paradigma: De auteurs stellen een verschuiving voor van statische prior-beperkingen naar dynamische, prompt-gebaseerde sturing. Deze aanpak transformeert straffen in proces-georiënteerde sturing, waardoor het minen van intrinsieke modus-attributen wordt gemaximaliseerd.
GDER Module: De ontwikkeling van een gespecialiseerd MoE-gebaseerd zelfcorrectiemechanisme dat een prior-gestuurde Modality Specialist combineert met een global-aware Attention Specialist, wat adaptieve ontkoppeling van conflicterende features mogelijk maakt.
Uitgebreide Benchmarking: Het framework wordt geëvalueerd over vijf publieke datasets (MSRS, M3FD, FMB, RoadScene, DroneVehicle) en meer dan tien benchmark-taken, wat robuustheid aantoont in diverse scenario's, inclusclusief rookobscuratie en extreme overbelichting.

Experimentele Resultaten

Fusie Kwaliteit: P²Fusion bereikt state-of-the-art (SOTA) prestaties op 12 van de 16 belangrijke evaluatiemetrieken over de vier hoofddatasets (MSRS, M3FD, FMB, RoadScene) en 2 van de 4 metrieken op de DroneVehicle dataset, wat in totaal 14 van de 20 belangrijke metrieken is. Het presteert consistent beter dan 12 bestaande SOTA-methoden (waaronder SAGE, DiTFuse en FreeFusion) op het gebied van visuele getrouwheid, waarbij zowel infrarode saillante targets als zichtbare texturen worden bewaard.
Downstream Perceptie: De gefuseerde beelden verbeteren downstream-taken aanzienlijk:
- Objectdetectie: +3,2% mAP op MSRS, +0,5% mAP op M3FD, en +0,9% mAP op DroneVehicle.
- Semantische Segmentatie: Consistente winst in mPA en mIoU op de MSRS- en FMB-datasets.
Robuustheid & OOD: In Out-of-Distribution (OOD) verificatie op de DroneVehicle dataset (gekenmerkt door luchtperspectieven en ernstige zichtbaarheidsdegradatie), behield P²Fusion SOTA-prestaties zonder domein-specifieke fine-tuning, wat een superieure adaptiviteit in onbekende, vijandige omgevingen demonstreert.

Betekenis en Claims

Het artikel beweert dat P²Fusion effectief de inherente prior-afhankelijkheid van traditionele frameworks aanpakt door het paradigma te verschuiven van "statische beperkingen" naar "dynamische intrinsieke prompting". Door terug te keren naar de essentie van de beelddata en gebruik te maken van endogene, dynamische regulatoren, bereikt de methode een robuuste balans tussen visuele esthetiek en taakprestaties. De auteurs stellen dat deze aanpak de kloof overbrugt tussen hoog-niveau fysieke sturing en adaptieve feature-representatie, en een veelzijdige oplossing biedt voor multi-modale perceptie die optimalisatieconflicten en granulariteitsmismatches van eerdere prior-gestuurde methoden mitigeert.