Technische Samenvatting: UNIV – Gecombineerd Fundamenteel Model voor Infrarode en Zichtbare Modaliteiten

1. Probleemstelling

Recente vooruitgang in fundamentele modellen heeft indrukwekkende resultaten opgeleverd voor single-modality taken in zowel zichtbare (RGB) als infrarode (IR) domeinen. Er bestaat echter een aanzienlijke "cross-domain gap" wanneer deze modellen over modaliteiten worden toegepast. De auteurs identificeren de oorzaak als een patroon-shortcut: modellen die op één modality zijn getraind, neigen te vertrouwen op oppervlakkige sensor-specifieke aanwijzingen (zoals kleur en helderheid in RGB, of thermische intensiteit in IR) in plaats van onderliggende semantische structuren.

Gevolg hiervan is dat wanneer een IR-getraind model op RGB-data wordt toegepast, het vaak de aandacht verkeerd lokaliseert op basis van helderheidssignalen, en vice versa. Bestaande benaderingen missen een gecombineerde encoder die semantisch consistente features voor beide modaliteiten kan produceren, wat de generalisatie beperkt in diverse perceptiesituaties (alleen RGB, alleen IR, of gecombineerde RGB-IR scenario's).

2. Methodologie

Het artikel stelt UNIV voor, een gecombineerd fundamenteel model dat is ontworpen om de kloof tussen infrarode en zichtbare modaliteiten te overbruggen. De kern van UNIV is een zelftoezichtstrategie genaamd Patch Cross-modal Contrastive Learning (PCCL).

2.1. Kernarchitectuur

UNIV maakt gebruik van een trainbare encoder ($E_{train}$) en een bevroren, voorgetrainde RGB-encoder ($E_{frozen}$) die is geïnitieerd vanuit een ImageNet-voorgetraind model (specifiek MCMAE).

• Input: Gekoppelde zichtbare RGB- en infrarode afbeeldingen.
• Feature Extractie: De trainbare encoder extraheren features ($F^V$ voor zichtbaar, $F^I$ voor infrarood) voor beide modaliteiten.
• Doel: Het leren van een gecombineerde feature-ruimte waarin features van dezelfde semantische klasse over modaliteiten heen samenkomen, terwijl features van verschillende klassen uit elkaar worden geduwd.

2.2. Attention-Gestuurde Patch Ankers

Om het leren te sturen zonder ground-truth labels, maakt UNIV gebruik van de semantische priors die zijn gecodeerd in de bevroren RGB-encoder ($E_{frozen}$).

• Generatie van Pseudo-labels: De attention-map van de laatste laag van $E_{frozen}$ toegepast op de zichtbare modality wordt gebruikt om semantische gelijkenis tussen afbeeldingspatches te bepalen.
• Binaire Maskering: Deze attention-map wordt omgezet in een binaire pseudo-labelmatrix ($M^A$) aan de hand van drie regels:
  1. Zelfgelijkenis: Diagonale elementen worden ingesteld op 1.
  2. Correlatie-selectie: Voor elke patch worden de bovenste $m$ meest gecorreleerde patches (gebaseerd op attention-scores) gemarkeerd als positief (1) totdat een cumulatieve drempel $\gamma$ is bereikt.
  3. Onderdrukking van Dissimilariteit: Alle overige waarden worden ingesteld op 0.
• Ankers: De features van de bevroren encoder dienen als semantische ankers ($F^A$) waartegen de output van de trainbare encoder wordt afgestemd.

2.3. Patch Cross-modal Contrastive Learning (PCCL)

De optimalisatiestrategie stemt de representaties van de trainbare encoder af op de semantische ankers die door $M^A$ zijn gedefinieerd.

• Doel: Het model minimaliseert de dissimilariteit tussen negatieve paren (verschillende klassen) en maximaliseert de similariteit tussen positieve paren (dezelfde klasse) over modaliteiten heen.
• Functie voor Verlies: De auteurs formuleren het verlies als een Binary Cross-Entropy (BCE) verlies tussen de pseudo-labelmatrix $M^A$ en de sigmoid van de similariteitsmatrix afgeleid van de trainbare features.
  • $L_{IA}$: Stemt Infrarode features af op de ankers.
  • $L_{VA}$: Stemt Zichtbare features af op de ankers (om catastrofaal vergeten van RGB-prestaties te voorkomen).
  • Totale Verlies: $L_{PCCL} = \alpha \cdot L_{IA} + \beta \cdot L_{VA}$.
• Mechanisme: Dit proces trekt semantisch relevante patches over modaliteiten heen samen en duwt ongerelateerde uit elkaar, waardoor effectief een gecombineerde feature-ruimte wordt gereconstrueerd die prioriteit geeft aan semantische structuur boven sensor-specifieke patronen.

2.4. MVIP Dataset

Om deze cross-modal learning te ondersteunen, introduceren de auteurs MVIP (Multi-scene Visible Infrared Pairs), een uitgebreide benchmark met 98.992 nauwkeurig uitgelijnde afbeeldingsparen.

• Bronnen: Gecurateerd uit vijf publieke datasets: FLIR-Align, KAIST, DroneVehicle, LLVIP en LasHeR.
• Dekking: Diverse scenario's waaronder stedelijk rijden, surveillance en luchtfoto's van drones, die zowel dag- als nachtomstandigheden omvatten.

3. Belangrijkste Bijdragen

1. Patch Cross-modal Contrastive Learning (PCCL): Een zelftoezichtmethode die de cross-modal feature-kloof adaptief verkleint terwijl de inter-class discriminativiteit wordt versterkt door attention-gestuurde pseudo-labels te gebruiken.
2. MVIP Dataset: De grootste zichtbaar-infrarode benchmark tot nu toe, die een solide fundament biedt voor robuust cross-modal onderzoek met bijna 100k uitgelijnde paren.
3. State-of-the-Art Prestaties: UNIV behaalt superieure resultaten op infrarode taken terwijl het concurrerende nauwkeurigheid behoudt op RGB-taken.

4. Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op taken voor semantische segmentatie en objectdetectie.

4.1. Infrarode Semantische Segmentatie (MSRS-IR)

• Prestaties: UNIV (LoRA-variant) behaalde 76,0 mIoU, wat een verbetering is van +1,7 mIoU ten opzichte van de vorige state-of-the-art (InfMAE).
• Efficiëntie: Deze verbetering werd bereikt terwijl slechts 1,8M parameters (ongeveer 2% van de totale 88,7M parameters) werden bijgewerkt via LoRA.
• Volledige Pre-training: De variant met volledige parameters bereikte 76,6 mIoU.

4.2. Infrarode Objectdetectie (M3FD-IR)

• Prestaties: UNIV (LoRA) behaalde 56,9 mAP en 88,7 AP50, wat InfMAE verslaat met +0,7 mAP.
• Observatie: De auteurs merken op dat pre-training met volledige parameters iets suboptimale detectieresultaten opleverde in vergelijking met LoRA, en schrijven dit toe aan over-optimalisatie van patch-similariteit ten koste van semantische rijkdom binnen individuele patches, wat cruciaal is voor detectie.

4.3. RGB Downstream Taken

• Behoud van RGB-prestaties: UNIV behield concurrerende prestaties op RGB-taken, met 79,0 mIoU op MSRS-RGB (wat overeenkomt met de baseline) en 51,2 mIoU op ADE20K (waarbij 99% van de oorspronkelijke MCMAE-capaciteit behouden blijft).
• Betekenis: Dit toont aan dat UNIV succesvol een gecombineerde ruimte construeert zonder "modality collapse" of catastrofaal vergeten van de oorspronkelijke RGB-capaciteiten.

4.4. Analyse van Feature-ruimte

• Uitlijning: Analyse met Earth Mover's Distance (EMD) toonde aan dat UNIV de cross-modal uitlijning aanzienlijk verbeterde, waarbij features van dezelfde categorie dichter bij elkaar kwamen dan features van verschillende categorieën.
• Scheidbaarheid: t-SNE visualisaties bevestigden dat UNIV een betere inter-class scheidbaarheid bereikt in vergelijking met single-modality modellen zoals MCMAE of InfMAE.

5. Betekenis en Beweringen

Het artikel beweert dat UNIV een algemene en schaalbare oplossing biedt voor het bouwen van een gecombineerde cross-modal semantische feature-ruimte. De primaire betekenis ligt in het aanpakken van het "patroon-shortcut" probleem, waarbij modellen niet generaliseren over modaliteiten vanwege de afhankelijkheid van oppervlakkige sensor-aanwijzingen.

Door PCCL te integreren, reconstrueert UNIV een effectieve gecombineerde semantische feature-ruimte die bereikt:

1. Robuuste Cross-modal Uitlijning: Het waarborgen van consistente feature-representaties voor dezelfde semantische objecten, ongeacht de sensormodality.
2. Sterke Inter-class Semantische Scheidbaarheid: Het versterken van het vermogen van het model om verschillende objectklassen van elkaar te onderscheiden.

De auteurs benadrukken dat deze benadering efficiënte adaptatie (via LoRA) mogelijk maakt voor infrarode taken zonder de oorspronkelijke capaciteiten van het model op zichtbare taken op te offeren, en zo een praktische weg biedt voor het inzetten van robuuste perceptiesystemen in diverse weers- en verlichtingsomstandigheden. De introductie van de MVIP-dataset wordt ook benadrukt als een kritieke resource voor toekomstig onderzoek in dit domein.