Technische Samenvatting: InfraNet: Kwaliteitsbewuste RGB-sturing voor Efficiënte Infrarood Objectdetectie

1. Probleemstelling

Robuuste objectdetectie onder ongunstige visuele omstandigheden (bijv. weinig licht, schittering, mist) blijft een aanzienlijke uitdaging voor multi-modale perceptiesystemen. Hoewel infrarood (IR) sensing robuustheid biedt door thermische straling vast te leggen die onafhankelijk is van omgevingslicht, behandelen bestaande fusiegebaseerde methoden RGB en IR modaliteiten doorgaans gelijkwaardig tijdens zowel training als inferentie. Deze aanname van "gelijke behandeling" negeert een cruciaal gebrek: de onbetrouwbaarheid van de RGB-modaliteit in gedegradeerde omstandigheden.

Wanneer RGB-beelden ernstig gedegradeerd zijn (bijv. donker of ruisachtig geworden), kan het onvoorzichtig fuseren van deze met betrouwbare IR-kenmerken leiden tot de introductie van irrelevante of schadelijke informatie, wat resulteert in "negatieve transfer" die de algehele detectie nauwkeurigheid verslechtert. Bovovenop vereisen de meeste huidige state-of-the-art (SOTA) fusiemethoden dual-modale input tijdens inferentie, wat ze onpraktisch maakt wanneer RGB-sensoren niet beschikbaar zijn of corrupt zijn. Er is behoefte aan een framework dat RGB gebruikt als een sturingssignaal tijdens de training om IR-leren te verbeteren, maar dat efficiënte, hoogwaardige IR-only inzet mogelijk maakt.

2. Methodologie

Kernframework: InfraNet

De auteurs stellen InfraNet voor, een IR-centrisch, kwaliteitsbewust framework dat ontworpen is om de RGB-sturing tijdens de training te reguleren, terwijl het flexibele inzetbaarheid ondersteunt in zowel RGB–IR als IR-only modi. InfraNet maakt gebruik van een asymmetrische architectuur bestaande uit:

1. Primaire IR-pad: Extraheert multi-schaal infraroodkenmerken voor voorspellingen.
2. Auxiliair RGB-pad: Biedt betrouwbaarheidsgecontroleerde supervisiesignalen tijdens de training.

Kerncomponent: QualGate

De kerninnovatie van InfraNet is QualGate, een kwaliteitsbewust fusiemodule die op meerdere schalen binnen het netwerk wordt ingezet. QualGate leert een taakgeoriënteerd controlesignaal om cross-modale interacties dynamisch te reguleren. De werking omvat twee parallelle mechanismen:

• Betrouwbaarheidscontrole-score ($q$): Een scalaire score $q \in (0, 1)$ wordt voorspeld vanuit de hulp-RGB-kenmerken ($A_{in}$) met behulp van een lichtgewicht MLP. Deze score wordt geoptimaliseerd voor het detectiedoel in plaats van te dienen als een handmatig ontworpen beeldkwaliteitsmetriek.
• RGB-onderdrukkingspoort: De bijdrage van de hulp-modaliteit wordt gewogen door $w_{rgb}(q) = q$. Wanneer de RGB-kwaliteit slecht is (lage $q$), wordt de RGB-sturing naar beneden bijgesteld om ruisinjectie te voorkomen.
• IR-versterkingspoort: Tegelijkertijd wordt een inverse betrouwbaarheidswinst $\alpha(q)$ toegepast op de IR-stroom. Gedefinieerd als $\alpha(q) = \text{clip}(1.5 - q; 1.0, 1.5)$, zorgt dit mechanisme ervoor dat de bijdrage van IR-kenmerken wordt vergroot wanneer de RGB-sturing zwak is, waardoor de IR-representatie robuust blijft.
• Fusie: De uiteindelijke output $A_{out}$ is een fusie van de onderdrukte hulpterm en de versterkte IR-injectie:
  $$A_{out} = w_{rgb}(q) \cdot A_{in} + \sum_{k=1}^{K} \alpha(q) \cdot g_k \cdot F_k$$
  waarbij $F_k$ de uitgelijnde IR-kenmerken vertegenwoordigt en $g_k$ een content-poort is.

Architecturale Varianten

Op basis van InfraNet zijn twee specifieke architecturen ontworpen:

1. InfraNet-IR: Een lichtgewicht, single-branch netwerk geoptimaliseerd voor computationele efficiëntie. Het wordt getraind met gekoppelde RGB–IR inputs (waarbij RGB dient als geprivilegieerde hulp-supervisie) maar wordt ingezet met IR-only inferentie. De RGB-branch en alle fusiemodules worden tijdens de testtijd verwijderd, wat nul extra overhead veroorzaakt.
2. InfraNet-RGB-IR: Een hogere capaciteit dual-branch structuur die zowel RGB als IR inputs verwerkt tijdens zowel training als inferentie, gebruikmakend van QualGate voor betrouwbaarheidsgecontroleerde cross-modale fusie.

Trainingsstrategie

Het framework gebruikt een asymmetrische verliesfunctie:
$$\mathcal{L} = \mathcal{L}^{(\text{main})}_{\text{det}} + w_{\text{aux}} \mathcal{L}^{(\text{aux})}_{\text{det}}$$
waarbij de hulp-verliesgewicht $w_{\text{aux}}$ is ingesteld op 0.25. Dit zorgt ervoor dat de optimalisatie wordt gedomineerd door het infraroodpad, terwijl de hulp-branch adaptieve sturing biedt om de IR-representaties te verbeteren.

3. Belangrijkste Bijdragen

• InfraNet Framework: Een kwaliteitsbewust, RGB-gestuurd framework voor infrarood objectdetectie dat RGB behandelt als een betrouwbaarheidsgecontroleerd hulp-signaal tijdens de training, wat flexibele IR-only inzet mogelijk maakt.
• QualGate Module: Een nieuw fusiemechanisme dat een taakgeoriënteerd controlesignaal leert om onbetrouwbare RGB-sturing te onderdrukken en IR-kenmerken te compenseren, waardoor het risico op negatieve transfer door gedegradeerde RGB-data wordt beperkt.
• Dual-Mode Deployment: Het ontwerp van twee varianten (InfraNet-IR en InfraNet-RGB-IR) die concurrerende prestaties leveren in zowel efficiënte single-modal inferentie als high-capacity dual-modal fusie.

4. Experimentele Resultaten

De methode werd geëvalueerd op vier benchmark-datasets: LLVIP, FLIR-Aligned, M3FD, en DroneVehicle.

• Prestaties: InfraNet behaalde sterke of concurrerende nauwkeurigheid over alle datasets.
  • Op LLVIP bereikte de RGB–IR variant (YOLOv8) 70,5% mAP, waarmee het de SOTA WaveMamba (66,0%) overtrof. De IR-only variant behaalde 68,8% mAP zonder extra inferentie-overhead.
  • Op FLIR-Aligned bereikte de IR-only variant (ResNet50) een inferentietijd van 9,4 ms met 53,0% mAP, wat aanzienlijk sneller is dan dual-modale concurrenten terwijl het een concurrerende nauwkeurigheid behoudt.
  • Op DroneVehicle bereikte de IR-only YOLOv12 variant 84,7% mAP50, wat een absolute winst van +4,9% oplevert ten opzichte van WaveMamba, met opvallende verbeteringen in de detectie van kleine objecten (bijv. auto's, bussen).
  • Op M3FD toonde de methode robuustheid in nacht- en uitdagende subsets, waar de RGB-zichtbaarheid ernstig is aangetast.
• Efficiëntie: InfraNet-IR behoudt een hoge efficiëntie in IR-only inferentie door de RGB-branch en fusiemodules tijdens de inzet volledig te verwijderen.
• Ablatie-studies: Experimenten bevestigden dat zowel de RGB-onderdrukkings- als de IR-versterkingsbranches van QualGate noodzakelijk zijn; het verwijderen van één van beide leidt tot prestatieverlies. De geleerde controle-score $q$ bleek effectief aan te passen aan gecontroleerde RGB-degradaties (mist, helderheid) zonder expliciete kwaliteitsannotaties.

5. Betekenis en Claims

Het artikel claimt dat InfraNet het langlopende probleem van RGB-onbetrouwbaarheid in ongunstige omstandigheden aanpakt door het paradigma te verschuiven van "gelijke fusie" naar "IR-centrische kwaliteitsbewuste sturing."

• Robuustheid: Door onbetrouwbare RGB-kenmerken te onderdrukken en IR-kenmerken te versterken, voorkomt de methode de contaminatie van IR-representaties, wat leidt tot stabielere detectie bij weinig licht en ongunstig weer.
• Flexibiliteit in Inzet: In tegen tegenstelling tot bestaande fusiemethoden die dual-modale input vereisen tijdens inferentie, biedt InfraNet-IR een praktische oplossing voor scenario's waarin RGB-sensoren niet beschikbaar of corrupt zijn, waarbij een hoge nauwkeurigheid wordt bereikt zonder de computationele kosten van een dual-stream architectuur tijdens runtime.
• Efficiëntie: Het framework demonstreert dat hulp-supervisie tijdens de training de IR-only prestaties aanzienlijk kan verbeteren zonder extra kosten tijdens de inzet, wat het geschikt maakt voor middelenbeperkte toepassingen zoals autonoom rijden en UAV-surveillance.