Progressive Pixel-Neighborhood Deformable Cross-Attention for Multispectral Object Detection

Technische Samenvatting: Progressieve Pixel-Neighborhood Deformable Cross-Attention voor Multispectrale Objectdetectie

Probleemstelling
Multispectrale objectdetectie, die zichtbare (RGB) en thermische infrarood (TIR) beelden fuseert, staat voor twee primaire uitdagingen: zwakke ruimtelijke misuitlijning tussen modaliteiten en de hoge computationele kosten van globale feature-interactie.

1. Zwakke Misuitlijning: Door sensordislocatie, kalibratiefouten en verschillende gezichtsvelden vertonen zichtbare en thermische beelden vaak niet-lineaire ruimtelijke verschuivingen. Conventionele fusiemethoden die uitgaan van strikte pixel-niveau registratie lijden aan feature ghosting, vervaagde grenzen en lokalisatiebias.
2. Computationele Efficiëntie: Hoewel Transformer-gebaseerde architecturen (bijv. ICAFusion) sterke long-range modellering bieden via globale cross-attention, schaalt hun computationele complexiteit kwadratisch met de beeldresolutie ($O((HW)^2)$). Dit legt een verboden geheugenoverhead op en beperkt implementatie op platforms met beperkte middelen. Bovendien introduceert globale aandacht vaak irrelevante achtergrondruis, wat de discriminerende kracht voor saillante targets verzwakt.

Methodologie: PNAFusion
De auteurs stellen PNAFusion voor (Progressive Pixel-Neighborhood Deformable Cross-Attention), een framework ontworpen om een balans te vinden tussen uitlijningsnauwkeurigheid en geheugenefficiëntie. De architectuur bestaat uit een dual-stream backbone voor feature-extractie, gevolgd door een iteratieve fusiefase en een detectiekop. De kerninnovaties zijn:

1. Pixel-Neighborhood Cross-Attention (PNCA):

   • In plaats van globale matching beperkt PNCA de cross-modale interactie tot een lokale $k \times k$ buurt rondom elk query-pixel.
   • Dit reduceert de dominante aandacht-complexiteit van $O((HW)^2)$ naar $O(HWk^2)$, wat het geheugengebruik en de FLOPs aanzienlijk verlaagt.
   • Het onderdrukt achtergrondruis door irrelevante globale matching te vermijden en de interactie te focussen op semantisch relevante lokale regio's.

2. Adaptive Deformable Alignment (ADA):

   • Om niet-lineaire ruimtelijke offsets aan te pakken, voorspelt ADA content-bewuste sampling-offsets voor de key-value modaliteit (bijv. TIR) op basis van de query-modaliteit (bijv. RGB).
   • Met behulp van een geleerd offset-netwerk voert ADA deformable bilinear sampling uit om features uit te lijnen vóór de aandacht-berekening.
   • Cruciaal is dat deze offsets binnen de lokale buurt worden beperkt, waardoor lokale misuitlijning wordt gecorrigeerd zonder willekeurige globale sampling uit te voeren.

3. Iteratief Feedbackmechanisme:

   • Het framework maakt gebruik van een recurrente lus waarbij de dual-stream PNDCA (PNCA + ADA) blokken gestapeld en iteratief ($N$ keer) worden uitgevoerd.
   • Deze progressieve verfijning stelt het model in staat om recursief resterende uitlijningsfouten te corrigeren en de semantische interactie te verdiepen, waarbij de output van één iteratie als de prior voor de volgende wordt gebruikt.

4. Lichtgewicht Fusie:

   • Na iteratieve verfijning worden de uitgelijnde feature-stromen geconcateneerd en gecomprimeerd via een Network-in-Network (NiN) module ($1 \times 1$ convolutie) vóór de detectiekop, om verdere dure ruimtelijke interacties te vermijden.

Belangrijkste Bijdragen

• Framework Design: Introductie van PNAFusion, dat expliciet de afweging tussen cross-modale uitlijningsnauwkeurigheid en de schaalbaarheid van geheugen/FLOPs in high-resolution feature fusie adresseert, in plaats van een strikt latentievoordeel te claimen.
• Nieuwe Modules:
  • ADA: Leert content-bewuste offsets om lokale niet-lineaire misuitlijning te compenseren.
  • PNCA: Beperkt cross-modale interactie tot een $k \times k$ buurt, waardoor de complexiteit wordt gereduceerd van $O((HW)^2)$ naar $O(HWk^2)$.
• Iteratieve Verfijning: Demonstreert dat een progressief feedbackmechanisme zwakke misuitlijning effectiever afhandelt dan simpelweg de netwerkdiepte vergroten.

Experimentele Resultaten
De methode werd geëvalueerd op drie benchmarks: FLIR, M3FD en DroneVehicle.

• Nauwkeurigheid:
  • Op FLIR bereikte PNAFusion 84.2 mAP@0.5 (YOLOv5) en 86.8 mAP@0.5 (Co-DETR).
  • Op M3FD bereikte het 90.5 mAP@0.5 (YOLOv5) en 90.8 mAP@0.5 (Co-DETR).
  • Op DroneVehicle bereikte het 85.5 mAP@0.5.
  • Opvallend genoeg toonde de methode significante winst in mAP@0.75, wat wijst op verbeterde lokalisatieprecisie en verminderde feature ghosting.
• Efficiëntie:
  • Vergeleken met de globale cross-attention baseline (ICAFusion), verminderde PNAFusion het toegewezen GPU-geheugen met 33.0% (van 775.09 MB naar 519.61 MB).
  • De theoretische FLOPs werden verminderd van 194.8 G naar 156.4 G.
  • Latency Trade-off: De auteurs erkennen dat door deformable sampling en iteratieve verfijning de absolute inferentie-latency toenam (bijv. 36.80 ms vs. 25.67 ms voor ICAFusion op RTX 4090D). Daarom wordt het voordeel geframed als een nauwkeurigheid–geheugen/FLOPs trade-off in plaats van een snelheidsvoordeel.

Betekenis en Claims
Het paper claimt dat PNAFusion een praktische oplossing biedt voor zwak uitgelijnde multispectrale objectdetectie door:

1. Lokale Misuitlijning te Corrigeren: Effectief omgaan met niet-lineaire ruimtelijke offsets via content-bewuste deformable sampling binnen een beperkte buurt.
2. Resourcegebruik te Optimaliseren: Een hoge detectienauwkeurigheid bereiken terwijl het geheugenspoor en de computationele kosten aanzienlijk worden verminderd ten opzichte van globale aandacht-mechanismen, waardoor het geschikter is voor platforms met beperkte middelen.
3. Robuustheid te Verbeteren: De detectievolledigheid en grens-lokalisatie te verbeteren in uitdagende omstandigheden (weinig licht, schittering, clutter) door irrelevante achtergrondactivatie te onderdrukken.

De auteurs merken bescheiden beperkingen op, waaronder het gebrek aan dichte pixel-niveau uitlijning ground truth voor directe offset-evaluatie, de afwezigheid van officiële dag/nacht labels in publieke datasets voor specifieke verlichtingsanalyse, en de hardware-inefficiëntie van onregelmatige geheugentoegangspatronen van deformable sampling op bepaalde platforms. Toekomstig werk wordt gesuggereerd om zich te richten op hardware-vriendelijke deformable sampling en expliciete offset-supervisie.