PKINet-v2: Towards Powerful and Efficient Poly-Kernel Remote Sensing Object Detection

Probleemstelling

Objectdetectie in remote sensing-afbeeldingen (RSI's, zoals luchtfoto's en satellietbeelden) staat voor twee unieke uitdagingen die zich onderscheiden van detectie in natuurlijke scènes:

1. Geometrische Complexiteit: Objecten komen voor in willekeurige oriëntaties en met zeer diverse aspectverhoudingen (van ronde rotondes tot langgerekte bruggen). Bestaande methoden kiezen vaak voor één aanpak: ofwel anisotrope "strip-kernels" (voor lange objecten) ofwel isotrope grote vierkante kernels (voor context). Strip-kernels verstoren echter de ruimtelijke coherentie van ronde objecten en verzwakken kleine details, terwijl grote vierkante kernels veel achtergrondruis introduceren en geometrisch ongeschikt zijn voor smalle structuren.
2. Ruimtelijke Complexiteit: Er is een extreme variatie in objectgrootte (van kleine voertuigen tot grote vliegvelden) binnen één afbeelding. Bestaande backbones slagen er vaak niet in om zowel fijne lokale texturen als langeafstandscontext gelijktijdig effectief te modelleren zonder de efficiëntie te verliezen.

Bovendien leiden complexe multi-branch architecturen (zoals in de voorganger PKINet-v1) tot fragmentatie van het geheugen en trage inferentie door frequente kernel-starts, wat real-time toepassingen belemmert.

Methodologie: PKINet-v2

De auteurs stellen PKINet-v2 (Poly-Kernel Inception Network v2) voor, een krachtige en efficiënte backbone die beide uitdagingen in één uniek paradigma aanpakt.

1. Poly-Kernel Scope (PKS) Module:
In plaats van te kiezen tussen strip- of vierkante kernels, combineert de PKS-module beide:

• Anisotrope Strip Convoluties: Axiale strip-kernels (bijv. $1 \times 19$ en $19 \times 1$) worden gebruikt om de geometrie van langgerekte objecten (zoals bruggen en wegen) effectief te modelleren zonder de ruimtelijke coherentie te verstoren.
• Isotrope Vierkante Kernels: Een reeks parallelle dieptewijze convoluties met verschillende maten en verdunningsfactoren (dilation rates) creëren een hiërarchisch verdicht multi-scope receptief veld. Dit omvat dichte kleine kernels voor lokale texturen en verspreide grote kernels voor globale context.
• Fusie: De output van deze heterogene takken wordt genormaliseerd en samengevoegd via een $1 \times 1$ convolutie, waarna deze fungeert als een ruimtelijke attention-mapping die de input features vermenigvuldigt.

2. Heterogeneous Kernel Re-parameterization (HKR) Strategie:
Om de inferentie-efficiëntie te maximaliseren zonder nauwkeurigheidsverlies, introduceert het paper de HKR-strategie:

• Tijdens het trainen wordt het model opgebouwd met meerdere parallelle takken (strip en diverse vierkante kernels) voor maximale expressiviteit.
• Tijdens de inferentie worden alle takken algebraïsch samengevoegd tot één enkele dieptewijze convolutie met een groot kernelformaat ($K_{max} \times K_{max}$).
• Dit proces omvat het samenvoegen van Conv-BN lagen en het "scattered" toepassen van de gewichten van de verschillende takken in één uniforme kernel. Hierdoor verdwijnt de geheugenfragmentatie en het overhead van meerdere kernel-starts, wat leidt tot een hardware-vriendelijke, snelle uitvoering.

Belangrijkste Bijdragen

1. Unificatie van Kernel-Design: PKINet-v2 is de eerste backbone die anisotrope strip-kernels en isotrope vierkante kernels succesvol combineert binnen één architectuur om zowel geometrische als ruimtelijke complexiteit in RSI's aan te pakken.
2. Hiërarchisch Verdicht Receptief Veld: Door een combinatie van kleine, verspreide en axiale kernels te gebruiken, creëert het netwerk een receptief veld dat zowel fijnkorrelige details behoudt als langeafstandscontext aggregatie mogelijk maakt.
3. Efficiënte HKR-strategie: De re-parameterisatie zorgt ervoor dat het complexe trainingsmodel tijdens de inferentie wordt omgezet in een enkele, snelle convolutie, wat de doorvoersnelheid aanzienlijk verhoogt zonder nauwkeurigheidsverlies.
4. State-of-the-Art Prestaties: Het model presteert beter dan bestaande methoden op vier belangrijke benchmarks, met name in het detecteren van smalle objecten en objecten met extreme schaalvariaties.

Resultaten

Het paper presenteert uitgebreide experimenten op vier wijdverspreide benchmarks: DOTA-v1.0, DOTA-v1.5, HRSC2016 en DIOR-R.

• Nauwkeurigheid (Accuracy):

  • Op DOTA-v1.0 bereikt PKINet-v2-S een mAP van 80,46%, wat een verbetering is van +2,07% ten opzichte van PKINet-v1 en +0,4% ten opzichte van Strip RCNN-S (de vorige staat-van-de-kunst voor geometrisch complexe objecten).
  • Het model presteert uitstekend op specifieke categorieën: het verbetert de detectie van bruggen (BR) aanzienlijk (van 55,81% naar 57,72%) en kleine voertuigen (SV) (81,21%), wat de effectiviteit van de hybride kernel-ontwerp bevestigt.
  • Op HRSC2016 (schepen) en DIOR-R worden eveneens nieuwe state-of-the-art resultaten geboekt.

• Efficiëntie (Efficiency):

  • Dankzij de HKR-strategie bereikt PKINet-v2-S een inferentiesnelheid van 54,6 FPS op een NVIDIA A100 GPU.
  • Dit is een 3,9x versnelling ten opzichte van PKINet-v1 (14,05 FPS) en verslaat ook andere moderne backbones zoals LSKNet en LWGANet in snelheid, terwijl het tegelijkertijd nauwkeuriger is.

• Generalisatie:

  • PKINet-v2 levert consistente verbeteringen wanneer geïntegreerd in verschillende detectie-frameworks (zoals Rotated FCOS, R3Det, S2ANet, RoI Transformer en Oriented RCNN), wat de robuustheid van de backbone onderstreept.

Betekenis en Impact

PKINet-v2 markeert een belangrijke stap voorwaarts in de remote sensing objectdetectie. Het lost het fundamentele compromis op tussen het modelleren van smalle, langgerekte objecten en het behouden van context voor grote, complexe scènes. Door de HKR-strategie maakt het paper ook een brug tussen complexe, expressieve modellen en praktische, real-time implementaties.

De verbeterde snelheid en nauwkeurigheid maken PKINet-v2 zeer geschikt voor toepassingen die grote gebieden moeten analyseren of snelle reacties vereisen, zoals:

• Stadsplanning en infrastructuurinspectie.
• Milieubewaking en rampenbeheer.
• Maritiem beheer en precisielandbouw.

Kortom, PKINet-v2 biedt een uniek, krachtig en efficiënt fundament voor de volgende generatie detectiesystemen voor satelliet- en luchtfoto's.