Technische Samenvatting: Lichtgewicht SAR-scheepsdetectie via Contrastieve Distillatie (SURGE)

Probleemstelling

Diepe convolutionele en transformer-gebaseerde detectoren (bijv. Faster R-CNN, RetinaNet, DETR) bereiken een hoge nauwkeurigheid bij Synthetic Aperture Radar (SAR) scheepsdetectie, maar zijn vaak computationeel te veeleisend voor real-time of onboard implementatie vanwege beperkingen in geheugen en latentie. Hoewel lichtgewicht modellen de efficiëntie verbeteren, worstelen ze vaak met het vastleggen van de complexe structurele relaties en geometrische aanwijzingen die inherent zijn aan SAR-backscatter, wat leidt tot een verlies aan onderscheidend vermogen ten opzichte van clutter.

Bestaande kennisdistillatie (KD)-benaderingen voor SAR vertrouwen primair op feature-map matching of logit-uitlijning. Deze methoden dwingen lokale activatieovereenkomst af, maar falen in het expliciet modelleren van de relationele geometrie die bepaalt hoe een teacher-detector objectrepresentaties organiseert in de feature space. Gevolgen hiervan is dat student-modellen lokale responsen leren in plaats van de structurele redenering die cruciaal is voor het onderscheiden van doelwitten in SAR-beelden. Bovendien is er een gebrek aan verenigde frameworks die heterogene detectorarchitecturen (two-stage, one-stage en transformer-gebaseerd) kunnen afhandelen zonder hun kernontwerpen te wijzigen.

Methodologie: SURGE Framework

De auteurs stellen SURGE voor (Structured Unified Relational knowledGE distillation), een framework ontworpen om relationele geometrie over te dragen van een krachtige teacher naar een compacte student met behulp van een contrastieve InfoNCE-doelstelling binnen een gedeelde projectie-embedding space.

Kernmechanismen

1. Architectuur-agnostische Regio-generatie:
   Het framework zet voorspellingen van heterogene detectorfamilies om in uitgelijnde kandidaat-regio's:

   • Two-stage detectoren: Regio's worden afgeleid van de Region Proposal Network (RPN).
   • One-stage detectoren: Voorspellingen met een hoge betrouwbaarheid worden gedecodeerd naar bounding boxes en behandeld als pseudo-proposals.
   • Transformers (DETR): Bounding boxes met een hoge betrouwbaarheid die door de decoder worden voorspeld, worden gebruikt.
     Deze regio's worden ruimtelijk uitgelijnd met de beeldruimte van de student om verschillen in preprocessing te compenseren.

2. Cross-Detector Feature Alignment:
   Teacher-afgeleide regio's worden teruggekaatst naar het grondwaarheid (ground-truth) coördinatensysteem en getransformeerd naar de beeldruimte van de student. Regio-niveau features worden geëxtraheerd via RoIAlign van zowel de teacher- als de student-netwerken.

3. Relatie-bewuste Distillatie-doelstelling:
   Features worden globaal gepooled en geprojecteerd in een gedeelde embedding space ($z^T_i$ en $z^S_i$) en L2-genormaliseerd. De distillatie wordt geformuleerd als een student-geankerde InfoNCE (Information Noise-Contrastive Estimation) doelstelling:

   • Positieve paren: Gedefinieerd door regio's die dezelfde semantische label delen en een hoge IoU ($\ge \tau_{pos}$) hebben met de ground-truth.
   • Negatieve paren: Gedefinieerd door regio's met een lage IoU ($\le \tau_{neg}$).
   • Verliesfunctie: De doelstelling moedigt de student-embedding aan om de relatieve buurtstructuur te behouden die door de semantische en lokalisatie-aanwijzingen van de teacher wordt geïnduceerd, in plaats van directe één-op-één feature regressie uit te voeren.

4. Verenigde Trainingsstrategie:

   • Voor convolutionele detectoren (Faster R-CNN, RetinaNet), combineert de totale loss de standaard detectie-loss, vanilla output-level distillatie (logits/boxes) en de voorgestelde relationele loss.
   • Voor transformer-gebaseerde detectoren (DETR), wordt output-level distillatie weggelaten omdat ongeordende set-gebaseerde voorspellingen leiden tot instabiele teacher-student correspondentie. In plaats daarvan vertrouwt DETR uitsluitend op de regio-niveau relationele distillatie.

Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. SURGE Framework: Een verenigd, relatie-bewust KD-framework voor SAR-scheepsdetectie. De nieuwheid ligt in het omzetten van heterogene voorspellingen naar uitgelijnde kandidaat-regio's om relationele geometrie tussen object-niveau embeddings over te dragen, in plaats van het introduceren van een nieuwe algemene doelfunctie.
2. Verenigde Interface: Een regio-niveau distillatie-interface die toepasbaar is op two-stage, one-stage en transformer-gebaseerde detectoren zonder hun kernarchitecturen te wijzigen.
3. Eerste Transformer-gebaseerde SAR KD: Naar even weten van de auteurs is dit het eerste framework dat effectieve relationele transfer demonstreert voor transformer-gebaseerde SAR-scheepsdetectoren zonder afhankelijk te zijn van query-level supervisie.
4. Prestatiewinsten: Experimenten op de SSDD en HRSID benchmarks tonen aanzienlijke verbeteringen voor lichtgewicht two-stage detectoren (tot 6,2 mAP en 8,0 AP75 winst) terwijl meer dan 50% aan parameters wordt bespaard.

Experimentele Resultaten

Het framework werd geëvalueerd op de SSDD en HRSID benchmarks met behulp van Faster R-CNN (two-stage), RetinaNet (one-stage) en DETR (transformer).

• Two-Stage Detectoren (Faster R-CNN): De methode leverde de meest significante verbeteringen op. Op SSDD verbeterde de ResNet-18 student van 62,87 mAP naar 68,03 mAP (+5,16 mAP ten opzichte van de niet-gedistilleerde student). Opvallend genoeg overtrof de gedistilleerde student de ResNet-101 teacher met +1,33 mAP terwijl deze ~51% minder parameters gebruikte. Op HRSID waren de winsten +6,03 mAP en +7,71 AP75.
• One-Stage Detectoren (RetinaNet): De resultaten waren gemengd. Op SSDD vertoonde de voorgestelde methode prestaties binnen de marge van statistische variabiliteit vergeleken met de baseline student en vanilla KD. Echter, op de complexere HRSID dataset leverde het consistente winsten op (+0,65 mAP, +1,10 AP75).
• Transformer Detectoren (DETR): De methode leverde consistente, zij het kleinere, winsten (+0,33 mAP op SSDD). De auteurs merken op dat een conventionele output-level distillatie baseline niet is gerapporteerd voor DETR, omdat dit de prestaties verslechterde door instabiele correspondenties.
• Ablatiestudies: Het combineren van relationele distillatie met vanilla KD leverde de beste resultaten op, wat aangeeft dat relationele supervisie conventionele distillatie aanvult in plaats van vervangt.
• Efficiëntie: Omdat het framework enkel tijdens de training wordt gebruikt, blijven de deployment latentie en het geheugengebruik identiek aan de baseline student-modellen.

Betekenis en Claims

Het artikel claimt dat SURGE relatie-bewuste distillatie vestigt als een principieel en schaalbaar strategie voor efficiënte SAR-scheepsdetectie onder beperkte middelen.

• Structurele Redenering: De auteurs benadrukken dat het succes van de methode voortkomt uit het overdragen van de "structurele organisatie" van de representatie-ruimte van de teacher, wat cruciaal is voor SAR-beelden waar contextuele en geometrische aanwijzingen essentieel zijn.
• Architectuur-agnostiek: Het framework slaagt erin de kloof tussen verschillende detector-paradigma's (two-stage, one-stage, transformer) te overbruggen via een verenigde regio-niveau interface.
• Teacher-overtreffende Prestaties: In het geval van Faster R-CNN overtrof de gedistilleerde student niet alleen de niet-gedistilleerde student, maar ook de grotere teacher-model, wat aantoont dat de transfer van relationele geometrie een verminderde modelcapaciteit kan compenseren.
• Bescheidenheid over Omvang: De auteurs erkennen dat de winsten voor one-stage en transformer-gebaseerde detectoren bescheidener zijn vergeleken met two-stage detectoren, wat zij toeschrijven aan de afwezigheid van expliciete regio-proposals in die architecturen. Zij positioneren het werk als een stap naar efficiënte detectie, waarbij toekomstig werk gepland is voor multi-class detectie en cross-modale distillatie.