Riepilogo Tecnico: Distillazione di Conoscenza Relazionale Leggera per il Rilevamento di Navi in Immagini SAR (SURGE)

Definizione del Problema

I rilevatori basati su deep convolutional o transformer (ad es., Faster R-CNN, RetinaNet, DETR) raggiungono un'elevata accuratezza nel rilevamento di navi in immagini SAR (Synthetic Aperture Radar), ma sono spesso computazionalmente proibitivi per l'implementazione in tempo reale o a bordo a causa dei vincoli di memoria e latenza. Sebbene i modelli leggeri offrano un'efficienza migliorata, essi faticano frequentemente a catturare le complesse relazioni strutturali e gli indizi geometrici intrinseci al backscatter SAR, portando a una perdita di potere discriminativo rispetto al clutter.

Gli approcci esistenti di distillazione della conoscenza (KD) per il SAR si affidano principalmente al matching delle mappe di feature o all'allineamento dei logit. Questi metodi impongono una somiglianza di attivazione localizzata, ma non riescono a modellare esplicitamente la geometria relazionale che governa il modo in cui un rilevatore teacher organizza le rappresentazioni degli oggetti nello spazio delle feature. Di conseguenza, i modelli student apprendono risposte locali piuttosto che il ragionamento strutturale critico per distinguere i target nelle immagini SAR. Inoltre, vi è una mancanza di framework unificati in grado di gestire architetture di rilevatori eterogenee (two-stage, one-stage e basate su transformer) senza modificarne i design core.

Metodologia: Framework SURGE

Gli autori propongono SURGE (Structured Unified Relational knowledGE distillation), un framework progettato per trasferire la geometria relazionale da un potente teacher a uno student compatto utilizzando un obiettivo contrastivo InfoNCE all'interno di uno spazio di embedding di proiezione condiviso.

Meccanismi Core

1. Generazione di Regioni Agnostica rispetto all'Architettura:
   Il framework converte le predizioni di famiglie di rilevatori eterogenee in regioni candidate allineate:

   • Rilevatori two-stage: Le regioni sono derivate dalla Region Proposal Network (RPN).
   • Rilevatori one-stage: Predizioni dense ad alta confidenza vengono decodificate in bounding box e trattate come pseudo-proposte.
   • Transformer (DETR): Vengono utilizzati i bounding box ad alta confidenza predetti dal decoder.
     Queste regioni sono spazialmente allineate con lo spazio dell'immagine dello student per tenere conto delle differenze di pre-processing.

2. Allineamento delle Feature Cross-Detector:
   Le regioni derivate dal teacher vengono mappate nuovamente nel sistema di coordinate della ground-truth e trasformate nello spazio dell'immagine dello student. Le feature a livello di regione vengono estratte tramite RoIAlign sia dalle reti teacher che da quelle student.

3. Obiettivo di Distillazione Consapevole delle Relazioni:
   Le feature vengono aggregate globalmente (global pooling) e proiettate in uno spazio di embedding condiviso ($z^T_i$ e $z^S_i$) e normalizzate L2. La distillazione è formulata come un obiettivo InfoNCE (Information Noise-Contrastive Estimation) ancorato allo student:

   • Coppie Positive: Definite da regioni che condividono lo stesso label semantico e un'alta IoU ($\ge \tau_{pos}$) con la ground-truth.
   • Coppie Negative: Definite da regioni con bassa IoU ($\le \tau_{neg}$).
   • Funzione di Perdita: L'obiettivo incoraggia l'embedding dello student a preservare la struttura di vicinato relativa indotta dai cue semantici e di localizzazione del teacher, piuttosto che eseguire una regressione diretta delle feature uno-a-uno.

4. Strategia di Training Unificata:

   • Per i rilevatori convoluzionali (Faster R-CNN, RetinaNet), la perdita totale combina la standard detection loss, la vanilla output-level distillation (logits/box) e la proposta perdita relazionale.
   • Per i rilevatori basati su transformer (DETR), la distillazione a livello di output viene omessa perché le predizioni basate su set non ordinati portano a una corrispondenza instabile tra teacher e student. Inveve, DETR si affida esclusivamente alla distillazione relazionale a livello di regione.

Contributi Principali

Il documento delinea quattro contributi primari:

1. Framework SURGE: Un framework di KD unificato e consapevole delle relazioni per il rilevamento di navi in SAR. La sua novità risiede nella conversione di predizioni eterogenee in regioni candidate allineate per trasferire la geometria relazionale tra gli embedding a livello di oggetto, piuttosto che introdurre una nuova funzione di perdita generalizzata.
2. Interfaccia Unificata: Un'interfaccia di distillazione a livello di regione applicabile a rilevatori two-stage, one-stage e basati su transformer senza modificare le loro architetture core.
3. Primo KD per SAR basato su Transformer: Per quanto ne sappiamo, questo è il primo framework che dimostra un efficace trasferimento relazionale per i rilevatori di navi SAR basati su transformer senza fare affidamento sulla supervisione a livello di query.
4. Guadagni di Performance: Gli esperimenti sui benchmark SSDD e HRSID mostrano miglioramenti sostanziali per i rilevatori two-stage leggeri (fino a 6.2 mAP e 8.0 AP75 di guadagno) pur ottenendo una riduzione dei parametri superiore al 50%.

Risultati Sperimentali

Il framework è stato valutato sui benchmark SSDD e HRSID utilizzando Faster R-CNN (two-stage), RetinaNet (one-stage) e DETR (transformer).

• Rilevatori Two-Stage (Faster R-CNN): Il metodo ha prodotto i miglioramenti più significativi. Su SSDD, lo student ResNet-18 è migliorato da 62.87 mAP a 68.03 mAP (+5.16 mAP rispetto allo student non distillato). Notevolmente, lo student distillato ha superato il teacher ResNet-101 di +1.33 mAP pur utilizzando circa il 51% in meno di parametri. Su HRSID, i guadagni sono stati di +6.03 mAP e +7.71 AP75.
• Rilevatori One-Stage (RetinaNet): I risultati sono stati misti. Su SSDD, il metodo proposto ha mostrato una performance entro il margine di variabilità statistica rispetto allo student di base e alla vanilla KD. Tuttavia, sul dataset più complesso HRSID, ha fornito guadagni costanti (+0.65 mAP, +1.10 AP75).
• Rilevatori Transformer (DETR): Il metodo ha fornito guadagni costanti, sebbene minori (+0.33 mAP su SSDD). Gli autori notano che una convenzionale baseline di output-level distillation non è stata riportata per DETR poiché degradava le performance a causa di corrispondenze instabili.
• Studi di Ablazione: Combinare la distillazione relazionale con la vanilla KD ha prodotto i risultati migliori, indicando che la supervisione relazionale integra piuttosto che sostituire la distillazione convenzionale.
• Efficienza: Poiché il framework è attivo solo durante il training, la latenza di deployment e l'uso di memoria rimangono identici ai modelli student di base.

Significato e Affermazioni

Il paper afferma che SURGE stabilisce la distillazione consapevole delle relazioni come una strategia fondata e scalabile per il rilevamento efficiente di navi in SAR sotto vincoli di risorse.

• Ragionamento Strutturale: Gli autori sottolineano che il successo del metodo deriva dal trasferimento dell' "organizzazione strutturale" dello spazio di rappresentazione del teacher, fondamentale per le immagini SAR dove i cue contestuali e geometrici sono vitali.
• Agnosticismo rispetto all'Architettura: Il framework colma con successo il divario tra diversi paradigmi di rilevamento (two-stage, one-stage, transformer) utilizzando un'interfaccia unificata a livello di regione.
• Performance Superiore al Teacher: Nel caso di Faster R-CNN, lo student distillato non solo ha superato lo student non distillato, ma ha superato anche le performance del modello teacher più grande, dimostrando che il trasferimento della geometria relazionale può compensare la ridotta capacità del modello.
• Modestia sull'Ambito: Gli autori riconoscono che i guadagni per i rilevatori one-stage e transformer sono più modesti rispetto ai rilevatori two-stage, attribuendo ciò all'assenza di proposte di regione esplicite in quelle architetture. Posizionano il lavoro come un passo verso il rilevamento efficiente, con lavori futuri pianificati per il rilevamento multi-classe e la distillazione cross-modale.