Resumo Técnico: Destilação de Conhecimento Relacional Estruturada para Detecção de Navios em SAR Leve (SURGE)

Declaração do Problema

Detectores baseados em convoluções profundas e transformers (ex: Faster R-CNN, RetinaNet, DETR) alcançam alta precisão na detecção de navios em Radar de Abertura Sintética (SAR), mas são frequentemente computacionalmente proibitivos para implantação em tempo real ou embarcada devido a restrições de memória e latência. Embora modelos leves ofereçam maior eficiência, eles frequentemente lutam para capturar as complexas relações estruturais e pistas geométricas inerentes ao retroespalhamento (backscatter) de SAR, levando a uma perda de poder discriminativo contra o ruído (clutter).

As abordagens existentes de destilação de conhecimento (KD) para SAR baseiam-se principalmente no alinhamento de mapas de características ou de logits. Esses métodos impõem similaridade de ativação localizada, mas falham em modelar explicitamente a geometria relacional que governa como um detector professor organiza as representações de objetos no espaço de características. Consequentemente, os modelos estudantes aprendem respostas locais em vez do raciocínio estrutural crítico para distinguir alvos em imagens de SAR. Além disso, há uma carência de frameworks unificados que possam lidar com arquiteturas de detectores heterogêneas (dois estágios, um estágio e baseadas em transformer) sem modificar seus designs principais.

Metodologia: Framework SURGE

Os autores propõem o SURGE (Structured Unified Relational knowledGE distillation), um framework projetado para transferir a geometria relacional de um professor poderoso para um estudante compacto usando um objetivo de contraste InfoNCE dentro de um espaço de projeção de embedding compartilhado.

Mecanismos Principais

1. Geração de Regiões Agnóstica à Arquitetura:
   O framework converte predições de famílias de detectores heterogêneas em regiões candidatas alinhadas:

   • Detectores de dois estágios: As regiões são derivadas da Rede de Proposta de Região (RPN).
   • Detectores de um estágio: Predições densas de alta confiança são decodificadas em caixas delimitadoras (bounding boxes) e tratadas como pseudo-propostas.
   • Transformers (DETR): Caixas delimitadoras de alta confiança preditas pelo decoder são utilizadas.
     Essas regiões são espacialmente alinhadas com o espaço de imagem do estudante para compensar diferenças de pré-processamento.

2. Alinhamento de Características entre Detectores:
   As regiões derivadas do professor são mapeadas de volta para o sistema de coordenadas da verdade de campo (ground-truth) e transformadas para o espaço de imagem do estudante. As características de nível de região são extraídas via RoIAlign tanto das redes do professor quanto do estudante.

3. Objetivo de Destilação Consciente de Relações:
   As características são agrupadas globalmente (globally pooled) e projetadas em um espaço de embedding compartilhado ($z^T_i$ e $z^S_i$) e normalizadas via L2. A destilação é formulada como um objetivo InfoNCE (Information Noise-Contrastive Estimation) ancorado no estudante:

   • Pares Positivos: Definidos por regiões que compartilham o mesmo rótulo semântico e possuem alto IoU ($\ge \tau_{pos}$) com a verdade de campo.
   • Pares Negativos: Definidos por regiões com baixo IoU ($\le \tau_{neg}$).
   • Função de Perda: O objetivo incentiva o embedding do estudante a preservar a estrutura de vizinhança relativa induzida pelas pistas semânticas e de localização do professor, em vez de realizar uma regressão direta de característica um-para-um.

4. Estratégia de Treinamento Unificada:

   • Para detectores convolucionais (Faster R-CNN, RetinaNet), a perda total combina a perda de detecção padrão, a destilação de saída vanilla (logits/caixas) e a proposta perda relacional.
   • Para detectores baseados em transformer (DETR), a destilação de saída é omitida porque predições de conjuntos não ordenados levam a correspondências instáveis entre professor e estudante. Em vez disso, o DETR depende exclusivamente da destilação relacional de nível de região.

Principais Contribuições

O artigo delineia quatro contribuições primárias:

1. Framework SURGE: Um framework de KD unificado e consciente de relações para detecção de navios em SAR. Sua novidade reside em converter predições heterogêneas em regiões candidatas alinhadas para transferir a geometria relacional entre embeddings de nível de objeto, em vez de introduzir uma nova função de perda de propósito geral.
2. Interface Unificada: Uma interface de destilação de nível de região aplicável a detectores de dois estágios, um estágio e baseados em transformer sem modificar suas arquiteturas principais.
3. Primeiro KD de SAR Baseado em Transformer: Tanto quanto os autores sabem, este é o primeiro framework que demonstra transferência relacional eficaz para detectores de navios em SAR baseados em transformer sem depender de supervisão por query.
4. Ganhos de Desempenho: Experimentos nos benchmarks SSDD e HRSID mostram melhorias substanciais para detectores leves de dois estágios (ganhos de até 6.2 mAP e 8.0 AP75) enquanto alcançam redução de mais de 50% nos parâmetros.

Resultados Experimentais

O framework foi avaliado nos benchmarks SSDD e HRSID utilizando Faster R-CNN (dois estágios), RetinaNet (um estágio) e DETR (transformer).

• Detectores de Dois Estágios (Faster R-CNN): O método gerou as melhorias mais significativas. No SSDD, o estudante ResNet-18 melhorou de 62.87 mAP para 68.03 mAP (+5.16 mAP sobre o estudante não destilado). Notavelmente, o estudante destilado superou o professor ResNet-101 em +1.33 mAP usando ~51% menos parâmetros. No HRSID, os ganhos foram de +6.03 mAP e +7.71 AP75.
• Detectores de Um Estágio (RetinaNet): Os resultados foram mistos. No SSDD, o método proposto mostrou desempenho dentro da margem de variabilidade estatística em comparação com o estudante baseline e a KD vanilla. No entanto, no dataset mais complexo HRSID, forneceu ganhos consistentes (+0.65 mA P, +1.10 AP75).
• Detectores de Transformer (DETR): O método proporcionou ganhos consistentes, embora menores (+0.33 mAP no SSDD). Os autores observam que uma baseline de destilação de saída convencional não foi reportada para o DETR, pois degradava o desempenho devido às correspondências instáveis.
• Estudos de Ablação: Combinar a destilação relacional com a destilação vanilla rendeu os melhores resultados, indicando que a supervisão relacional complementa, em vez de substituir, a destilação convencional.
• Eficiência: Como o framework é apenas para treinamento, a latência de implantação e o uso de memória permanecem idênticos aos modelos estudantes baselines.

Significância e Alegações

O artigo afirma que o SURGE estabelece a destilação consciente de relações como uma estratégia fundamentada e escalável para detecção eficiente de navios em SAR sob restrições de recursos.

• Raciocínio Estrutural: Os autores enfatizam que o sucesso do método advém da transferência da "organização estrutural" do espaço de representação do professor, o que é crítico para imagens de SAR, onde pistas contextuais e geométricas são vitais.
• Agnosticismo de Arquitetura: O framework consegue unir diferentes paradigmas de detectores (dois estágios, um estágio, transformer) usando uma interface unificada de nível de região.
• Desempenho que Supera o Professor: No caso do Faster R-CNN, o estudante destilado não apenas superou o estudante não destilado, mas também excedeu o desempenho do modelo professor maior, demonstrando que a transferência de geometria relacional pode compensar a redução da capacidade do modelo.
• Modéstia de Escopo: Os autores reconhecem que os ganhos para detectores de um estágio e baseados em transformer são mais modestos em comparação com detectores de dois estágios, atribuindo isso à ausência de propostas de região explícitas nessas arquiteturas. Eles posicionam o trabalho como um passo em direção à detecção eficiente, com trabalhos futuros planejados para detecção multiclasse e destilação cross-modal.