Improved Vision-to-Chart Buoy Association with Learned World-to-Image Projection

Resumo Técnico: Associação Melhorada Visão-para-Chart com Projeção Mundo-para-Imagem Aprendida

Definição do Problema
O artigo aborda o desafio de associação de dados "Visão-para-Chart" (MaCVi 2026), que envolve detectar bóias em imagens de câmaras marítimas e corresponder cada detecção à sua entrada correspondente num chart náutico. A dificuldade central reside na projeção geométrica: a linha de base do desafio recebe consultas por bóia codificando apenas distância e rumo no espaço mundial. Consequentemente, o decodificador transformer deve aprender implicitamente o mapeamento complexo dessas coordenadas mundiais para pixels da imagem, um processo fortemente dependente do pitch, roll e rumo instantâneos da embarcação (capturados via IMU). A abordagem de base força o modelo a descobrir essa relação geométrica do zero, confiando exclusivamente no refinamento baseado em aparência.

Metodologia
A solução proposta introduz uma modificação leve à linha de base do transformer de fusão baseado em DETR, fornecendo explicitamente um prior espacial ao decodificador. A metodologia consiste em duas etapas principais:

1. QueryMLP (Projeção Mundo-para-Imagem Aprendida):
   Um Multi-Layer Perceptron (MLP) dedicado é treinado independentemente para prever o "ponto de contacto da linha de água" da bóia na imagem. Este ponto é escolhido como o alvo de previsão porque corresponde diretamente à posição do objeto no plano da água e é aproximado pela aresta inferior-central da caixa delimitadora ($[c_x, c_y + h/2]$).

   • Entradas: O MLP recebe seis características derivadas de dados do chart e orientação do IMU: distância normalizada, distância inversa (limitada para lidar com não-linearidade de campo próximo), rumo normalizado, pitch, roll e rumo.
   • Arquitetura: Uma rede de quatro camadas ($6 \to 128 \to 128 \to 128 \to 2$) com BatchNorm, ReLU, Dropout e uma camada de saída Sigmoid.
   • Treinamento: É treinado em exemplos pareados (consulta, IMU, rótulo) usando AdamW e perda SmoothL1, convergindo na época 585 com um erro de validação mediano de 18,4 pixels.

2. Integração no Pipeline DETR:
   Uma vez treinado, o QueryMLP é congelado. Durante o treinamento e inferência do DETR, o carregador de dados executa o MLP em cada consulta do chart para gerar coordenadas de pixels previstas. Estas coordenadas são concatenadas com a distância normalizada e o rumo originais para formar um vetor de consulta aumentado de 4 dimensões ($q = [dist_{norm}, bearing_{norm}, c_x, c_y + h/2]$).

   • Este vetor amplia a dimensão de entrada do MLP de incorporação do decodificador de base de 2 para 4.
   • O decodificador transformer realiza então atenção cruzada nestas incorporações enriquecidas contra características de imagem ResNet-50.
   • Todos os outros componentes arquitetónicos (backbone ResNet-50, camadas transformer, funções de perda) permanecem idênticos à linha de base.

Principais Contribuições

• Priors Espaciais Explícitos: O trabalho substitui a aprendizagem implícita da projeção geométrica por um mapeamento aprendido explícito que fornece ao decodificador uma localização aproximada para cada bóia antes de processar as características da imagem.
• Alvo de Ponto de Contacto da Linha de Água: Inspirado em trabalhos anteriores de georreferenciação marítima, o método visa especificamente o ponto de contacto da linha de água como a localização no espaço da imagem mais geometricamente significativa para a associação de bóias.
• Modificação Leve: A abordagem não requer alterações no backbone transformer pesado ou no loop de treinamento principal do modelo DETR, apenas um MLP pré-treinado adicional e uma modificação no pipeline de construção de consultas.

Resultados
O método foi avaliado no conjunto de dados ATON (5.189 amostras) e no conjunto de teste privado retido do desafio.

• Desempenho: A abordagem proposta alcançou uma pontuação global de 0,7386 no conjunto de teste (calculada como a média do F1-score e mIoU), colocando-se em segundo lugar entre todas as submissões.
  • Métricas do Conjunto de Teste: F1 = 0,8055, mIoU = 0,6718.
  • Métricas do Conjunto de Validação: Global = 0,7462 (F1 = 0,8171, mIoU = 0,6753).
• Comparação: Quando re-treinado sob condições idênticas, a linha de base (usando apenas distância e rumo) alcançou uma pontuação global de 0,7193 no conjunto de validação. O método proposto demonstrou generalização consistente entre os conjuntos de validação e teste.
• Análise Qualitativa: Comparações visuais indicam que o método proposto suprime deteções de falsos positivos em objetos que não são bóias e deteta com sucesso bóias perdidas pela linha de base, atribuído à precisão melhorada proveniente do prior espacial.

Significado e Alegações
O artigo afirma que o principal significado deste trabalho é a redução do "fardo de raciocínio geométrico" sobre o decodificador transformer. Ao prever explicitamente onde uma bóia deve aparecer com base em coordenadas mundiais e orientação da embarcação, o modelo pode focar a sua capacidade no refinamento baseado em aparência em vez de aprender a geometria de projeção do zero.

Os autores notam modestamente limitações e direções futuras:

• Design Congelado: A implementação atual mantém o QueryMLP congelado durante o treinamento do DETR, impedindo que o decodificador forneça feedback para refinar as previsões de pixels. O treinamento conjunto end-to-end é sugerido como uma melhoria futura.
• Robustez Ambiental: Embora o ponto de contacto da linha de água seja geometricamente estável em condições calmas, os autores reconhecem que pode ser menos confiável em mares agitados onde a ação das ondas ou o salpicão obscurecem a base da bóia — precisamente as condições onde a associação robusta é mais crítica.

O código para a implementação está publicamente disponível.