Progressive Pixel-Neighborhood Deformable Cross-Attention for Multispectral Object Detection

Resumo Técnico: Atenção Cruzada Deformável de Vizinhança de Pixels Progressiva para Detecção de Objetos Multiespectrais

Definição do Problema
A detecção de objetos multiespectrais, que funde imagens visíveis (RGB) e infravermelhas térmicas (TIR), enfrenta dois desafios primários: o desalinhamento espacial fraco entre as modalidades e o alto custo computacional da interação global de características.

1. Desalinhamento Fraco: Devido ao deslocamento dos sensores, erros de calibração e diferentes campos de visão, as imagens visíveis e térmicas frequentemente exibem deslocamentos espaciais não lineares. Métodos de fusão convencionais que assumem um registro estrito ao nível do pixel sofrem com ghosting de características, bordas borradas e viés de localização.
2. Eficiência Computacional: Embora arquiteturas baseadas em Transformers (ex: ICAFusion) ofereçam um forte modelamento de longo alcance via atenção cruzada global, sua complexidade computacional escala quadraticamente com a resolução da imagem ($O((HW)^2)$). Isso impõe um overhead de memória proibitivo e limita a implantação em plataformas com recursos limitados. Além disso, a atenção global frequentemente introduz ruído de fundo irrelevante, diluindo o poder discriminativo para alvos salientes.

Metodologia: PNAFusion
Os autores propõem o PNAFusion (Atenção Cruzada de Vizinhança de Pixels Progressiva Deformável), um framework projetado para equilibrar a precisão de alinhamento com a eficiência de memória. A arquitetura consiste em um backbone de fluxo duplo para extração de características, seguido por um estágio de fusão iterativo e um cabeçalho de detecção. As inovações centrais são:

1. Atenção Cruzada de Vizinhança de Pixels (PNCA):

   • Em vez de correspondência global, a PNCA restringe a interação cross-modal a uma vizinhança local de $k \times k$ ao redor de cada pixel de consulta (query).
   • Isso reduz a complexidade dominante da atenção de $O((HW)^2)$ para $O(HWk^2)$, reduzindo significativamente o consumo de memória e os FLOPs.
   • Suprime o ruído de fundo ao evitar correspondências globais irrelevantes, focando a interação em regiões locais semanticamente relevantes.

2. Alinhamento Deformável Adaptativo (ADA):

   • Para lidar com deslocamentos espaciais não lineares, a ADA prevê deslocamentos de amostragem sensíveis ao conteúdo (content-aware) para a modalidade de chave-valor (ex: TIR) com base na modalidade de consulta (ex: RGB).
   • Usando uma rede de deslocamento aprendida, a ADA realiza a amostragem bilinear deformável para alinhar as características antes do cálculo da atenção.
   • Crucialmente, esses deslocamentos são restritos dentro da vizinhança local, corrigindo o desalinhamento local sem realizar amostragem global arbitrária.

3. Mecanismo de Feedback Iterativo:

   • O framework emprega um loop recorrente onde os blocos PNDCA de fluxo duplo (PNCA + ADA) são empilhados e executados iterativamente ($N$ vezes).
   • Este refinamento progressivo permite que o modelo corrija recursivamente erros residuais de alinhamento e aprofunde a interação semântica, utilizando a saída de uma iteração como o prior para a próxima.

4. Fusão Leve:

   • Após o refinamento iterativo, os fluxos de características alinhados são concatenados e comprimidos via um módulo Network-in-Network (NiN) (convolução $1 \times 1$) antes do cabeçalho de detecção, evitando interações espaciais dispendiosas adicionais.

Principais Contribuições

• Design do Framework: Introdução do PNAFusion, que aborda explicitamente o compromisso entre a precisão de alinhamento cross-modal e a escalabilidade de memória/FLOPs em fusão de características de alta resolução, em vez de reivindicar uma vantagem de latência estrita.
• Novos Módulos:
  • ADA: Aprende deslocamentos sensíveis ao conteúdo para compensar o desalinhamento não linear local.
  • PNCA: Restringe a interação cross-modal a uma vizinhança de $k \times k$, reduzindo a complexidade de $O((HW)^2)$ para $O(HWk^2)$.
• Refinamento Iterativo: Demonstra que um mecanismo de feedback progressivo lida com o desalinhamento fraco de forma mais eficaz do que simplesmente aumentar a profundidade da rede.

Resultados Experimentais
O método foi avaliado em três benchmarks: FLIR, M3FD e DroneVehicle.

• Acurácia:
  • No FLIR, o PNAFusion alcançou 84.2 mAP@0.5 (YOLOv5) e 86.8 mAP@0.5 (Co-DETR).
  • No M3FD, atingiu 90.5 mAP@0.5 (YOLOv5) e 90.8 mAP@0.5 (Co-DETR).
  • No DroneVehicle, alcançou 85.5 mAP@0.5.
  • Notavelmente, o método mostrou ganhos significativos em mAP@0.75, indicando melhor precisão de localização e redução de ghosting de características.
• Eficiência:
  • Comparado à linha de base de atenção cruzada global (ICAFusion), o PNAFusion reduziu a memória GPU alocada em 33.0% (de 775.09 MB para 519.61 MB).
  • Os FLOPs teóricos foram reduzidos de 194.8 G para 156.4 G.
  • Compromisso de Latência: Os autores reconhecem que, devido à amostragem deformável e ao refinamento iterativo, a latência absoluta de inferência aumentou (ex: 36.80 ms vs. 25.67 ms para o ICAFusion em uma RTX 4090D). Assim, o benefício é enquadrado como um compromisso entre acurácia e memória/FLOPs em vez de uma vantagem de velocidade.

Significância e Alegações
O artigo afirma que o PNAFusion fornece uma solução prática para detecção de objetos multiespectrais com alinhamento fraco ao:

1. Corrigir o Desalinhamento Local: Lidar efetivamente com deslocamentos espaciais não lineares através de amostragem deformável sensível ao conteúdo dentro de uma vizinhança restrita.
2. Otimizar o Uso de Recursos: Alcançar alta precisão de detecção enquanto reduz substancialmente a pegada de memória e o custo computacional em comparação com mecanismos de atenção global, tornando-o mais adequado para plataformas com recursos limitados.
3. Aumentar a Robustez: Melhorar a completude da detecção e a localização de bordas em condições desafiadoras (baixa luminosidade, brilho, poluição visual) ao suprimir ativações de fundo irrelevantes.

Os autores observam modestamente as limitações, incluindo a falta de um ground truth de alinhamento de pixel denso para avaliação direta de deslocamento, a ausência de rótulos oficiais de dia/noite em conjuntos de dados públicos para análise de iluminação específica, e a ineficiência de hardware nos padrões de acesso à memória irregulares da amostragem deformável em certas plataformas. Sugere-se que trabalhos futuros foquem em amostragem deformável amigável ao hardware e supervisão explícita de deslocamento.