Training with synthetic data for drone detection in thermal imagery

Resumo Técnico: Treinamento com Dados Sintéticos para Detecção de Drones em Imagens Térmicas

Definição do Problema
A detecção de drones Ground-to-Air (G2A) em bandas espectrais de Infravermelho de Onda Longa (LWIR) enfrenta desafios significativos e distintos da detecção no espectro visível. Estes incluem a redução de informações de textura, ruído do sensor, variabilidade radiométrica e baixo contraste térmico entre alvos e fundos complexos. Além disso, o desenvolvimento de sistemas de detecção robustos é dificultado pela escassez de conjuntos de dados anotados em LWIR. A aquisição de dados reais é dispendiosa e operacionalmente restrita, enquanto a anotação manual de alvos aéreos pequenos e de baixo contraste é demorada e propensa a erros. Consequentemente, abordagens convencionais de aprendizado supervisionado que dependem de grandes conjuntos de dados rotulados são difíceis de aplicar neste domínio.

Metodologia
Os autores propõem e avaliam uma estratégia de treinamento "synthetic-first" (primeiro o sintético) projetada para enfrentar a escassez de dados. A metodologia segue um pipeline sequencial:

1. Geração de Dados Sintéticos:

   • Fundos (Backgrounds): Fundos de alta resolução semelhantes a IR foram gerados através de uma abordagem de modelo generativo de dois estágios. Imagens da web foram processadas pelo Florence-2 para gerar legendas, que foram então alimentadas no FLUX para criar fundos de falso-colorido IR. Estes foram filtrados para garantir a baixa presença humana e diversidade de condições ambientais, resultando em 1.362 fundos únicos.
   • Construção de Cena: Utilizando o Blender, 20.000 cenas IR sintéticas foram criadas integrando os fundos gerados com modelos 3D de drones. O pipeline incluiu posicionamento aleatório, animação de movimento, simulação de névoa e variação de parâmetros de câmera. Para aproximar a aparência térmica, os objetos de drones receberam componentes de emissão de luz com intensidade randomizada, ajustada em relação à escuridão do fundo para manter o contraste.
   • Pós-processamento: Para abordar a falta de ruído de sensor realista nos modelos generativos, o pipeline aplicou ruído Gaussiano aditivo, ruído de Poisson e filtragem Gaussiana (kernel 5x5) para simular ruído eletrônico, variação de contagem de fótons e desfoque óptico.
   • Negativos Difíceis (Hard Negatives): Um conjunto de dados proprietário de aves em RGB (19.875 imagens) foi incorporado durante o pré-treinamento para servir como negativos difíceis, aproveitando a similaridade morfológica entre aves e drones.

2. Arquiteturas de Modelo e Protocolos de Treinamento:
   Três famílias de detectores foram avaliadas: YOLOv13 (estágio único), RF-DETR (baseado em Transformer) e Faster R-CNN (dois estágios). Três configurações de treinamento foram testadas:

   • Ajuste Fino de Modalidade Única: Pré-treinamento em 20.000 amostras de IR Sintético (SIR), seguido de ajuste fino em 100 imagens reais de multicópteros IR.
   • Ajuste Fino de Dualidade de Modalidade: Pré-treinamento em SIR + dados de aves em RGB, seguido de ajuste fino em 100 imagens reais de multicópteros IR e 100 imagens reais de aves em IR.
   • Baseline Apenas Real: Treinamento exclusivamente em 100 imagens reais de multicópteros IR.

3. Estrutura de Análise de Conjunto de Dados:
   O estudo introduziu uma estrutura diagnóstica para quantificar o alinhamento entre dados sintéticos e reais em três níveis:

   • Radiometria ao Nível de Pixel: Medição da Variação Total de Histograma (HTV) e Variância do Gradiente de Sobel para avaliar a textura de ruído e a nitidez da transição térmica.
   • Alinhamento de Espaço de Características Semânticas: Uso da Distância de Kernel DINO (KDD) para medir a distância estatística entre conjuntos de dados em um espaço de características de vision transformer.
   • Diversidade Estrutural: Utilização do Vendi Score para estimar o número efetivo de conceitos visuais únicos dentro de um conjunto de dados.

Principais Contribuições

1. Pipeline de Dados Sintéticos: Desenvolvimento de um pipeline estruturado para detecção de drones G2A que combina geração de fundo semelhante a IR, construção de cena via Blender e pós-processamento de ruído para produzir dados de treinamento escaláveis com ground truth automático.
2. Avaliação Synthetic-First: Uma avaliação empírica de pré-treinamento sintético combinado com ajuste fino de poucos dados reais (few-shot) através de múltiplas arquiteturas de detector sob severa escassez de dados.
3. Estrutura Diagnóstica: Introdução de uma estrutura de análise multinível que vincula estatísticas radiométricas ao nível de pixel, alinhamento de espaço de características semânticas e diversidade estrutural ao desempenho de detecção downstream.
4. Análise de Negativos Difíceis: Investigação do uso de imagens de aves (tanto RGB quanto IR) como negativos difíceis, fornecendo evidências sobre como a morfologia de objetos aéreos adicionais afeta a robustez do detector e o alinhamento de domínio.

Resultados

• Necessidade de Dados Reais: Modelos treinados exclusivamente em dados sintéticos mostraram generalização limitada para imagens térmicas reais. O ajuste fino em LWIR real foi considerado necessário para o alinhamento do domínio do sensor, pois os dados sintéticos sozinhos não conseguem reproduzir as propriedades físicas e estatísticas de sensores reais (ex: estiramento de AGC, padrões de ruído específicos).
• Ganhos de Desempenho: O pré-treinamento sintético seguido de ajuste fino com dados reais melhorou consistentemente o desempenho de detecção (mAP@50:95) em comparação com o baseline apenas real em todas as famílias de detectores.
• Melhor Configuração: O resultado mais forte global foi alcançado pelo RF-DETR-L usando ajuste fino de dualidade de modalidade (mAP@50:95 de 0.723), seguido de perto pelo ajuste fino de modalidade única (0.713). A diferença entre estes dois foi observada como pequena e deve ser interpretada com cautela.
• Impacto dos Dados de Aves: A incorporação de imagens de aves em RGB durante o pré-treinamento melhorou o desempenho em algumas configurações (notadamente RF-DETR), provavelmente ao aumentar a diversidade geométrica e fortalecer o poder discriminativo. No entanto, isso também introduziu uma divergência cross-modal no espaço de características, e os benefícios não foram consistentes em todas as arquiteturas ou escalas.
• Insights da Análise de Conjunto de Dados: A análise revelou que, embora o pipeline sintético tenha alcançado uma diversidade estrutural realista ao nível do objeto, a diversidade da imagem completa foi artificialmente inflada por fundos complexos. Além disso, a distância no espaço de características (KDD) entre dados sintéticos e reais permaneceu substancial, indicando que a diversidade morfológica sozinha é insuficiente para fechar o gap do domínio térmico.

Significância e Alegações
O artigo afirma que, embora os dados sintéticos sejam uma ferramenta valiosa para inicializar modelos e melhorar a generalização em cenários de escassez de dados, eles não substituem a necessidade de dados LWIR de domínio. O principal valor da abordagem "synthetic-first" reside na sua capacidade de fornecer um sinal de pré-treinamento robusto que, quando combinado com mesmo que pequenas quantidades de imagens térmicas reais (ex: 100 amostras), melhora substancialmente a precisão da detecção ao alinhar as representações aprendidas com as estatísticas físicas do sensor.

Os autores concluem que o alinhamento semântico no espaço de características serve como um indicador diagnóstico útil para tendências de desempenho, enquanto as propriedades radiométricas fornecem contexto para a robustez. O trabalho estabelece uma base para combinar dados sintéticos e reais para uma detecção de drones G2A eficaz, enfatizando que o alinhamento do conjunto de dados é um fator crítico para superar o "gap de realidade" na imagem térmica. O estudo mantém suas alegações de forma modesta, observando que os resultados são indicativos de tendências sob condições específicas de escassez de dados e que validação adicional com diversos sensores e cenários operacionais é necessária.