Coarse-to-Fine Hierarchical Alignment for UAV-based Human Detection using Diffusion Models

1. Problema Identificado

A detecção de humanos em imagens capturadas por Veículos Aéreos Não Tripulados (UAVs/drones) enfrenta um gargalo severo devido à escassez de dados anotados. Anotar dados reais de drones é caro e complexo devido às variações extremas de altitude, pontos de vista dinâmicos e fundos complexos.

Para contornar isso, utiliza-se frequentemente dados sintéticos (gerados por motores de jogo ou modelos generativos). No entanto, existe uma grande lacuna de domínio Sim2Real (Simulação para Realidade):

• Discrepâncias Globais: Diferenças em iluminação, textura, cor e estilo de renderização.
• Discrepâncias Locais (O Problema Central): Modelos de transferência de estilo tradicionais, ao tentar alinhar o estilo global, frequentemente corrompem a estrutura semântica de objetos pequenos (como pedestres vistos de cima). Isso resulta em:
  • Artefatos visuais graves.
  • "Alucinações" (geração de pessoas que não existem ou distorção de poses).
  • Perda de detalhes finos essenciais para a detecção precisa.

A maioria dos métodos existentes foca apenas no estilo global, ignorando que a inconsistência no conteúdo local (densidade de instâncias, arranjo espacial) é um fator crítico de degradação de desempenho.

---

2. Metodologia: CFHA (Coarse-to-Fine Hierarchical Alignment)

Os autores propõem o CFHA, um framework baseado em modelos de difusão que traduz imagens sintéticas para o domínio real, preservando rigorosamente os rótulos geométricos originais. O método opera em três estágios hierárquicos e sequenciais:

Estágio I: Transferência de Estilo Global (GST)

• Objetivo: Alinhar características macroscópicas (paleta de cores, iluminação, neblina atmosférica) entre a imagem sintética e um pequeno conjunto de referências reais (few-shot).
• Técnica: Utiliza Difusão Latente com um mecanismo de Adaptive Instance Normalization (AdaIN) dentro do espaço latente.
• Mecanismo: Emprega uma atenção cruzada estruturalmente consciente para fundir características de estilo com características de conteúdo.
• Resultado: Gera uma imagem globalmente realista que preserva estritamente a geometria e as caixas delimitadoras originais, sem alterar a estrutura da cena.

Estágio II: Refinamento Local (LR)

• Objetivo: Corrigir distorções em objetos pequenos (humanos) que o GST pode ter causado (contornos borrados, texturas suavizadas).
• Técnica: Utiliza um modelo de difusão de super-resolução.
• Mecanismo:
  1. Recorta "patches" centrados nos objetos.
  2. Gera prompts de texto automáticos (via image captioning) para descrever o conteúdo.
  3. Aplica um modelo de difusão pré-treinado (Stable Diffusion) fine-tuned com LoRA (Low-Rank Adaptation) para refinar a qualidade fotorealista de cada patch, condicionado aos prompts.
• Resultado: Restaura detalhes finos e texturas realistas nas instâncias humanas, mantendo o fundo global alinhado.

Estágio III: Remoção de Alucinações (HR)

• Objetivo: Filtrar instâncias geradas que são estatisticamente inconsistentes com a distribuição do mundo real (ex: pessoas com poses impossíveis ou artefatos estruturais).
• Técnica: Filtragem semântica baseada em CLIP.
• Mecanismo:
  1. Calcula a similaridade entre os "crops" sintéticos e um vetor de referência prototípico (derivado de dados reais e ancorado por um prompt de texto específico de drone).
  2. Utiliza uma distribuição de probabilidade (softmax) para reter estocasticamente apenas as instâncias com alta similaridade semântica.
  3. As instâncias rejeitadas são mascaradas e removidas das anotações.
• Resultado: Garante que o conjunto de dados final seja limpo e consistente com a realidade.

---

3. Contribuições Principais

1. Alinhamento Global-Local Unificado: O CFHA é o primeiro framework a abordar simultaneamente a lacuna de estilo global e a lacuna de conteúdo local (instância) para detecção em UAV, reconhecendo que o alinhamento global sozinho pode ser prejudicial para objetos pequenos.
2. Adaptação Sim2Real Few-Shot: Desenvolve um framework baseado em difusão que funciona eficazmente com apenas 20 imagens reais de referência, tornando-o viável para cenários onde dados reais são escassos.
3. Pipeline de Três Estágios Sinérgico: Demonstra que a combinação de transferência de estilo, refinamento de super-resolução e filtragem semântica é necessária; o uso de apenas um ou dois estágios resulta em desempenho inferior.
4. Preservação de Anotações: O método garante que as caixas delimitadoras originais dos dados sintéticos permaneçam válidas após a transformação, permitindo o treinamento direto de detectores.

---

4. Resultados Experimentais

Os autores avaliaram o CFHA em quatro benchmarks públicos de detecção humana em UAV (Okutama-Action, Semantic Drone, VisDrone2018, Manipal-UAV), treinando detectores (YOLOv11x) com dados sintéticos transformados.

• Desempenho Geral: O CFHA superou consistentemente as linhas de base (dados sintéticos brutos) e outros métodos de aumento de dados (CUT, IP-Adapter, PTL).
• Melhorias Chave:
  • Média Geral: Aumento de +7.3 no mAP@50 e +4.1 no mAP@95 em média entre os quatro datasets.
  • Semantic Drone: Melhoria drástica de mAP@50 de 18.6 para 32.7 (+14.1 pontos).
  • Okutama: Aumento de mAP@50 de 64.6 para 68.2.
• Estudo de Ablação:
  • O uso apenas do GST (Estágio I) degradou o desempenho, confirmando que a transferência de estilo global corrompe objetos pequenos.
  • A adição do LR (Estágio II) recuperou o desempenho ao restaurar detalhes locais.
  • O HR (Estágio III) refinou ainda mais a precisão ao remover anomalias.
  • Insight Importante: O estudo mostrou que a melhoria na qualidade visual global (medida por FID da imagem inteira) não correlaciona diretamente com o desempenho do detector. Pelo contrário, a realismo em nível de patch (ao redor do objeto) é o preditor mais forte de sucesso na detecção, mesmo que isso aumente ligeiramente o FID global devido a inconsistências de estilo entre o objeto hiper-realista e o fundo.

---

5. Significado e Impacto

Este trabalho é significativo porque redefine a abordagem para adaptação de domínio em visão computacional para drones. Ao invés de tratar a lacuna Sim2Real como um problema monolítico de estilo, o CFHA introduz uma desconexão hierárquica que trata o conteúdo local (o objeto de interesse) com prioridade e cuidado especial.

• Viabilidade Prática: Permite o treinamento de detectores robustos para missões críticas (busca e resgate, vigilância) utilizando quase exclusivamente dados sintéticos, reduzindo drasticamente o custo e o tempo de anotação de dados reais.
• Avanço Técnico: Demonstra que modelos de difusão, quando combinados com mecanismos de refinamento local e filtragem semântica, podem superar as limitações tradicionais de GANs e métodos de transferência de estilo em cenários de objetos pequenos e escalas variáveis.
• Reprodutibilidade: O código e a página do projeto foram disponibilizados, facilitando a adoção pela comunidade de pesquisa em UAV e visão computacional.