Contrastive-SDXL: Annotation-Preserving Night-Time Augmentation for Pedestrian Detection

Enunciado do Problema

A detecção de pedestres noturna é um desafio crítico para veículos autônomos e Sistemas Avançados de Assistência ao Condutor (ADAS). Embora os detectores apresentem bom desempenho em condições diurnas, sua confiabilidade degrada-se significativamente em ambientes de baixa luminosidade devido à visibilidade reduzida, ofuscamento, ruído e grandes diferenças de iluminação. A coleta e anotação de conjuntos de dados noturnos em grande escala são custosas e difíceis de escalar.

A augmentação cross-domain oferece uma alternativa ao traduzir imagens diurnas rotuladas em imagens no estilo noturno, permitindo a reutilização das anotações originais. No entanto, os métodos existentes de tradução imagem-para-imagem baseados em difusão frequentemente priorizam o realismo perceptual em detrimento da preservação de detalhes específicos em nível de objeto. Em tarefas críticas para a segurança, como a detecção de pedestres, se uma tradução distorcer, remover ou deslocar um pedestre, as anotações de caixas delimitadoras herdadas tornam-se não confiáveis, potencialmente fazendo com que o detector a jusante aprenda indícios incorretos. Existe uma lacuna no uso de Modelos de Difusão Latente (LDMs) para augmentação que garantam explicitamente a preservação de pedestres pequenos, ocluídos e em meio a desordem, necessários para um treinamento válido de detecção.

Metodologia: Contrastive-SDXL

Os autores propõem o Contrastive-SDXL, um framework de augmentação dia-para-noite construído sobre o SDXL-Turbo e ajustado finamente usando Adaptação de Baixo Rango (LoRA). O framework foi projetado para traduzir imagens diurnas em imagens noturnas realistas, preservando estritamente a estrutura semântica e a integridade dos pedestres.

O método é guiado por quatro objetivos complementares e um pipeline de curadoria de dados em duas etapas:

1. Backbone do Gerador e Adaptação Eficiente:

   • O framework utiliza o SDXL-Turbo, um modelo de difusão latente pré-treinado de uma etapa, como backbone do gerador.
   • Para adaptar o modelo ao domínio noturno sem retreinamento completo, o LoRA é aplicado às camadas de atenção cruzada do UNet, aos MLPs do transformer, às camadas convolucionais e às camadas do codificador/decodificador VAE.
   • As conexões de salto (skip connections) entre codificador e decodificador são mantidas para preservar a estrutura espacial de alta granularidade.

2. Supervisão Contrastiva Semântica por Patches (Guiada por DINOv2):

   • Diferentemente de métodos anteriores de tradução não pareada (como PSCUT) que dependem de características do codificador do gerador (que podem ser instáveis em modelos de difusão devido ao ruído estocástico), o Contrastive-SDXL utiliza um codificador DINOv2 pré-treinado e congelado.
   • Este codificador externo extrai características semânticas multinível tanto das imagens de origem (dia) quanto das traduzidas (noite).
   • Duas funções de perda são computadas sobre essas características:
     • Perda de Consistência de Relações Semânticas (SRC): Preserva as relações semânticas relativas entre patches na imagem de origem e seus correspondentes na imagem traduzida usando a divergência de Jensen-Shannon.
     • Perda Contrastiva de Negativos Difíceis (hDCE): Aproxima os patches correspondentes de origem e traduzidos, enquanto afasta patches não correspondentes, mas semanticamente similares, para impor distintividade.

3. Perda de Consistência de Objetos Guiada por Detector:

   • Para garantir explicitamente que os pedestres permaneçam detectáveis, um detector YOLO11 pré-treinado (ajustado finamente no EuroCity Persons) é usado como supervisor fixo.
   • O gerador minimiza uma perda de detecção ($L_{det}$) computada na imagem traduzida contra as anotações de caixas delimitadoras originais do dia. Isso penaliza traduções onde os pedestres são distorcidos, apagados ou desalinhados, garantindo que as anotações originais permaneçam válidas.

4. Alinhamento Adversarial e Regularização de Identidade:

   • Uma perda adversarial ($L_{adv}$) com um discriminador aumentado por características CLIP garante que as imagens geradas se alinhem com a distribuição estatística de cenas noturnas reais.
   • Uma perda de identidade ($L_{idt}$) incentiva o modelo a fazer mudanças mínimas em imagens que já estão no domínio de destino.

5. Pipeline de Curadoria de Dados em Duas Etapas:

   • Para garantir a confiabilidade dos dados sintéticos, um processo de filtragem é aplicado antes do treinamento dos detectores:
     • Etapa 1 (Fidelidade): Filtra traduções onde a similaridade de características DINOv2 entre origem e destino cai abaixo de um limiar (0,95), garantindo fidelidade semântica.
     • Etapa 2 (Preservação de Pedestres): Utiliza um classificador binário baseado em YOLOv8 para verificar se os patches de pedestres recortados da imagem traduzida (nas localizações originais de anotação) ainda são classificados como pedestres. Imagens que falham nesta verificação são descartadas.

Contribuições Principais

• Investigação de LDMs: O trabalho avalia Modelos de Difusão Latente pré-treinados como ferramentas de augmentação cross-domain para detecção de pedestres noturna crítica para a segurança.
• Framework Contrastive-SDXL: Propõe um novo framework de tradução dia-para-noite usando SDXL-Turbo e LoRA, guiado por aprendizado contrastivo semântico por patches baseado em DINOv2, em vez de características do gerador.
• Perda de Consistência de Objetos: Introduz uma perda guiada por detector para impor explicitamente a preservação de pedestres, garantindo a validade da anotação durante a tradução.
• Validação Empírica: Demonstra que a augmentação por difusão orientada à consistência pode apoiar efetivamente a detecção crítica para a segurança, alcançando desempenho comparável ao treinamento em dados noturnos reais.

Resultados Experimentais

O método foi avaliado usando o conjunto de dados EuroCity Persons (ECP) e testado em dois detectores a jusante: Pedestron e YOLO26.

• Qualidade da Imagem: O Contrastive-SDXL alcançou uma Distância Fréchet Inception (FID) de 22,57 e uma Distância de Wasserstein (WD) de 11,27 em relação às imagens noturnas reais do ECP. Isso superou significativamente baselines como InstructPix2Pix (FID 64,11) e CycleGAN-Turbo (FID 38,36). Visualizações UMAP confirmaram que as imagens sintéticas agruparam-se mais próximas aos dados noturnos reais do que outros métodos.
• Desempenho de Detecção:
  • Detectores treinados com imagens sintéticas do Contrastive-SDXL (sem nenhum dado noturno real) alcançaram uma redução de 6–7% na taxa de falha (miss rate) em comparação com uma baseline apenas diurna.
  • Especificamente, para o detector Pedestron, a taxa de falha "All" no conjunto de validação noturno caiu de 20,0% (baseline diurna) para 16,0% usando apenas dados sintéticos.
  • Quando misturado com apenas 20% de dados noturnos reais, o Contrastive-SDXL alcançou uma taxa de falha de 14,0%, igualando o desempenho de um modelo treinado em 100% de dados noturnos reais.
  • Melhorias semelhantes foram observadas com o detector YOLO26, demonstrando generalização entre arquiteturas.
• Generalização: O método mostrou capacidade de generalizar para cenas urbanas fora da distribuição (conjunto de dados TJU-DHD), preservando a estrutura dos pedestres em ambientes desconhecidos.

Significado e Alegações

O artigo afirma que o Contrastive-SDXL demonstra que a augmentação por difusão orientada à consistência é uma estratégia viável e eficaz para a detecção de pedestres noturna crítica para a segurança. Os autores enfatizam que, para percepção crítica para a segurança, o realismo visual sozinho é insuficiente; a preservação de semânticas em nível de objeto e a validade da anotação são primordiais.

Os resultados sugerem que:

1. LDMs pré-treinados podem servir como ferramentas de augmentação poderosas se guiados por restrições explícitas de consistência (perdas contrastivas semânticas e em nível de objeto).
2. Dados sintéticos gerados por este framework podem reduzir significativamente a lacuna de domínio entre dia e noite, aproximando-se do desempenho de modelos treinados em dados noturnos reais com injeção mínima de dados reais.
3. O framework proposto não está vinculado a uma arquitetura de detector específica, pois benefícios foram observados tanto no Pedestron quanto no YOLO.

Os autores concluem que, embora o método mostre promessa, trabalhos futuros devem explorar sua aplicação em outras tarefas de transporte (por exemplo, reconhecimento de sinais de trânsito) e investigar como a arquitetura do detector e estratégias de ajuste fino afetam o desempenho de adaptação.