AutoAWG: Adverse Weather Generation with Adaptive Multi-Controls for Automotive Videos

1. Problema

A robustez da percepção em condições climáticas adversas (noite, chuva, neve, neblina) é um dos principais desafios para a condução autônoma. O gargalo central reside na escassez extrema de dados reais de vídeo nessas condições.

• Limitações das soluções existentes:
  • Métodos de remoção de clima exigem restrições de tempo real e são difíceis de implantar.
  • Métodos de geração de clima (estilização) frequentemente falham em preservar a estrutura original da cena e as anotações (rótulos), tornando os dados gerados inúteis para treinamento de modelos de percepção sem re-anotação custosa.
  • Abordagens anteriores que usam controles de alto nível (como caixas 3D ou mapas BEV) garantem consistência geométrica, mas perdem detalhes finos de textura, resultando em efeitos de clima pouco realistas.
  • Abordagens que dependem de dados pareados (mesma cena em diferentes climas) são inviáveis no mundo real, e o uso de dados sintéticos introduz lacunas de domínio (domain gaps).

2. Metodologia

O AutoAWG é um framework de geração de vídeo condicional baseado em modelos de difusão (DiT), projetado para transferir o estilo de tempo adverso mantendo a integridade semântica e estrutural.

A. Fusão Adaptativa de Múltiplos Controles (Inspiração "Livro de Colorir")

O núcleo da metodologia é a desconexão entre estilo (cor/textura) e conteúdo (estrutura). O sistema utiliza uma fusão adaptativa guiada por semântica de vários mapas de controle:

• Lineart (Contorno): Preserva detalhes finos e bordas de objetos críticos (veículos, pedestres, sinais).
• Sketch (Esboço) e Depth (Profundidade): Definem a estrutura global e a camada da cena, permitindo transformações de estilo mais fortes.
• Máscaras Semânticas: O sistema funde esses controles de forma inteligente:
  • Regiões de objetos críticos usam apenas o Lineart para garantir fidelidade geométrica.
  • Regiões de céu usam apenas Sketch/Depth para permitir variações livres de clima.
  • Isso cria um "canvas condicional" onde o modelo de difusão atua como um "pintor", preenchendo cores e texturas adequadas ao clima alvo sem alterar a estrutura dos objetos.

B. Perda Ponderada por Importância

Para garantir que objetos de segurança não sejam distorcidos, o treinamento utiliza uma função de perda baseada em Flow Matching com ponderação de importância:

• Adiciona um termo de perda extra focado nas máscaras de objetos críticos ($M_{obj}$).
• Isso força o modelo a priorizar a reconstrução precisa de veículos e pedestres, mesmo sob transformações de estilo drásticas.

C. Síntese Temporal Ancorada no Ponto de Fuga (VP-Anchored)

Para resolver a falta de vídeos de clima adverso para treinamento:

• O método transforma imagens estáticas (do dataset ACDC) em vídeos pseudo-temporais.
• Mantém a posição normalizada do ponto de fuga fixa enquanto realiza cropping em proporção constante.
• As imagens cortadas são redimensionadas e concatenadas no eixo temporal, simulando um movimento de direção estável a partir de uma única imagem. Isso reduz a dependência de dados sintéticos complexos.

D. Treinamento com Máscaras para Longa Duração

Para suportar a geração de vídeos de horizonte infinito:

• Utiliza uma estratégia de treinamento segmentado com máscaras. O modelo é treinado para prever quadros futuros baseando-se apenas no primeiro quadro (ou em segmentos anteriores), garantindo consistência temporal em sequências longas.

3. Principais Contribuições

1. Fidelidade de Estilo e Consistência Semântica: O AutoAWG equilibra a geração de efeitos climáticos realistas com a preservação rigorosa da geometria e semântica de objetos críticos, permitindo o reuso direto de anotações existentes (2D/3D, LiDAR).
2. Estratégia de Controle Granular: A introdução da fusão adaptativa baseada em máscaras semânticas supera as limitações de métodos que usam apenas controles globais, oferecendo detalhes finos onde necessário e flexibilidade onde possível.
3. Solução para Escassez de Dados: A técnica de síntese temporal ancorada no ponto de fuga permite criar conjuntos de dados de vídeo a partir de imagens estáticas, mitigando a falta de vídeos reais de clima adverso.
4. Escalabilidade: O framework suporta nativamente sistemas multi-câmera (fundindo grades de imagens) e geração de vídeos de comprimento arbitrário sem degradação significativa.

4. Resultados

Os experimentos foram conduzidos no dataset nuScenes e validados em datasets como ACDC e BDD100K.

• Qualidade de Geração (Métricas FID/FVD):
  • Sem condicionamento no primeiro quadro: Redução de 50,0% no FID e 16,1% no FVD em comparação com o estado da arte (SOTA).
  • Com condicionamento no primeiro quadro: Redução adicional de 8,7% no FID e 7,2% no FVD.
  • O AutoAWG obteve FID de 6,3 e FVD de 51,7 (com condicionamento), superando métodos como Vista, DriveDreamer e Panacea.
• Utilidade para Tarefas de Percepção (Downstream):
  • Ao usar os dados gerados para treinar um modelo de detecção 3D (BEVFusion), houve um aumento de 1,99 pontos no mAP e 1,36 pontos no NDS.
  • A fidelidade da edição (preservação de anotações) foi superior: a queda no mAP de detecção após a transformação foi de apenas 0,0177 (AutoAWG) contra 0,1736 (MagicDrive-V2).
• Consistência Temporal e Multi-câmera:
  • Em sequências longas (>250 quadros), o método manteve a consistência visual e a coerência de objetos (ex: uma van branca permaneceu estável), com queda de pontuação FID/FVD significativamente menor que concorrentes.
  • Resultados em 6 câmeras mostraram consistência visual perfeita entre as vistas.

5. Significado e Impacto

O AutoAWG representa um avanço significativo para a simulação e o aprimoramento da percepção em veículos autônomos.

• Viabilidade Econômica: Elimina a necessidade de re-anotação manual de dados, permitindo que grandes volumes de dados de clima adverso sejam gerados a partir de dados existentes.
• Segurança: Ao garantir que objetos críticos (pedestres, outros carros) não sejam distorcidos ou apagados durante a geração, o método produz dados de treinamento seguros e confiáveis para treinar sistemas de direção autônoma mais robustos.
• Generalização: O modelo demonstra forte capacidade de generalização para datasets não vistos (como Cityscapes e BDD100K) e para condições climáticas não presentes no dataset de treinamento original (ex: gerar neve em dados do nuScenes que não possuem neve).

Em resumo, o AutoAWG resolve o dilema entre "realismo visual" e "integridade estrutural" na geração de vídeo, oferecendo uma ferramenta prática e escalável para a indústria de condução autônoma.