HG-Lane: High-Fidelity Generation of Lane Scenes under Adverse Weather and Lighting Conditions without Re-annotation

Resumo Técnico: HG-Lane

1. Problema

A detecção de faixas (lane detection) é uma tarefa crítica para a segurança em veículos autônomos e sistemas ADAS. No entanto, os conjuntos de dados atuais (como CULane e TuSimple) são predominantemente compostos por cenas em condições normais (dia e tempo claro). Existe uma escassez significativa de dados sob condições adversas (chuva, neve, neblina) e de iluminação desafiadora (noite, crepúsculo).

• Desafio Principal: Modelos de detecção treinados apenas em dados normais sofrem uma queda drástica de desempenho em condições extremas, levando a falhas de segurança.
• Limitações das Soluções Atuais:
  • Coletar e anotar manualmente novos dados é caro e ineficiente devido à baixa frequência de eventos climáticos adversos.
  • Métodos de restauração de imagem (ex: GANs, CycleGAN) exigem retreinamento para cada tipo de clima e adicionam sobrecarga computacional.
  • Modelos baseados em Difusão (Diffusion Models) existentes geralmente exigem fine-tuning do modelo e reanotação dos dados, o que aumenta os custos.

2. Metodologia (HG-Lane)

O HG-Lane é um framework de geração de cenas de faixas de alta fidelidade que cria imagens realistas sob condições adversas e de iluminação variada sem a necessidade de reanotação ou fine-tuning do modelo gerador.

O pipeline é baseado em um processo de difusão reversa em duas etapas, utilizando componentes pré-treinados e congelados:

1. Fusão de Informações de Controle (Pré-processamento):

   • O sistema combina mapas de anotação de faixas, máscaras baseadas em cor e mapas de bordas (Canny) em um único mapa de controle ($C_0$).
   • Isso garante que a geometria da faixa seja preservada, mesmo que as marcações sejam descontínuas ou imperfeitas.

2. Etapa I: Difusão Reversa Consciente da Estrutura (Structure-aware):

   • Utiliza um ControlNet baseado em Canny para guiar a geração no espaço latente.
   • O objetivo é impor a geometria e a estrutura das faixas, garantindo que a posição e o formato das linhas sejam mantidos rigorosamente durante a geração.

3. Etapa II: Difusão Reversa Consciente da Aparência (Appearance-aware):

   • Utiliza um ControlNet baseado em InstructPix2Pix.
   • Esta etapa é opcional e aplicada seletivamente para categorias que exigem mudanças drásticas de iluminação global (ex: Noite e Crepúsculo).
   • Refina o estilo, a cor e a iluminação da cena sem alterar a estrutura das faixas definida na Etapa I.
   • Para condições como neve, chuva e neblina, a Etapa II é frequentemente omitida, pois o ControlNet de Canny já fornece realismo suficiente, evitando a introdução de ruídos indesejados.

4. Conversão para Espaço de Pixels:

   • O latente refinado é decodificado de volta para o espaço de pixels usando um VAE pré-treinado.
   • Todo o processo é training-free (sem treinamento), reutilizando modelos base (Stable Diffusion, ControlNet) já existentes.

3. Principais Contribuições

• Novo Framework (HG-Lane): Gera cenas de faixas de alta fidelidade em diversas condições climáticas e de iluminação, preservando a semântica das faixas e eliminando a necessidade de reanotação manual.
• Estratégia de Geração em Duas Etapas: Combina ControlNet (Canny) para estrutura e ControlNet (InstructPix2Pix) para estilo, aprimorado por um pipeline de pré-processamento semântico.
• Novo Benchmark: Criação de um conjunto de dados com 30.000 imagens cobrindo 6 categorias (Normal, Neve, Chuva, Neblina, Noite, Crepúsculo), enriquecendo significativamente a diversidade para avaliação de robustez.
• Validação Experimental: Demonstração de que o método melhora consistentemente a precisão de detecção em múltiplas arquiteturas de estado da arte (SOTA).

4. Resultados Experimentais

Os experimentos foram conduzidos em um benchmark composto por 30.000 imagens geradas e testados em diversos modelos de detecção de faixas (CLRNet, LaneATT, RESA, etc.).

• Desempenho Geral: Ao utilizar o modelo SOTA CLRNet, o mean F1 (mF1) geral no benchmark aumentou em 20,87%.
• Ganhos por Categoria (F1@50):
  • Neve: +38,8%
  • Neblina: +26,84%
  • Noite: +21,5%
  • Chuva: +14,96%
  • Crepúsculo: +12,04%
  • Normal: +8,63%
• Comparação com Outros Métodos: O HG-Lane superou modelos de geração como Stable Diffusion, PITI e CycleGAN em métricas de realismo (Human Score) e preservação de semântica (F1@50).
• Dados do Mundo Real: Ao testar em dados reais coletados (neve, chuva, neblina, noite, crepúsculo), o modelo treinado com dados do HG-Lane superou o modelo treinado apenas com CULane original, com um aumento de 15,51% no F1@50 geral.
• Eficiência: Diferente de módulos de supressão de clima (que exigem processamento extra e tempo de inferência), o HG-Lane gera os dados de treinamento sem sobrecarga de tempo de inferência no modelo de detecção final (0 ms de overhead adicional na fase de detecção).

5. Significado e Impacto

O trabalho do HG-Lane representa um avanço significativo para a robustez da condução autônoma:

1. Segurança: Mitiga o risco de falhas catastróficas em condições climáticas adversas, fornecendo dados de treinamento diversificados e realistas.
2. Eficiência de Dados: Resolve o gargalo da escassez de dados anotados em condições extremas sem o custo proibitivo de anotação manual.
3. Generalização: A abordagem training-free e a preservação exata das anotações de faixas permitem que o framework seja facilmente integrado a pipelines existentes, melhorando a generalização de modelos de detecção em cenários do mundo real.

Em suma, o HG-Lane estabelece um novo padrão para a geração de dados sintéticos em visão computacional para automotivo, provando que é possível criar dados de alta fidelidade e semanticamente consistentes sem a necessidade de retreinamento de modelos generativos ou reanotação de imagens.