Resumo Técnico: InterFuserDVS

Declaração do Problema

Sistemas de condução autónoma enfrentam desafios significativos em cenas de alta faixa dinâmica (HDR) e cenários de alta velocidade devido às limitações inerentes dos conjuntos de sensores tradicionais. As câmaras RGB padrão sofrem com desfoque de movimento e faixa dinâmica limitada, falhando frequentemente em condições como sair de um túnel escuro para a luz solar intensa. Embora o LiDAR forneça profundidade precisa, é esparsos e o seu desempenho degrada-se em condições meteorológicas adversas (chuva, nevoeiro). Além disso, as abordagens existentes de aprendizagem ponta-a-ponta muitas vezes lutam com "confusão causal" e carecem da robustez geométrica necessária para manobras críticas para a segurança em tráfego denso. Existe uma necessidade crítica de uma arquitetura de fusão de sensores que possa aproveitar modalidades complementares para garantir perceção robusta e tomada de decisão segura sob condições de iluminação adversas e dinâmicas.

Metodologia

O artigo propõe InterFuserDVS, uma arquitetura estendida do modelo InterFuser, estado da arte, que integra Sensores de Visão Dinâmica (DVS), ou câmaras de eventos, como modalidade primária ao lado de câmaras RGB e LiDAR.

1. Visão Geral da Arquitetura

O sistema emprega uma espinha dorsal global baseada em Transformer para fundir características tokenizadas de três tipos distintos de sensores:

• Câmaras RGB: Entradas de múltiplas vistas (Frente, Esquerda, Direita) recortadas para resolução de 800×600.
• LiDAR: Nuvens de pontos voxelizadas numa imagem pseudo de Vista de Ave (BEV) de 2 bins (224×224).
• DVS (Câmaras de Eventos): Eventos assíncronos brutos $(x, y, t, p)$ são acumulados em janelas de tempo fixas para gerar "quadros de eventos". Estes quadros de canal único representam contas de eventos normalizadas ou somas de polaridade, capturando dinâmicas de movimento e bordas com resolução de microssegundos.

2. Extração e Fusão de Características

• Espinhas Dorsais: As entradas RGB e DVS são processadas por variantes ResNet (por exemplo, ResNet-18/50), enquanto o LiDAR utiliza PointNet++ adaptado para BEV.
• Transferência Intermodal: Uma escolha de design chave é inicializar os pesos do codificador DVS utilizando uma espinha dorsal RGB pré-treinada. Isto aproveita a correlação espacial entre bordas de intensidade (RGB) e bordas temporais (DVS) para facilitar a convergência rápida e estabilizar o treino inicial.
• Fusão Baseada em Tokens: As características são achatadas e projetadas em tokens de $D$-dimensões. Incorporações posicionais 2D aprendíveis são adicionadas para preservar o contexto espacial. Todos os tokens são concatenados numa única sequência e processados por um Codificador Transformer de 6 camadas com 8 cabeças de atenção. Isto permite que o modelo realize raciocínio global, ponderando dinamicamente a importância dos sensores com base no contexto ambiental (por exemplo, usando DVS para movimento e LiDAR para profundidade).

3. Saída e Planeamento

O Decodificador Transformer prevê:

• Pontos de Passagem: Uma sequência de coordenadas 2D para planeamento de trajetória.
• Estado do Semáforo: Classificação do estado da luz (Vermelho, Verde, Amarelo).
• Mapas de Densidade de Objetos: Uma grelha BEV de 7 canais prevendo existência de objeto, desvio, tamanho, orientação e velocidade.

4. Controlador de Segurança Híbrido

Para garantir segurança, o sistema integra um controlador de segurança baseado em regras que substitui os comandos PID do modelo ponta-a-ponta quando necessário:

• Conformidade com Semáforos: Uma máquina de estados trata da deteção de luzes vermelhas/amarelas. Um mecanismo de "Cruzamento Forçado" previne bloqueios se o veículo ficar preso por >50 segundos.
• Evitação de Colisão: O controlador utiliza mapas de densidade de objetos previstos para renderizar uma grelha de ocupação local. Verifica a trajetória planeada contra esta grelha em múltiplos passos de tempo futuros ($t=0.5s$ a $2.0s$). Se a distância de segurança cair abaixo de um limiar dependente da velocidade, o sistema aciona travagem de emergência.
• Execução de Controlo: Comandos finais de direção, aceleração e travão são gerados através de controladores PID laterais e longitudinais, com velocidades alvo ajustadas dinamicamente com base na curvatura do caminho e proximidade de obstáculos.

Contribuições Principais

1. Arquitetura Aprimorada por Eventos: A integração de uma espinha dorsal de processamento DVS dedicada no framework InterFuser, utilizando uma estratégia de aprendizagem por transferência de RGB para DVS para superar a escassez de dados e instabilidade de treino.
2. Estratégia de Fusão Baseada em Tokens: Um Codificador Transformer unificado que funde características espaciais de RGB/LiDAR com características temporais de alta frequência de DVS, permitindo ponderação dinâmica de sensores.
3. Política de Segurança Híbrida: Um controlador robusto combinando previsões de trajetória ponta-a-ponta com validação heurística (máquinas de estados de semáforos e verificação de colisão baseada em modelo usando mapas de ocupação).
4. Desempenho Estado da Arte: Demonstração de fiabilidade excepcional no Leaderboard do CARLA, alcançando conclusão perfeita de rotas em ambientes urbanos desafiadores.

Resultados Experimentais

O método foi avaliado no Leaderboard do CARLA (Rotas Longas Town05), um benchmark envolvendo navegação complexa, mudanças de faixa e tráfego denso.

• Pontuação de Condução (DS): Alcançou 77.20, uma pontuação competitiva entre métodos estado da arte.
• Conclusão de Rota (RC): Alcançou 100%, indicando que o agente nunca ficou preso, perdido ou com tempo esgotado. Isto supera vários métodos contemporâneos (por exemplo, InterFuser em 88.23%, ReasonNet em 89.89%) em termos de fiabilidade de conclusão.
• Métricas de Segurança:
  • Taxa de Colisão: Taxa de colisão com peões extremamente baixa (0.008/km) e taxa de colisão com veículos competitiva (0.036/km).
  • Infrações: Taxa de infração a luz vermelha de 0.01/km (atribuída à lógica de "Cruzamento Forçado" para garantir conclusão de rota).
• Análise Qualitativa: Estudos de caso demonstraram que o DVS melhora significativamente o desempenho em:
  • Viragens à Esquerda Desprotegidas: Deteção de movimento lateral rápido de tráfego em sentido contrário através de alta densidade de eventos.
  • Ultrapassagem: Validação de "espaço livre" em faixas opostas ao detetar a ausência de eventos de alta frequência (carros a aproximar-se).
  • Travagem de Emergência: Reação a peões emergindo de oclusões (por exemplo, atrás de camiões estacionados) mais rapidamente do que bases apenas RGB ao detetar contraste de movimento de membros antes que características visuais estáticas se resolvam.

Significado e Alegações

O artigo afirma que o InterFuserDVS valida a visão baseada em eventos como uma modalidade vital e não como um sensor de nicho para a próxima geração de veículos autónomos. A integração de DVS fornece duas vantagens críticas:

1. Alta Faixa Dinâmica: Garante robustez em cenários com sombras duras ou ofuscamento solar onde as câmaras RGB falham.
2. Resolução Temporal: Captura objetos em movimento rápido explicitamente, permitindo que o modelo recorra a dados de eventos para planeamento de movimento durante manobras dinâmicas.

Os autores concluem que, embora as implementações atuais convertam eventos em quadros, o futuro reside na Fusão de Eventos Assíncrona utilizando Redes Neurais de Spiking (SNN) e Transformadores de Fusão Assíncrona (AFT) para explorar plenamente a informação de movimento ao nível de microssegundos e a eficiência energética do hardware neuromórfico. O trabalho atual serve como um passo fundamental, demonstrando que tratar fluxos de eventos como entradas temporais de alta fidelidade melhora significativamente a segurança e fiabilidade das políticas de condução autónoma ponta-a-ponta.