VALISENS: A Validated Innovative Multi-Sensor System for Cooperative Automated Driving

Resumo Técnico: VALISENS – Um Sistema Multi-Sensor Validado e Inovador para Condução Automatizada Cooperativa

Problema
A percepção confiável continua sendo um gargalo crítico para Veículos Automatizados Conectados (CAVs) operando em ambientes complexos do mundo real. Embora as soluções multi-sensores existentes melhorem a robustez local, elas são fundamentalmente limitadas pelo alcance de detecção restrito, oclusões de linha de visão causadas por outros objetos e o potencial de falhas individuais de sensores. Além disso, condições climáticas adversas e variações de iluminação podem degradar significativamente o desempenho dos sensores ópticos. O artigo aborda a necessidade de estender as capacidades de percepção além do veículo individual através da colaboração Veículo-para-Tudo (V2X) entre CAVs e infraestrutura inteligente, visando criar uma rede de sensores dinâmica e descentralizada que mitigue oclusões e melhore a consciência situacional, particularmente para Usuários Vulneráveis da Estrada (VRUs).

Metodologia e Arquitetura do Sistema
Os autores propõem o VALISENS, um sistema de percepção cooperativa validado que integra sensores embarcados e de borda dentro de um framework multiagente unificado. A arquitetura do sistema é modular, separando a percepção por modalidade de sensor antes de fundir os dados em dois níveis distintos:

1. Implementação de Hardware:

   • Infraestrutura: Dois bancos de teste foram utilizados. O local principal em Dresden apresenta seis câmeras (incluindo térmica e RGB), um LiDAR de 64 camadas e um radar MIMO 4x4. Um segundo site em Ingolstadt inclui 22 mastros de sensores. Uma plataforma móvel "Rover" também foi empregada, equipada com sensores RGB, térmicos e LiDAR.
   • Veículos: Dois veículos de teste foram utilizados. O Veículo Um utilizou uma configuração de câmera dupla (infravermelho Seek e Basler RGB), dois LiDARs Velodyne VLP-16 montados no teto e seis LiDARs IBEO Scala. O Veículo Dois apresentou um LiDAR InnovizOne e um sistema de navegação inercial DTC xNAV650. Ambos os veículos utilizaram Unidades de Bordo (OBUs) Cohda MK6 para comunicação V2X.
   • Sensores: O sistema funde dados de LiDAR, radar, câmeras RGB e câmeras térmicas. As câmeras térmicas são especificamente destacadas por melhorar a detecção de VRUs sob condições de iluminação desafiadoras.

2. Estratégia de Percepção e Fusão:

   • Processamento de Modalidade: Os dados do LiDAR são processados usando um algoritmo baseado em IA para detecção e rastreamento 3D. Os dados do radar são fundidos em uma Visão de Olho de Pássaro (BEV) e pós-processados para reconstruir coordenadas 3D. Os dados RGB e térmicos são processados independentemente usando o framework YOLO e fundidos via uma estratégia de fusão tardia (late fusion) utilizando Non-Maximum Suppression (NMS) e ByteTrack para rastreamento de objetos.
   • Fusão Intra-Entidade: Dentro de uma única plataforma (veículo ou infraestrutura), uma abordagem de fusão tardia agrega informações ao nível de objeto. Um algoritmo de fusão track-to-track alinha os dados espacial e temporalmente (usando modelos de velocidade constante), associa detecções entre modalidades usando distância Euclidiana e Intersecção sobre União (IoU), e as funde usando um filtro de Kalman adaptado.
   • Fusão Inter-Entidade: Para permitir a cooperação, o sistema utiliza o padrão de Mensagem de Percepção Coletiva (CPM) definido pela ETSI. Os resultados da percepção são transmitidos via V2X. As entidades receptoras transformam os dados em seus quadros de referência locais, alinham-nos e os fundem com observações locais usando o mesmo pipeline track-to-track.

3. Monitoramento de Condição de Sensores:

   • Um módulo dedicado avalia a saúde do sensor para detectar anomalias antes da degradação do sistema. O sistema foca na detecção de falhas permanentes e não permanentes, incluindo clima adverso, bloqueio de lentes (sujeira, gelo, névoa) e defeitos internos de imagem.
   • Um classificador treinado em imagens brutas de câmera (combinando gravações de testes de confiabilidade e conjuntos de dados públicos) prevê classes de falhas. A arquitetura ConvNeXt foi selecionada como o modelo ideal, alcançando alta precisão na detecção de anomalias.

Principais Contribuições
O artigo descreve três contribuições primárias:

1. Implementação no Mundo Real: O design, implementação e implantação de um sistema de percepção cooperativa em um banco de teste do mundo real envolvendo dois CAVs e duas unidades de infraestrutura.
2. Avaliação Abrangente: Avaliação quantitativa e qualitativa utilizando tanto conjuntos de dados públicos (R-LiViT, V2X-Seq) quanto experimentos no mundo real, demonstrando os benefícios específicos da incorporação de câmeras térmicas e sensores de borda.
3. Validação de Monitoramento e Comunicação: Validação do módulo de monitoramento de sensores e da pilha de comunicação V2X em um cenário real, confirmando a viabilidade da detecção precoce de anomalias e da troca de dados confiável.

Resultados Experimentais

• Desempenho de Percepção:
  • Conjuntos de Dados Públicos: No conjunto de dados R-LiViT, a fusão RGB-Térmica melhorou a Precisão Média (AP50) de pedestres noturnos de 49,85% para 53,26%. No conjunto de dados V2X-Seq-SPD, a fusão inter-entidade aumentou o AP50 de pedestres em aproximadamente 30% em comparação com a detecção apenas pelo veículo (atingindo 30,86).
  • Experimentos no Mundo Real: No banco de teste dedicado, a fusão inter-entidade alcançou um AP50 de pedestres de 65,75 com um recall médio de 97,60%. O sistema melhorou a consciência situacional de pedestres em até 18% em comparação com a detecção apenas pelo veículo.
• Monitoramento de Sensores: O módulo de monitoramento de sensores alcançou mais de 97% de precisão na detecção de anomalias, com o modelo ConvNeXt demonstrando um F1-macro score de 0,981.
• Comunicação: Testes de comunicação V2X mostraram um alcance máximo superior a 1 km sob condições de linha de visão. O atraso de via única foi medido em um máximo de 5,0 ms. As taxas de dados para CPMs foram eficientes, com um máximo de 33 kB/s mesmo em frequências de atualização de 10 Hz.

Significância e Alegações
O artigo afirma que o VALISENS demonstra a eficácia de estender a fusão multi-sensor além de um único veículo através da colaboração habilitada por V2X. Ao integrar câmeras térmicas e sensores de borda, o sistema reduz significamente as oclusões e expande o alcance de percepção efetivo, contribuindo diretamente para a melhoria da segurança dos VRUs. A validação bem-sucedida do módulo de monitoramento de sensores destaca um caminho para Sistemas de Transporte Inteligentes Cooperativos (C-ITS) mais resilientes, capazes de autodiagnóstico e manutenção da confiabilidade diante da degradação dos sensores ou desafios ambientais. Os autores posicionam este trabalho como um passo para apoiar futuras aplicações de C-ITS, estabelecendo uma rede de sensores dinâmica e descentralizada que oferece uma compreensão abrangente e continuamente atualizada do ambiente circundante.