Resumo Técnico: LiteViLNet

Declaração do Problema

A segmentação de estradas é uma tarefa crítica de percepção para a condução autónoma e a robótica inteligente, servindo de base para o planeamento de trajetórias e a evasão de obstáculos. Embora as abordagens multimodais que combinam imagens RGB e dados LiDAR tenham alcançado a precisão mais avançada ao alavancar informações texturais e geométricas complementares, elas frequentemente dependem de codificadores pesados baseados em transformadores (por exemplo, Swin Transformer) com centenas de milhões de parâmetros. Estes modelos incorrem em custos computacionais enormes, tornando-os inadequados para a implementação em tempo real em dispositivos de borda com recursos limitados, como plataformas integradas em veículos e robôs. Por outro lado, os métodos leves existentes muitas vezes sacrificam demasiada precisão ou falham em modelar efetivamente interações cruzadas complexas entre modalidades, deixando uma lacuna para uma rede multimodal eficiente que equilibre alto desempenho com requisitos de inferência em tempo real.

Metodologia: LiteViLNet

Os autores propõem o LiteViLNet, uma rede de fusão Visão-LiDAR leve projetada para alcançar uma segmentação de estradas eficiente através de um pipeline cuidadosamente arquitetado que minimiza parâmetros enquanto maximiza a capacidade representacional.

1. Representação de Entrada

A rede aceita uma imagem RGB e uma nuvem de pontos LiDAR 3D. Para facilitar o processamento eficiente, a nuvem de pontos LiDAR é pré-processada numa Imagem de Diferença de Altitude (ADI). Este processo envolve projetar pontos 3D no plano da imagem 2D e calcular diferenças de altura ponderadas dentro de vizinhanças locais. A ADI resultante codifica diferenças de altura geométrica entre o solo e os obstáculos, sendo depois replicada em três canais para corresponder à interface de entrada RGB.

2. Codificador Leve de Duplo Fluxo

A arquitetura emprega um codificador de duplo fluxo para extrair características separadamente:

• Fluxo RGB: Utiliza uma espinha dorsal MobileNetV3-Large pré-treinada para extrair características texturais, gerando uma pirâmide de características em cinco escalas.
• Fluxo LiDAR: Usa um codificador tiny personalizado construído inteiramente a partir de convoluções separáveis por profundidade (DSConv). Este fluxo espelha a estrutura e a configuração de canais do fluxo RGB para garantir o alinhamento de características, mas introduz sobrecarga negligenciável (aprox. 0,12M de parâmetros).

3. Módulo de Fusão de Características Multiescala (MSFM)

Para abordar o desafio da interação cruzada entre modalidades eficaz sem computação pesada, os autores propõem o MSFM, aplicado em cada uma das cinco escalas de características. O módulo realiza:

• Redução de Dimensão: Compressão das dimensões de canais para reduzir custos de cálculo de atenção.
• Melhoria Intra-modal: Aplicação de Atenção de Canal Eficiente (ECA) às características RGB e Atenção de Coordenadas (CA) às características LiDAR para capturar dependências de canais e posições espaciais, respetivamente.
• Atenção Cruzada (CMA): Um mecanismo de atenção bidirecional que permite a cada modalidade atender a regiões informativas da outra.
• Fusão Portão: Um mecanismo de portão aprendível funde dinamicamente as características de interação cruzada com as características originais melhoradas, permitindo que a rede ajuste adaptativamente a taxa de fusão com base no conteúdo de entrada.

4. Melhoria Semântica com Ponte de Grande Kernel

Para capturar contexto global sem a complexidade quadrática da autoatenção, um módulo de ponte de grande kernel é inserido após a fusão das características mais profundas. Este módulo utiliza uma convolução separável por profundidade 7×7 dentro de uma estrutura de gargalo para ampliar o campo receptivo com complexidade linear. Este design substitui as pontes de transformadores pesadas usadas em outros métodos, reduzindo significativamente os parâmetros (0,26M vs. ~24M em transformadores padrão) enquanto mantém capacidades de representação semântica.

5. Decodificador e Supervisão Profunda

Um decodificador estilo U-Net com conexões de salto recupera a resolução espacial. A rede emprega supervisão profunda, adicionando cabeças de segmentação auxiliares a camadas intermediárias do decodificador para fornecer sinais de gradiente adicionais durante o treino. Estas cabeças são removidas durante a inferência, garantindo nenhuma sobrecarga em tempo de execução. A função de perda combina Perda de Entropia Cruzada Binária, Perda Lovász-Hinge e Perda Focal para otimizar a qualidade da segmentação e lidar com o desequilíbrio de classes.

Contribuições Principais

1. Arquitetura LiteViLNet: Uma rede multimodal leve projetada especificamente para segmentação de estradas eficiente, alcançando um equilíbrio superior entre precisão e eficiência de inferência para implementação em borda.
2. Design de Módulo Sinérgico: A proposta de um conjunto de módulos eficientes, incluindo o codificador de duplo fluxo, o Módulo de Fusão de Características Multiescala (MSFM) para interação cruzada entre modalidades eficaz e a Ponte de Grande Kernel para melhoria semântica, todos operando com sobrecarga computacional e de parâmetros mínima.
3. Esquema de Geração ADI: Um pipeline de geração ADI compatível que permite ao modelo utilizar dados de profundidade de câmaras RGB-D como substituto do LiDAR, reduzindo custos de implementação e melhorando a aplicabilidade prática.
4. Validação Abrangente: Experimentos extensivos no conjunto de dados KITTI Road e implementações no mundo real em diversas plataformas robóticas (Veículo de Entrega Kuafu, Unitree-B2, Unitree-G1) demonstrando a robustez e eficiência do modelo.

Resultados Experimentais

Os autores avaliaram o LiteViLNet no conjunto de dados KITTI Road e compararam-no com métodos de última geração:

• Precisão: O LiteViLNet alcançou uma pontuação MaxF de 96,36%. Isto classifica-o como o melhor entre todos os métodos baseados em CNN e torna-o comparável a modelos maiores baseados em transformadores (por exemplo, SNE-RoadSegV2, RoadFormer) que têm contagens de parâmetros significativamente mais altas.
• Eficiência: O modelo contém apenas 14,04M de parâmetros.
  • Num RTX 4060 Ti, alcança 163,79 FPS (inferência apenas do modelo).
  • Num NVIDIA Jetson Orin NX (dispositivo de borda integrado), alcança 22,18 FPS (apenas do modelo), o que aumenta para 68,73 FPS com implementação TensorRT FP16.
• Comparação: O modelo supera numerosos métodos pesados em velocidade de inferência (por exemplo, 1,57x mais rápido que o USNet e >9,5x mais rápido que o PLARD no RTX 4060 Ti) enquanto mantém precisão altamente competitiva.
• Implementação no Mundo Real: O sistema foi implementado com sucesso em três plataformas robóticas utilizando uma câmara RGB-D Orbbec Gemini 336L. Os robôs demonstraram navegação estável de centralização na faixa a 15 FPS, confirmando a capacidade do sistema de lidar com condições reais de iluminação, terreno e oclusão.

Significado

O artigo afirma que o LiteViLNet resolve o conflito fundamental entre percepção de alta precisão e restrições computacionais em tempo real em sistemas autónomos. Ao demonstrar que uma arquitetura leve pode rivalizar com o desempenho de modelos pesados baseados em transformadores enquanto executa eficientemente em hardware integrado, o trabalho valida o potencial dessas redes para implementação em tempo real na condução autónoma e robótica inteligente. A integração bem-sucedida de dados geométricos LiDAR (ou de profundidade) com textura RGB num framework de baixo parâmetro oferece uma solução prática para aplicações críticas de segurança onde tanto a precisão como a baixa latência são primordiais.