Resumen Técnico: LiteViLNet

Enunciado del Problema

La segmentación de carreteras es una tarea crítica de percepción para la conducción autónoma y la robótica inteligente, que sirve como base para la planificación de trayectorias y la evitación de obstáculos. Aunque los enfoques multimodales que combinan imágenes RGB y datos LiDAR han logrado una precisión de vanguardia aprovechando información complementaria de textura y geometría, a menudo dependen de codificadores pesados basados en transformadores (por ejemplo, Swin Transformer) con cientos de millones de parámetros. Estos modelos incurren en enormes costos computacionales, lo que los hace inadecuados para la implementación en tiempo real en dispositivos periféricos con recursos limitados, como plataformas integradas en vehículos y robots. Por el contrario, los métodos ligeros existentes a menudo sacrifican demasiada precisión o no logran modelar eficazmente las interacciones complejas entre modalidades, dejando un vacío para una red multimodal eficiente que equilibre un alto rendimiento con los requisitos de inferencia en tiempo real.

Metodología: LiteViLNet

Los autores proponen LiteViLNet, una red de fusión visión-LiDAR ligera diseñada para lograr una segmentación de carreteras eficiente mediante un pipeline cuidadosamente arquitecturado que minimiza los parámetros mientras maximiza la capacidad representacional.

1. Representación de Entrada

La red acepta una imagen RGB y una nube de puntos LiDAR 3D. Para facilitar un procesamiento eficiente, la nube de puntos LiDAR se preprocesa en una Imagen de Diferencia de Altitud (ADI). Este proceso implica proyectar los puntos 3D sobre el plano de la imagen 2D y calcular diferencias de altura ponderadas dentro de vecindades locales. La ADI resultante codifica las diferencias de altura geométrica entre el suelo y los obstáculos, la cual se replica luego a través de tres canales para coincidir con la interfaz de entrada RGB.

2. Codificador Ligero de Doble Flujo

La arquitectura emplea un codificador de doble flujo para extraer características por separado:

• Flujo RGB: Utiliza una columna vertebral MobileNetV3-Large preentrenada para extraer características de textura, generando una pirámide de características en cinco escalas.
• Flujo LiDAR: Utiliza un codificador pequeño personalizado construido enteramente con convoluciones separables por profundidad (DSConv). Este flujo refleja la estructura y la configuración de canales del flujo RGB para garantizar la alineación de características, pero introduce una sobrecarga insignificante (aprox. 0.12M de parámetros).

3. Módulo de Fusión de Características Multiescala (MSFM)

Para abordar el desafío de la interacción intermodal efectiva sin una computación pesada, los autores proponen el MSFM, aplicado en cada una de las cinco escalas de características. El módulo realiza:

• Reducción de Dimensiones: Comprimir las dimensiones de los canales para reducir los costos de cálculo de atención.
• Mejora Intramodal: Aplicar Atención de Canal Eficiente (ECA) a las características RGB y Atención de Coordenadas (CA) a las características LiDAR para capturar dependencias de canales y posiciones espaciales, respectivamente.
• Atención Intermodal (CMA): Un mecanismo de atención bidireccional que permite que cada modalidad atienda a regiones informativas de la otra.
• Fusión Puerta: Un mecanismo de puerta aprendible fusiona dinámicamente las características de interacción intermodal con las características mejoradas originales, permitiendo que la red ajuste adaptativamente la relación de fusión según el contenido de entrada.

4. Mejora Semántica con Puente de Gran Kernel

Para capturar el contexto global sin la complejidad cuadrática de la autoatención, se inserta un módulo de puente de gran kernel después de la fusión de las características más profundas. Este módulo utiliza una convolución separable por profundidad de 7×7 dentro de una estructura de cuello de botella para ampliar el campo receptivo con complejidad lineal. Este diseño reemplaza los puentes de transformadores pesados utilizados en otros métodos, reduciendo significativamente los parámetros (0.26M frente a ~24M en transformadores estándar) mientras mantiene las capacidades de representación semántica.

5. Decodificador y Supervisión Profunda

Un decodificador estilo U-Net con conexiones de salto recupera la resolución espacial. La red emplea supervisión profunda, añadiendo cabezas de segmentación auxiliares a capas intermedias del decodificador para proporcionar señales de gradiente adicionales durante el entrenamiento. Estas cabezas se eliminan durante la inferencia, asegurando que no haya sobrecarga en tiempo de ejecución. La función de pérdida combina Entropía Cruzada Binaria, pérdida Lovász-Hinge y pérdida Focal para optimizar la calidad de la segmentación y manejar el desequilibrio de clases.

Contribuciones Clave

1. Arquitectura LiteViLNet: Una red multimodal ligera diseñada específicamente para una segmentación de carreteras eficiente, logrando un equilibrio superior entre precisión y eficiencia de inferencia para la implementación en el borde.
2. Diseño de Módulos Sinérgicos: La propuesta de un conjunto de módulos eficientes, que incluyen el codificador de doble flujo, el Módulo de Fusión de Características Multiescala (MSFM) para una interacción intermodal efectiva y el Puente de Gran Kernel para la mejora semántica, todos operando con una sobrecarga computacional y de parámetros mínima.
3. Esquema de Generación de ADI: Un pipeline de generación de ADI compatible que permite al modelo utilizar datos de profundidad de cámaras RGB-D como sustituto del LiDAR, reduciendo los costos de implementación y mejorando la aplicabilidad práctica.
4. Validación Exhaustiva: Experimentos extensivos en el conjunto de datos KITTI Road y despliegues en el mundo real en diversas plataformas robóticas (Vehículo de Entrega Kuafu, Unitree-B2, Unitree-G1) que demuestran la robustez y eficiencia del modelo.

Resultados Experimentales

Los autores evaluaron LiteViLNet en el conjunto de datos KITTI Road y lo compararon con métodos de vanguardia:

• Precisión: LiteViLNet logró una puntuación MaxF del 96.36%. Esto lo clasifica como el mejor entre todos los métodos basados en CNN y lo hace comparable a modelos más grandes basados en transformadores (por ejemplo, SNE-RoadSegV2, RoadFormer) que tienen conteos de parámetros significativamente más altos.
• Eficiencia: El modelo contiene solo 14.04M de parámetros.
  • En una RTX 4060 Ti, alcanza 163.79 FPS (inferencia solo del modelo).
  • En un NVIDIA Jetson Orin NX (dispositivo periférico integrado), alcanza 22.18 FPS (solo modelo), lo que aumenta a 68.73 FPS con la implementación TensorRT FP16.
• Comparación: El modelo supera a numerosos métodos pesados en velocidad de inferencia (por ejemplo, 1.57 veces más rápido que USNet y más de 9.5 veces más rápido que PLARD en RTX 4060 Ti) mientras mantiene una precisión altamente competitiva.
• Despliegue en el Mundo Real: El sistema se implementó con éxito en tres plataformas robóticas utilizando una cámara RGB-D Orbbec Gemini 336L. Los robots demostraron una navegación estable de centrado de carril a 15 FPS, confirmando la capacidad del sistema para manejar condiciones de iluminación, terreno y oclusión del mundo real.

Significado

El artículo afirma que LiteViLNet resuelve el conflicto fundamental entre la percepción de alta precisión y las restricciones computacionales en tiempo real en los sistemas autónomos. Al demostrar que una arquitectura ligera puede rivalizar con el rendimiento de modelos pesados basados en transformadores mientras se ejecuta eficientemente en hardware integrado, el trabajo valida el potencial de dichas redes para la implementación en tiempo real en conducción autónoma y robótica inteligente. La integración exitosa de datos geométricos LiDAR (o de profundidad) con textura RGB en un marco de bajo parámetro ofrece una solución práctica para aplicaciones críticas de seguridad donde tanto la precisión como la baja latencia son primordiales.