Resumen Técnico: Segmentación Semántica en Tiempo Real utilizando Arquitecturas RetinaNet Optimizadas para Sistemas Automotrices Embebidos

Planteamiento del Problema

Los Sistemas de Asistencia Avanzada al Conductor (ADAS) y los vehículos autónomos requieren una comprensión de la escena densa y en tiempo real para tomar decisiones seguras y de baja latencia. La segmentación semántica, que asigna una etiqueta de clase a cada píxel, es crítica para tareas como la estimación de espacio libre y la detección de carriles. Sin embargo, las redes de segmentación de última generación suelen estar optimizadas para GPUs de alto rendimiento, fallando al intentar cumplir con las estrictas restricciones de latencia, memoria y potencia de las Unidades de Control Electrónico (ECU) y plataformas de Sistema en Chip (SoC) embebidas en el sector automotriz. Además, las escenas automotrices presentan desequilibrios severos entre las clases de primer plano y fondo (por ejemplo, vastas áreas de carretera/cielo frente a peatones poco frecuentes) y variaciones extremas de escala, lo que desafía las arquitecturas estándar de detección y segmentación.

Metodología

El artículo propone Opt-RetinaSeg, una arquitectura de segmentación semántica derivada del marco de trabajo de detección RetinaNet, específicamente reestructurada y optimizada para hardware embebido con recursos limitados. La metodología consta de cuatro componentes principales:

1. Diseño de la Arquitectura

• Backbone Híbrido Ligero: Reemplazando el ResNet-50 estándar, los autores construyen un backbone híbrido. Las etapas tempranas (C2–C3) utilizan convoluciones de profundidad separable (depthwise-separable) para reducir la computación donde la resolución espacial es más alta. Las etapas posteriores (C4–C5) emplean bloques de cuello de botella residual (residual bottleneck blocks) estándar con convoluciones de rango completo de 3×3 para asegurar una mezcla rica entre canales para la agregación de características abstractas. Se insertan bloques de Squeeze-and-Excitation (SE) después de cada etapa para recalibrar la importancia de los canales.
• Red de Pirámide de Características (FPN) Reestructurada: Adaptada de la FPN orientada a la detección de RetinaNet, la versión de segmentación retiene únicamente los niveles P2–P5, descartando los niveles más gruesos (P6–P7) que contribuyen poco a la predicción densa de píxeles. La FPN utiliza convoluciones de 1×1 para las conexiones laterales y un sobremuestreo (upsampling) por vecindad más cercano seguido de convoluciones depthwise-separable de 3×3 para suprimir el aliasing, reduciendo la computación de la FPN en aproximadamente un 35%.
• Cabeza de Segmentación Compacta: Los niveles de la pirámide se sobremuestrean a una resolución común (1/4 del tamaño de entrada), se concatenan y se procesan a través de dos capas convolucionales de 3×3 y una capa de clasificación de 1×1.

2. Función de Pérdida con Equilibrio de Clases

Para abordar el severo desequilibrio de clases a nivel de píxel en escenas de carretera, los autores introducen una función de pérdida inspirada en la pérdida focal (focal loss):
$$L = -\sum_{c=1}^{C} \alpha_c (1 - p_c)^\gamma y_c \log(p_c)$$

• $\alpha_c$ (Peso de Clase): Una relación de frecuencia inversa recortada que aumenta el peso de las clases raras (por ejemplo, peatones, señales de tráfico) mientras evita la explosión del gradiente para subtipos extremadamente raros mediante un límite de recorte ($\alpha_{max} = 50$).
• $\gamma$ (Parámetro de Enfoque): Establecido en 2, este parámetro reduce el peso de los píxeles bien clasificados, obligando a la red a concentrarse en los ejemplos difíciles y las clases raras.

3. Pipeline de Optimización de Tres Etapas

Para cumplir con los objetivos de despliegue embebido, se aplica un pipeline de compresión post-entrenamiento:

1. Poda Estructurada (Structured Pruning): Se eliminan el 40% de los canales con las puntuaciones de importancia de la norma L1 más bajas, seguido de 15 épocas de ajuste fino (fine-tuning).
2. Cuantización INT8 Post-Entrenamiento: Los pesos y activaciones se cuantizan a enteros de 8 bits utilizando calibración sobre un subconjunto de imágenes de entrenamiento, aprovechando el escalado por canal para minimizar el error.
3. Destilación de Conocimiento (Knowledge Distillation): La red "estudiante", ya podada y cuantizada, se ajusta finamente utilizando una pérdida combinada de la tarea de segmentación y la divergencia de Kullback-Leibler (KL) contra una red "maestra" de alta capacidad ResNet-101 para recuperar la precisión perdida durante la compresión.

4. Despliegue

Los modelos optimizados se compilan para hardware específico:

• NVIDIA Jetson Xavier NX: Exportado a ONNX y compilado mediante TensorRT (v8.5) para la ejecución en GPU Volta.
• Qualcomm QCS610: Convertido a formato DLC mediante el SDK de Qualcomm SNPE (v2.x) para su ejecución en el NPU Hexagon.

Contribuciones Clave

1. Arquitectura Opt-RetinaSeg: Un nuevo diseño de segmentación que reaprovecha la FPN de RetinaNet con un backbone híbrido y una cabeza desacoplada, logrando un equilibrio entre eficiencia computacional y capacidad de representación.
2. Pérdida Focal con Equilibrio de Clases: Una función de pérdida diseñada a medida para mitigar el extremo desequilibrio entre primer plano y fondo en conjuntos de datos automotrices sin desestabilizar el entrenamiento.
3. Pipeline de Compresión Unificado: Una integración sistemática de poda estructurada, cuantización INT8 y destilación de conocimiento, demostrando que estas técnicas pueden aplicarse conjuntamente a segmentadores basados en FPN con una degradación mínima de la precisión.
4. Evaluación Embebida Integral: Benchmarking exhaustivo en los conjuntos de datos Cityscapes y BDD100K a través de dos plataformas embebidas distintas (GPU NVIDIA y NPU Qualcomm), proporcionando una evaluación realista del rendimiento de despliegue en el mundo real.

Resultados

Evaluado en los conjuntos de datos Cityscapes y BDD100K, el modelo propuesto demuestra mejoras significativas en la relación precisión-latencia:

• Rendimiento: El modelo optimizado final alcanza un 73.9% de mIoU a 70.4 FPS en la NVIDIA Jetson Xavier NX.
• Eficiencia: Comparado con una línea base ResNet-50, el modelo ofrece una aceleración de inferencia de 7.4x y una reducción de 4x en el tamaño del modelo (de 27.4 MB a 7.1 MB), con menos del 3% de degradación de precisión (76.8% vs. 73.9% mIoU).
• Comparación: Opt-RetinaSeg supera a métodos ligeros establecidos como BiSeNetV2 (72.6% mIoU, 47.3 FPS) e ICNet tanto en precisión como en capacidad de procesamiento (throughput) en el mismo hardware.
• Potencia: En la Jetson Xavier NX, el modelo opera dentro de un entorno de potencia de 15W (medido en 11.8W) sin estrangulamiento térmico (thermal throttling) durante cargas de trabajo sostenidas.

Significado y Reivindicaciones

El artículo afirma que las arquitecturas derivadas de RetinaNet, cuando se reestructuran y optimizan sistemáticamente, son candidatas viables para la segmentación semántica en tiempo real en pipelines de percepción automotriz embebidos. El trabajo demuestra que es posible lograr una precisión competitiva (acercándose a las líneas base pesadas de ResNet-50) cumpliendo al mismo tiempo con los estrictos presupuestos de latencia y potencia de las ECU automotrices. Los autores posicionan su enfoque como una solución práctica para desplegar la predicción densa de píxeles en los SoCs automotrices de la generación actual, cerrando la brecha entre los modelos de investigación de alta precisión y los sistemas embebidos listos para producción. Como trabajo futuro, se identifica la exploración de la búsqueda de arquitectura neuronal consciente del hardware (hardware-aware NAS), la consistencia temporal para flujos de video y las cabezas multitarea de detección y segmentación conjunta.