GHOST: Ground-projected Hypotheses from Observed Structure-from-Motion Trajectories

1. El Problema

La comprensión de dónde un vehículo puede y se moverá es fundamental para la conducción autónoma. Los enfoques clásicos dependen de:

• Supervisión semántica explícita (etiquetado manual costoso).
• Conjuntos de datos estructurados y calibrados (con sensores como LiDAR o mapas HD).
• Modelado explícito de marcas viales o carriles.

Estos métodos son costosos, no escalan fácilmente a entornos no estructurados (como patinetes eléctricos o navegación fuera de carretera) y a menudo carecen de generalización ante configuraciones de cámara diversas. El desafío es aprender priores de movimiento y espacio transitable a partir de datos masivos no etiquetados y no calibrados.

2. Metodología: GHOST

El enfoque propuesto, GHOST, es un método de aprendizaje auto-supervisado que extrae hipótesis de trayectorias directamente de videos monoculares de cámaras de tablero (dashcams) sin anotación manual. El pipeline se divide en tres etapas principales:

A. Pipeline de Estructura a partir del Movimiento (SfM)

• Entrada: Videos crudos no calibrados de YouTube (escala masiva).
• Procesamiento: Se utiliza COLMAP para realizar una reconstrucción 3D dispersa y estimar poses de cámara 6-DoF (grados de libertad) y parámetros intrínsecos.
• Estrategia: Para manejar la complejidad computacional, los videos se dividen en intervalos de 20 minutos. Se asume un modelo de cámara de ojo de pez radial simple y se restringe la extracción de características para asegurar reconstrucciones robustas.

B. Post-procesamiento y Generación de Máscaras (Grounding)

Dado que SfM tiene ambigüedad de escala, el sistema debe "aterrizar" la trayectoria en el plano del suelo:

1. Estimación de Altura: Se asume un modelo cinemático (el vehículo se mueve sobre una superficie plana local) y alineación geométrica. Se identifican puntos 3D que corresponden al suelo (filtrando por región de interés en la imagen) y se utiliza un estimador Theil-Sen (regresión robusta) para calcular la altura ortogonal de la cámara sobre el suelo.
2. Proyección: La trayectoria de la cámara se proyecta en el plano del suelo desplazando los puntos 3D a lo largo del vector de gravedad según la altura calculada.
3. Generación de Máscara: Se asigna un ancho lateral proporcional a la altura de la cámara (1.5 × altura) para crear una máscara espacial que representa la huella del vehículo.
4. Filtrado: Se descartan "marcos nulos" donde la reconstrucción falla o no hay movimiento real, asegurando una calidad de datos alta (650,000 frames anotados).

C. Entrenamiento del Modelo de Segmentación

• Formulación: La estimación de la trayectoria se trata como un problema de segmentación de imágenes binarias.
• Arquitectura: Se utiliza una red UNet con un backbone ResNet34 (pre-entrenado en ImageNet) o SegFormer.
• Función de Pérdida Asimétrica: Este es un componente clave. La pérdida penaliza fuertemente los falsos negativos (no predecir una zona transitable) y reduce la penalización por falsos positivos (predecir una zona extra).
  • Objetivo: Esto obliga al modelo a aprender una distribución de múltiples hipótesis de trayectorias factibles en lugar de simplemente copiar la única trayectoria demostrada en el video de entrenamiento. El modelo aprende a cubrir todas las rutas posibles dadas las condiciones visuales.

3. Contribuciones Clave

1. Pipeline Auto-supervisado Escalable: Extracción de supervisión de movimiento ego (ego-motion) a partir de videos monoculares no restringidos usando SfM, eliminando la necesidad de anotación manual.
2. Formulación como Segmentación: Plantear la estimación de hipótesis de trayectorias futuras como un problema de segmentación de imágenes, capturando la topología de carriles y la estructura de intersecciones implícitamente.
3. Generalización Estructurada: Evidencia empírica de que la supervisión a gran escala induce predicciones de rutas generalizables que van más allá de la trayectoria demostrada, capturando alternativas factibles.
4. Transferencia a Plataformas No Automotrices: Demostración exitosa de transferir el modelo a un patinete eléctrico con un ajuste fino (fine-tuning) ligero, validando su utilidad en dominios con datos estructurados escasos.

4. Resultados y Evaluación

• Dataset de Evaluación: Se evaluó en NuScenes (OpenLaneV2), un conjunto de datos completamente fuera de distribución (ODD) respecto a los datos de entrenamiento (ciudades de EE. UU. vs. Boston/Singapur, conducción por la izquierda vs. derecha, clima adverso).
• Métrica: Se utilizó Soft IoU (Intersección sobre Unión Suave) para manejar las máscaras probabilísticas de salida.
• Rendimiento:
  • El modelo ResNet34 alcanzó un Soft IoU de 0.5579 (general) y 0.5718 en escenarios de múltiples carriles.
  • El modelo SegFormer obtuvo resultados ligeramente superiores (0.5645 / 0.5699).
  • El modelo no colapsó a una sola trayectoria en escenarios complejos; de hecho, mantuvo o mejoró su rendimiento en situaciones con múltiples opciones de carril, confirmando la eficacia de la pérdida asimétrica.
• Transferencia: Al ajustar el modelo pre-entrenado en datos de patinetes eléctricos, el modelo adaptó su comportamiento a carriles de bicicletas y aceras, mientras que un modelo entrenado desde cero sobre los mismos datos tendía a sobreajustarse y predecir una sola hipótesis.

5. Significado e Impacto

• Independencia de Mapas HD: El método aprende priores espaciales directamente de la visión, reduciendo la dependencia de mapas HD costosos y sensores calibrados. Esto permite su uso en entornos dinámicos o no mapeados.
• Escalabilidad: Aprovecha el vasto repositorio de videos de internet, permitiendo entrenar modelos con millones de horas de conducción real sin costo de anotación.
• Versatilidad: Al no depender de la geometría específica de un coche, el enfoque es aplicable a una amplia gama de vehículos autónomos (coches, camiones, drones, patinetes), llenando un vacío en la investigación de autonomía para vehículos no tradicionales.
• Robustez: La capacidad de generalizar a configuraciones de cámara diversas (distorsiones, alturas, FOV) y condiciones climáticas demuestra la solidez del enfoque basado en visión pura.

En resumen, GHOST demuestra que es posible distilar el conocimiento de la conducción humana a gran escala a partir de videos crudos para generar hipótesis de trayectorias estructuradas y generalizables, superando las limitaciones de los enfoques basados en anotaciones manuales y mapas estáticos.