Resumen Técnico: BeyondSight: Permanencia de Objetos para la Conducción Autónoma de Extremo a Extremo

1. Planteamiento del Problema

Los sistemas de conducción autónoma operan en entornos parcialmente observables donde los actores (vehículos, peatones) se vuelven frecuentemente completamente ocluidos por infraestructura u otros vehículos. El análisis del conjunto de datos nuScenes revela que aproximadamente el 30% de los actores son completamente inobservables en un instante de tiempo dado, incluyendo aquellos que se encuentran en proximidad cercana al vehículo ego.

Los sistemas actuales de conducción autónoma de extremo a extremo (E2E-AD) suelen acoplar la existencia de los actores a las observaciones instantáneas. Cuando un actor se vuelve completamente inobservable, su representación en el modelo a menudo se degrada o desaparece por completo. La eliminación de estos agentes "invisibles" de la representación de la escena obliga a los módulos de predicción y planificación posteriores a razonar únicamente sobre los agentes actualmente visibles. En consecuencia, estos sistemas exhiben un comportamiento reactivo o frágil en escenarios con alta densidad de oclusión (por ejemplo, intersecciones), fallando al mantener trayectorias seguras para agentes que están temporalmente ocultos pero que siguen presentes. Además, los estándares de evaluación de percepción equiparan implícitamente la observabilidad con la existencia, filtrando a los actores inobservables tanto de la supervisión como de la evaluación, lo que impide que los modelos aprendan representaciones persistentes a través de brechas de observabilidad.

2. Metodología: BeyondSight

Los autores proponen BeyondSight, un marco de E2E-AD consciente de la permanencia que desacopla explícitamente la existencia del actor de la observabilidad instantánea. El sistema mantiene hipótesis de actores persistentes a lo largo del tiempo, permitiendo que la percepción, predicción y planificación conjunta razonen sobre los actores incluso cuando son temporalmente inobservables.

Arquitectura Central

BeyondSight se basa en la arquitectura SparseDrive, que utiliza consultas dispersas (sparse queries) para representar actores dinámicos y elementos del mapa. La innovación clave es un flujo de inferencia de tres etapas inspirado en el filtrado bayesiano, diseñado para propagar y actualizar las hipótesis de los actores:

1. Decodificador de Prior Temporal (Temporal Prior Decoder): Este módulo propaga las consultas de los actores desde el cuadro anterior ($q_{t-1}$) al paso de tiempo actual ($t$) para generar un conjunto de hipótesis condicionado por el movimiento ($q_t^{\text{prior}}$). Crucialmente, esta etapa opera únicamente con los embeddings de las consultas mediante auto-atención y un MLP ligero, sin acceder a las características de la imagen actual. Esto permite al modelo mantener hipótesis para los actores incluso cuando no hay evidencia visual disponible.
2. Decodificador de Observación (Observation Decoder): Esta etapa combina el prior temporal con las consultas de objetos recién inicializadas y las características de BEV actuales ($F_t$) para producir hipótesis condicionadas por la observación ($q_t^{\text{obs}}$). Este componente es supervisado únicamente utilizando los actores de verdad fundamental (ground-truth) observables.
3. Decodificador de Fusión Posterior (Posterior Fusion Decoder): Este módulo reconcilia el prior propagado y las hipótesis condicionadas por la observación. Selecciona la propuesta con mayor confianza de clasificación para cada actor y la refina para producir la representación final de la escena ($q_t^{\text{post}}$). Esta representación fusionada contiene tanto actores observables como inobservables, proporcionando un contexto más rico para la planificación posterior.

Optimización y Supervisión

El entrenamiento sigue un protocolo de dos etapas (pre-entrenamiento de percepción seguido de un entrenamiento conjunto de extremo a extremo). Para imponer la permanencia de los objetos, los autores introducen una Supervisión Consciente de la Permanencia:

• Verdad Fundamental Extendida (Extended Ground Truth): Las pérdidas de detección y movimiento se calculan sobre el conjunto completo de actores ($G_{\text{all}} = G_{\text{obs}} \cup G_{\text{unobs}}$), incluyendo aquellos que son actualmente inobservables.
• Clasificación de Observabilidad: El decodificador posterior predice un estado de observabilidad ($\hat{o}_t^i$) para cada consulta, supervisado mediante entropía cruzada binaria. Esto enseña explícitamente al modelo a distinguir entre un actor que está ocluido y uno que está ausente.
• Función de Pérdida: El objetivo total incluye las pérdidas estándar de detección, mapa, movimiento y planificación, aumentadas con una pérdida de detección modificada ($\mathcal{L}_{\text{det}}'$) que supervisa a los actores inobservables y una pérdida de clasificación de observabilidad ($\mathcal{L}_{\text{obs}}$).

3. Contribuciones Clave

El artículo presenta tres contribuciones principales:

1. Formalización de la Permanencia de Objetos: Los autores definen la permanencia de objetos para E2E-AD como una restricción a nivel de representación que requiere que los actores previamente observados permanezcan representados en el conjunto de hipótesis del modelo, incluso cuando son temporalmente inobservables.
2. Benchmark nuScenes-Permanence: Una extensión del conjunto de datos nuScenes que proporciona protocolos de supervisión y evaluación para actores inobservables. Esto implica la reconstrucción de estados de trayectoria faltantes utilizando priors de movimiento físicamente fundamentados para los intervalos donde no hay soporte sensorial, expandiendo el conjunto de anotaciones en aproximadamente un 30%.
3. Marco de Trabajo BeyondSight: Una extensión consciente de la permanencia para arquitecturas de E2E-AD de consultas dispersas que mantiene hipótesis persistentes mediante la propagación temporal y la fusión consciente de la observabilidad, permitiendo el razonamiento bajo oclusión prolongada.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de validación de nuScenes y en el propuesto benchmark nuScenes-Permanence.

Rendimiento Estándar

En las métricas estándar de nuсеnes, BeyondSight mantiene un rendimiento competitivo mientras mejora la planificación posterior:

• Planificación: El error de planificación de bucle abierto ($L2_{\text{avg}}$) mejoró de 0.61 (SparseDrive) a 0.54, y la tasa de colisiones disminuyó de 0.08% a 0.07%.
• Percepción: El rendimiento de detección (mAP) aumentó de 0.415 a 0.427, y el rendimiento de seguimiento (AMOTA) mejoró de 0.372 a 0.401.
• Falsos Positivos: El modelo no incurrió en falsos positivos adicionales bajo el protocolo de evaluación oficial, demostrando que mantener hipótesis persistentes no degrada el rendimiento de los benchmarks estándar.

Rendimiento de Permanencia de Objetos (nuScenes-Permanence)

Las métricas propuestas condicionadas a la observabilidad revelan mejoras significativas en el razonamiento sobre actores ocluidos:

• Detección de Inobservables: El modelo logró un mAP$_{\text{unobs}}$ de 0.249, una mejora dramática respecto al modelo base SparseDrive, que obtuvo 0 (ya que descarta los actores inobservables).
• Comprensión Holística: La métrica agregada mAP$_{\text{all}}$ mejoró de 0.389 a 0.413.
• Planificación bajo Oclusión: En un subconjunto de alta oclusión donde las trayectorias futuras de los actores ocultos se aproximaban al vehículo ego, BeyondSight redujo el error de planificación de 0.64 a 0.56 y las tasas de colisión de 0.163 a 0.08.

Estudios de Ablación

Los experimentos de ablación confirmaron que:

• La propagación temporal por sí sola (sin supervisión consciente de la permanencia) no permite la detección de actores completamente inobservables (mAP$_{\text{unobs}}$ permanece en 0).
• Se requiere la combinación de propagación temporal, fusión posterior y supervisión sobre actores inobservables para lograr las mejoras reportadas.
• El Decodificador de Fusión Posterior es crítico para reconciliar las hipótesis propagadas con las observaciones actuales.

5. Significado y Limitaciones

El artículo argumenta que la permanencia de objetos es un principio de modelado crítico para la conducción autónoma de extremo a extremo robusta. Al desacoplar la existencia del actor de la observabilidad instantánea, BeyondSight permite que los sistemas razonen sobre el entorno dinámico completo, lo que conduce a una planificación más segura en escenarios con alta oclusión. La introducción de nuScenes-Permanence proporciona el primer protocolo sistemático para entrenar y evaluar esta capacidad.

Limitaciones:

• Hipótesis Obsoletas (Stale Hypotheses): Las hipótesis persistentes pueden volverse inexactas ("obsoletas") durante oclusiones muy largas si los actores se desvían significativamente del prior temporal aprendido, lo que podría provocar una deriva en la localización.
• Supuestos de Movimiento: Las anotaciones de nuScenes-Permanence asumen un movimiento aproximadamente continuo. El benchmark puede no capturar maniobras ocultas abruptas (por ejemplo, paradas repentinas, giros cerrados o cambios de intención) que no pueden inferirse de manera fiable a partir de las observaciones circundantes.
• Direcciones Futuras: Los autores sugieren que trabajos futuros deberían explorar la memoria consciente de la incertidumbre, anotaciones basadas en simulación con etiquetas privilegiadas y conjuntos de datos de múltiples observadores para la evaluación directa de la oclusión.