Unveiling Transferability in Trajectory Prediction via Latent Scene Embeddings

Resumen Técnico: Revelando la Transferibilidad en la Predicción de Trayectorias mediante Incrustaciones Latentes de Escenas

Definición del Problema
El artículo aborda el desafío de generalizar los modelos de predicción de trayectorias a través de diferentes conjuntos de datos. Aunque el aprendizaje profundo ha avanzado en la predicción de movimiento, los modelos entrenados en un conjunto de datos suelen fallar al generalizarse a otros debido a disparidades significativas en los diseños de las escenas, los comportamientos de los agentes, las modalidades de detección (por ejemplo, cámara frente a dron) y las estructuras de los mapas. Aunque los modelos fundacionales de gran escala sugieren que la agrupación de datos diversos podría generar representaciones transferibles, las restricciones prácticas (latencia, cómputo) y el riesgo de degradación del rendimiento debido a datos de baja calidad o irrelevantes requieren un enfoque más selectivo. El problema central es determinar qué conjuntos de datos son adecuados para el preentrenamiento o la adaptación de un dominio objetivo específico sin recurrir a la experimentación exhaustiva de prueba y error.

Metodología
Los autores proponen un marco de trabajo que aprende un espacio latente compartido para caracterizar los conjuntos de datos de trayectorias y cuantificar su transferibilidad.

1. Modelo de Incrustación Latente:

   • Arquitectura: Se entrena un modelo codificador-decodificador profundo de forma conjunta sobre los 24 conjuntos de datos. El codificador mapea las características de entrada (estados de los agentes y datos de mapas opcionales) a variables latentes a nivel de nodo utilizando Unidades Recurrentes de Puerta de Grafo (Graph-GRUs).
   • Objetivos de Entrenamiento: El modelo se optimiza utilizando dos tareas complementarias: reconstruir las características de entrada observadas y pronosticar estados futuros. Esto asegura que el espacio latente capture tanto las propiedades estructurales de los datos como la dinámica de pronóstico relevante.
   • Regularización: Las variables latentes se restringen a la superficie de una esfera unitaria para fomentar la comparabilidad y evitar soluciones degeneradas.
   • Agregación: Las incrustaciones a nivel de nodo se agregan en estadísticas a nivel de escena (media y covarianza). Estas se agregan posteriormente para definir una distribución a nivel de conjunto de datos, modelada como una Gaussiana multivariante caracterizada por un vector de media y una matriz de covarianza (regularizada mediante aproximación de bajo rango y jitter para asegurar la estabilidad numérica).

2. Métrica de Transferibilidad:

   • La transferibilidad entre un conjunto de datos fuente $D_i$ y un conjunto de datos objetivo $D_j$ se cuantifica utilizando la divergencia de Kullback–Leibler (KL) entre sus respectivas distribuciones Gaussianas en el espacio latente: $D_{KL}(D_i \| D_j)$.
   • Esta métrica es direccional (asimétrica), capturando el hecho de que un conjunto de datos fuente puede aproximar bien a un objetivo, mientras que lo inverso no es necesariamente cierto.

3. Protocolo de Evaluación:

   • El marco fue evaluado a través de 24 diversos conjuntos de datos (que cubren peatones, vehículos y tráfico mixto; recolectados mediante cámaras, drones y vehículos instrumentados).
   • Transferencia Zero-Shot: Un predictor base (QCNet) fue entrenado en un conjunto de datos y evaluado en otros sin adaptación.
   • Ajuste Fino (Fine-Tuning): Los modelos preentrenados en conjuntos de datos fuente fueron ajustados finamente en conjuntos de datos objetivo para evaluar la calidad de la adaptación y el olvido catastrófico.
   • Análisis de Correlación: Las puntuaciones de la divergencia KL se correlacionaron con métricas de rendimiento reales (minADE6) para validar el poder predictivo de las distancias latentes.

Contribuciones Clave

1. Aprendizaje de Representación a Nivel de Conjunto de Datos: La introducción de un marco de incrustación latente que modela los conjuntos de datos de trayectorias como distribuciones en un espacio compartido, permitiendo la comparación basada en la geometría de la distribución en lugar de estadísticas superficiales.
2. Medida Probabilística Direccional: Una propuesta de métrica basada en la divergencia KL para capturar el éxito de la transferencia asimétrica, demostrando que las distancias latentes predicen tanto el rendimiento zero-shot como el de ajuste fino.
3. Estudio Sistemático a Gran Escala: Una evaluación exhaustiva que involucra 24 conjuntos de datos y 552 pares de transferencia. Este estudio identifica conjuntos de datos infrautilizados que mejoran el rendimiento en los bancos de pruebas estándar y revela relaciones estructurales (por ejemplo, entre conjuntos de datos adquiridos por drones y conjuntos de datos de vehículos instrumentados) que no son evidentes solo por los metadatos.

Resultos

• Correlación con el Rendimiento: El estudio encontró una fuerte correlación positiva ($\rho = 0.811$) entre la divergencia KL y el rendimiento de la transferencia zero-shot (minADE6). Una mayor divergencia predijo consistentemente un peor desempeño de la transferencia.
• Ajuste Fino y Olvido: La distancia latente también predijo el grado de olvido catastrófico durante el ajuste fino. Divergencias menores se correlacionaron con una mejor adaptación y una menor pérdida del conocimiento de la fuente.
• Aproximación Gaussiana: La divergencia KL superó consistentemente a otras medidas de similitud (L1, Wasserstein, MMD) al predecir la transferibilidad, justificando empíricamente el supuesto de modelado Gaussiano.
• Dimensionalidad Latente: Un estudio de ablación mostró que una dimensión latente de $L=32$ proporcionaba el equilibrio óptimo para la predicción zero-shot, mientras que dimensiones mayores ($L=128$) mostraban rendimientos decrecientes o tendencias de sobreajuste para ciertas tareas.
• Relaciones entre Conjuntos de Datos: El espacio latente reveló que conjuntos de datos como WOMD, Argoverse y nuScenes forman grupos distintos, con relaciones asimétricas específicas (por ejemplo, WOMD transfiere bien a nuScenes, pero no viceversa). También destacó que los conjuntos de datos adquiridos por drones (por ejemplo, inD, INTERACTION) comparten una similitud latente significativa con los conjuntos de datos de vehículos instrumentados, lo que sugiere un potencial de transferencia entre dominios.

Significado
El artículo afirma proporcionar un mecanismo práctico y basado en datos para la selección de conjuntos de datos en la predicción de movimiento. Al cuantificar la transferibilidad a través de la geometría de la distribución latente, el marco permite a los investigadores:

• Predecir el rendimiento de la generalización entre conjuntos de datos sin entrenar modelos en cada par posible de fuente-objetivo.
• Seleccionar fuentes de preentrenamiento óptimas para nuevos dominios objetivo.
  。
• Identificar conjuntos de datos infrautilizados que pueden mejorar el rendimiento en los bancos de pruebas populares.
• Avanzar hacia sistemas predictivos más robustos y generalizables al comprender las relaciones estructurales entre las fuentes de datos en lugar de depender únicamente de pistas específicas del dominio.

El trabajo concluye que la transferibilidad en la predicción de trayectorias puede predecirse mediante representaciones latentes aprendidas, ofreciendo una base para el desarrollo más eficiente de modelos fundacionales y estrategias de aprendizaje por transferencia en la conducción autónoma y la robótica.