Resumen Técnico: SPOT! Agente de LLM Guiado por Mapas para el Seguimiento de Objetos Dinámicos en Múltiples CCTV sin Supervisión

1. Declaración del Problema

Los sistemas de seguimiento de vehículos basados en CCTV enfrentan limitaciones estructurales significativas al intentar mantener trayectorias continuas a través de múltiples entornos de cámara. Específicamente, los intervalos entre cámaras y los campos de visión (FOV) restringidos crean "puntos ciegos" donde no existe superposición visual. En estos segmentos desconectados, los métodos tradicionales que dependen del emparejamiento de apariencia o de restricciones espacio-temporales suelen fallar, lo que provoca la alternancia de IDs de objetos (ID switching), la fragmentación de trayectorias y una pérdida de fiabilidad en la predicción de rutas en tiempo real. Además, la investigación existente se limita en gran medida a sistemas de coordenadas de imagen, con una exploración limitada sobre la transformación de trayectorias a coordenadas de mundo o el razonamiento sobre rutas basadas en estructuras viales y patrones de comportamiento de alta dimensión (por ejemplo, hábitos del conductor).

2. Metodología

El artículo propone SPOT! (Spatial Prediction Over Trajectories), un marco diseñado para rastrear vehículos a través de puntos ciegos de múltiples CCTV sin entrenamiento previo. El sistema opera como un agente de Modelo de Lenguaje de Gran Escala (LLM) guiado por mapas que integra trayectorias de objetos observadas con datos estructurales de mapas para inferir rutas de movimiento.

Arquitectura Central

El marco utiliza un proceso de Orquestación Semántica liderado por un orquestador LLM, que coordina dos agentes especializados:

• Agente 1 (Agente de Percepción): Transforma las coordenadas de píxeles 2D de los videos de CCTV en coordenadas de mundo 3D. Utiliza parámetros intrínsecos y extrínsecos de la cámara para realizar un análisis de intersección de rayo-plano, proyectando las posiciones de los vehículos sobre el plano de la carretera ($z=0$). Además, calcula estados cinemáticos (velocidad, aceleración, rumbo) utilizando el Método de Diferencia Finita para perfilar el comportamiento del conductor (por ejemplo, agresividad).
• Agente 2 (Agente de Planificación): Realiza razonamiento espacial de alto nivel y predicción de rutas. Recibe los estados cinemáticos del Agente 1 y consulta una base de conocimientos basada en mapas para predecir la ruta del vehículo a través de los puntos ciegos e identificar la próxima ubicación probable de la CCTV.

Documentación de Mapas y RAG

Para permitir que el LLM razone sobre datos espaciales, el sistema convierte las estructuras viales y las configuraciones de CCTV en documentos textuales estructurados:

• Representación de la Carretera: Los puntos de paso (waypoints) extraídos de las líneas centrales de las carreteras se definen como unidades de documento que contienen ID, ubicación y yaw (guiñada).
• Topología de la Red: Las intersecciones se clasifican como regiones candidatas de CCTV.
• Modelado de CCTV: Los metadatos (posición, dirección, FOV) construyen polígonos de FOV.
• Puertas de Carretera-CCTV: Las intersecciones pre-analizadas entre los polígonos de FOV y los waypoints definen los puntos de transferencia (handovers).

Estos documentos se organizan utilizando técnicas de Generación Aumentada por Recuperación (RAG). El sistema emplea una estrategia de recuperación híbrida que combina:

1. Filtrado Espacial: Uso de un índice R-tree para recuperar documentos dentro de un radio específico.
2. Filtrado Semántico: Uso de MinHash para estimar la similitud de Jaccard para la relevancia basada en texto.
3. Tokenización VLA: Transformación de estados físicos continuos (posición, velocidad) en tokens semánticos discretos (por ejemplo, [SCENE] pos=...) para alinear la física numérica con el espacio lingüístico del LLM.

Predicción de Ruta y Transferencia (Handoff)

Para el tránsito por puntos ciegos, el sistema emplea un algoritmo de Búsqueda de Haz (Beam Search) en el grafo de la carretera:

• Perfilado del Conductor: Se calcula un "Índice de Agresividad" basado en el percentil 90 del historial de aceleración para ajustar las penalizaciones de curvatura.
• Fusión Neuro-Simbólica: En puntos críticos de decisión (por ejemplo, intersecciones), el LLM actúa como un "Re-clasificador Local". Evalúa las rutas candidatas basándose en la intención del conductor y el contexto de la carretera, emitiendo una probabilidad que se convierte en un término de Log-Odds para ajustar las puntuaciones de la búsqueda de haz.
• Selección de Transferencia: El sistema simula la intersección entre la trayectoria predicha y los FOV de las CCTV para estimar el tiempo de permanencia y los ángulos de entrada, seleccionando las Top-K cámaras más probables siguientes.

3. Contribuciones Clave

• Razonamiento Espacial Zero-Shot: El artículo introduce un método para estructurar la información de los mapas como documentos textuales, permitiendo que los LLM realicen razonamiento espacial e inferencia de rutas sin datos de entrenamiento específicos de la tarea.
• Transformación de Píxel a Mundo: Un flujo de trabajo robusto para convertir coordenadas de píxeles de CCTV en coordenadas de mundo, permitiendo el análisis de trayectorias en el entorno vial real en lugar de solo en el espacio de la imagen.
• Integración Neuro-Simbólica: Una novedosa fusión de búsqueda de haz simbólica (para la viabilidad física y consistencia cinemática) y razonamiento de LLM neural (para la intención semántica y el perfilado del conductor) para resolver ambigüedades en puntos ciegos.
• RAG Explicable: El sistema proporciona racionales basados en lenguaje natural para las trayectorias inferidas y las recomendaciones de rutas, ofreciendo explicabilidad para las decisiones de vigilancia.

4. Resultados Experimentales

El sistema fue evaluado utilizando el simulador CARLA (Town02) con un entorno urbano virtual que contiene FOVs de CCTV no superpuestos para simular puntos ciegos realistas.

• Configuración: El experimento comparó SPOT! contra una Línea Base Heurística y cuatro configuraciones de LLM (DeepSeek-chat V3.2, Llama-3-8B, GPT-4o-mini y Gemini-1.5-Flash).
• Métricas: El rendimiento se midió mediante el Error de Desplazamiento Promedio (ADE), el Error de Desplazamiento Final (FDE) y la precisión de la predicción de la siguiente CCTV (Top-1 y Top-K).
• Hallazgos:
  • Todas las variantes basadas en LLM superaron significativamente a la Línea Base Heurística (que tuvo un ADE de 15.78m).
  • DeepSeek-chat V3.2 logró el mejor rendimiento general con el ADE más bajo (3.64m) y la mayor precisión de Top-1 CCTV (70%).
  • Llama-3-8B demostró una fuerte robustez con una precisión Top-1 del 68%, sugiriendo viabilidad para despliegue en el borde (edge-side).
  • Los resultados indican que la integración de documentos de mapas estructurados con el razonamiento basado en LLM mejora sustancialmente la predicción de trayectorias y la estimación de la siguiente cámara en escenarios de puntos ciegos.

5. Significado y Reivindicaciones

El artículo afirma que SPOT! aborda eficazmente el desafío de mantener un seguimiento continuo de vehículos en entornos de múltiples CCTV con campos de visión no superpuestos. Al aprovechar agentes de LLM guiados por mapas, el sistema puede inferir rutas de movimiento en puntos ciegos sin depender de entrenamiento externo o re-identificación basada en apariencia.

Los autores postulan que este enfoque tiene el potencial significativo de complementar o incluso reemplazar las técnicas existentes de seguimiento multi-cámara basadas en aprendizaje, particularmente en escenarios donde la superposición visual es imposible. El estudio enfatiza el valor de combinar la documentación de mapas con el razonamiento espacial de LLM para proporcionar predicciones de ruta explicables y en tiempo real. El trabajo futuro se identifica como la extensión de la lógica para asegurar la asociación continua de ID en las ubicaciones de CCTV subsiguientes predichas y la validación del sistema en entornos urbanos del mundo real con metadatos contextuales adicionales (por ejemplo, señales de tráfico).