Inferring Occluded Agent Behavior in Dynamic Games from Noise Corrupted Observations

1. El Problema

En la robótica móvil y la conducción autónoma, la interacción entre agentes se modela comúnmente como el equilibrio de Nash de un juego dinámico no cooperativo. Los métodos existentes dependen de observaciones sensoriales (LIDAR, cámaras) para identificar a todos los agentes participantes.

Sin embargo, un desafío crítico es la oclusión: situaciones donde ciertos agentes están bloqueados de la vista por otros objetos o agentes (ej. un vehículo que oculta a otros en un cruce).

• Limitación actual: Los métodos de inferencia y planificación basados en juegos asumen que todos los agentes son visibles. Cuando hay agentes ocultos, estos métodos fallan al inferir incorrectamente los objetivos de los agentes visibles (ya que su comportamiento es una respuesta a los ocultos) y toman decisiones de navegación inseguras al ignorar la posible existencia de obstáculos ocultos.
• Objetivo: Desarrollar un marco que permita estimar la ubicación e intención de agentes ocultos basándose únicamente en las observaciones ruidosas de los agentes visibles, y utilizar esta información para planificar trayectorias seguras.

2. Metodología Propuesta

Los autores proponen un pipeline integrado que combina inferencia de comportamiento y planificación contingente en un horizonte rodante (receding horizon).

A. Inferencia de Comportamiento con Conciencia de Oclusión

El observador (robot) intenta estimar los parámetros de costo (objetivos) y las trayectorias de todos los agentes (visibles y ocultos) basándose solo en las posiciones ruidosas de los agentes visibles.

• Formulación: Se plantea como un problema de máxima verosimilitud. Dado que las observaciones son ruidosas, se minimiza el error cuadrático entre las observaciones y las trayectorias estimadas.
• Restricción de Equilibrio: La estimación está sujeta a que las trayectorias y controles deben formar un Equilibrio de Nash de lazo abierto (OLNE). Esto se logra codificando las condiciones de Karush-Kuhn-Tucker (KKT) del juego como restricciones en el problema de optimización.
• Resultado: El algoritmo resuelve simultáneamente los parámetros de ponderación de los costos ($w$) y las trayectorias ($x$) de todos los agentes, incluso aquellos que no se ven.

B. Juego Contingente con Conciencia de Oclusión

Para la planificación, se introduce un juego contingente que maneja la incertidumbre sobre la existencia de agentes ocultos.

• Hipótesis: El agente planificador considera dos escenarios posibles ($\theta$):
  1. $\theta_1$: Existen agentes ocultos.
  2. $\theta_2$: No existen agentes ocultos.
• Estructura de Ramificación: El juego se divide en dos fases en un tiempo de ramificación $t_b$:
  • Antes de $t_b$ ($k < t_b$): El agente no sabe qué hipótesis es cierta. Debe elegir una única acción de control que equilibre ambos escenarios (minimizando el costo esperado ponderado por la creencia $b(\theta)$).
  • Después de $t_b$ ($k \ge t_b$): Se asume que la oclusión se ha resuelto (los agentes ocultos serán visibles). El agente selecciona la rama específica del plan basada en la verdad del escenario.
• Implementación: Se construye un juego más grande donde cada agente "duplica" a los otros agentes para representar cada hipótesis, resolviendo un equilibrio de Nash en este espacio expandido.

C. Pipeline de Estimación y Planificación en Horizonte Rodante

El sistema opera en bucle:

1. Estimación: En cada paso de tiempo, se utilizan las últimas $K$ observaciones para estimar los estados y parámetros de los agentes (visibles y ocultos) resolviendo el problema de inferencia descrito en (A).
2. Planificación: Con los estados estimados, se resuelve el juego contingente descrito en (B) para obtener la acción de control óptima.
3. Ejecución: Se ejecuta la primera acción del control y se actualiza el estado, repitiendo el proceso.

3. Contribuciones Clave

1. Estimador de Juegos con Conciencia de Oclusión: Un método que identifica simultáneamente los parámetros de costo desconocidos y estima las trayectorias de agentes ocultos y visibles, utilizando solo observaciones ruidosas de los agentes visibles.
2. Planificador de Juegos Contingentes: Una estrategia de planificación en horizonte rodante que gestiona explícitamente la incertidumbre sobre la existencia de agentes ocultos, fusionando estrategias para múltiples hipótesis hasta que la información se vuelve completa.
3. Validación Integral: Demostración mediante simulaciones de Monte Carlo que el enfoque mejora tanto la precisión de la estimación como la seguridad de la navegación en comparación con métodos que ignoran la oclusión.

4. Resultados Experimentales

Los autores evaluaron su método en tres escenarios de simulación:

• Interacción de 3 Agentes (Estimación):
  • Comparado con un baseline que ignora la oclusión (trata el problema como un juego de 2 agentes).
  • Resultado: El método propuesto estimó con mayor precisión los parámetros de costo y las trayectorias de los agentes visibles. Además, logró reconstruir con alta precisión la trayectoria del agente oculto, algo que el baseline no podía hacer.
• Escenario de Evitación de Colisiones (Planificación):
  • Se evaluó la distancia mínima entre agentes en escenarios de 4, 6 y 8 agentes.
  • Resultado: Los agentes con el planificador contingente actuaron de manera más conservadora antes de que la oclusión se resolviera, manteniendo distancias significativamente mayores de los agentes (tanto visibles como ocultos) en comparación con el baseline.
• Cruce de Carreteras (Estimación y Planificación):
  • Escenario realista con ruido de observación.
  • Resultado: El método propuesto identificó correctamente que el vehículo visible (rojo) frenaba debido a vehículos ocultos (naranjas). Esto llevó a una planificación más segura (frenado preventivo) antes de llegar al cruce.
  • Métricas: El método redujo el error de estimación de trayectoria (ADE) y aumentó la distancia mínima de seguridad en aproximadamente 1 metro respecto a los agentes inicialmente ocultos en comparación con el baseline.

5. Significado e Impacto

Este trabajo es significativo porque cierra una brecha crítica en la navegación autónoma: la capacidad de razonar sobre lo que no se ve.

• Seguridad Proactiva: Permite a los robots y vehículos autónomos anticipar riesgos de colisión con agentes ocultos basándose en el comportamiento indirecto de los agentes visibles (ej. un coche que frena repentinamente sugiere un obstáculo oculto).
• Robustez: Funciona eficazmente incluso con observaciones sensoriales ruidosas, lo cual es esencial para el mundo real.
• Marco General: La combinación de inferencia de juegos inversos con planificación contingente ofrece un marco teórico sólido para la toma de decisiones bajo incertidumbre estructural en entornos multiagente.

El artículo concluye que, aunque la evaluación se realizó en simulación, el enfoque tiene un alto potencial para ser adaptado a datos de sensores reales (LIDAR, cámaras) para su despliegue en tráfico urbano y navegación social.