Diffusion Policy with Bayesian Expert Selection for Active Multi-Target Tracking

Resumen Técnico: Selección de Expertos Bayesiana para Políticas de Difusión

1. Planteamiento del Problema

El seguimiento activo de múltiples objetivos requiere que un robot móvil navegue autónomamente para mantener estimaciones de estado precisas de varios objetivos en movimiento, bajo restricciones de campo de visión limitado. El desafío central es el dilema exploración-explotación:

• Exploración: Navegar hacia regiones no observadas para descubrir objetivos nuevos o perdidos.
• Explotación: Seguir objetivos detectados para reducir la incertidumbre en su estimación.

Las estrategias óptimas dependen del estado de creencia actual del robot y son inherentemente multimodales (diferentes situaciones requieren comportamientos cualitativamente distintos).

• Limitaciones de los enfoques actuales:
  • Los métodos tradicionales (aprendizaje por refuerzo, planificación basada en información) suelen producir políticas unimodales que promedian los modos o colapsan a una sola estrategia dominante.
  • Las políticas de difusión (como MATT-Diff) han demostrado ser poderosas para capturar distribuciones de acción multimodales aprendiendo de demostraciones de expertos. Sin embargo, la selección del modo de comportamiento en estas políticas es implícita y estocástica (determinada por el ruido en el proceso de denoising), careciendo de un mecanismo principiado para seleccionar la estrategia correcta basándose en la incertidumbre del estado actual.
  • Los métodos existentes de Mixture of Experts (MoE) utilizan puertas (gating) softmax que solo ofrecen estimaciones puntuales, sin cuantificar la incertidumbre sobre la fiabilidad de la selección.

2. Metodología Propuesta

Los autores proponen un marco que desacopla la selección de la estrategia de la generación de la acción, formulando la selección de expertos como un problema de banda contextual offline (offline contextual bandit).

A. Arquitectura General:

1. Generador de Acciones (Política de Difusión): Se utiliza un modelo de difusión condicional (DDPM) que genera secuencias de acciones basadas en:

   • Un codificador de observaciones (mapas de ocupación y creencias de objetivos).
   • Un embedding de un experto seleccionado ($k$).
   • Esto permite que la misma red base genere comportamientos cualitativamente diferentes según el experto condicionado.

2. Selector de Expertos (Banda Contextual Offline):

   • En lugar de elegir un experto al azar o mediante una puerta determinista, el sistema predice el rendimiento esperado de cada experto dado el estado actual.
   • Modelo de Predicción (VBLL): Se emplea una red con Capa Bayesiana Variacional (Variational Bayesian Last Layer - VBLL).
     • Se entrena un "cabeza" (head) VBLL separado para cada experto.
     • Predice la recompensa esperada (negativa del NLL de seguimiento) y su incertidumbre predictiva en una sola pasada hacia adelante.
   • Criterio de Selección (LCB): Se aplica el principio de pesimismo (pessimism) típico del aprendizaje por refuerzo offline.
     • Se selecciona el experto que maximiza el Límite Inferior de Confianza (Lower Confidence Bound - LCB):
       $$LCB_k = \hat{r}_k - \lambda \cdot \sigma_k$$
     • Donde $\hat{r}_k$ es la recompensa predicha, $\sigma_k$ es la incertidumbre (desviación estándar) y $\lambda$ es un coeficiente de pesimismo.
     • Esto penaliza a los expertos con alta incertidumbre (poca cobertura en los datos de entrenamiento), evitando sobreconfianza en regiones del espacio de estados no vistas.

3. Contribuciones Clave

1. Identificación de una limitación crítica: Se señala que las políticas de difusión actuales carecen de mecanismos para la adaptación de estrategias consciente de la incertidumbre, dependiendo de la aleatoriedad del muestreo.
2. Formulación novedosa: Se plantea la selección de expertos para políticas de difusión como un problema de banda contextual offline, uniendo la literatura de bandas contextuales y políticas de difusión.
3. Algoritmo práctico: Desarrollo de un algoritmo que combina:
   • VBLL para la predicción de rendimiento con estimación de incertidumbre eficiente (una sola pasada).
   • Criterio LCB para una selección conservadora y robusta frente a la incertidumbre.
4. Validación empírica: Demostración de que la selección explícita y consciente de la incertidumbre supera tanto a la selección implícita (ruido) como a los métodos de puerta determinista estándar.

4. Resultados Experimentales

Los experimentos se realizaron en escenarios de seguimiento indoor simulados con 3 a 6 objetivos en movimiento. Se comparó el método propuesto (VBLL) contra:

• Línea base: MATT-Diff (selección implícita).
• Métodos deterministas: Selección MoE (softmax) y Regresión MLP (sin incertidumbre).
• Métodos de incertidumbre alternativos: MC Dropout y Neuralbandit.
• Expertos fijos y aleatorios.

Hallazgos principales:

• Superioridad sobre selección implícita: VBLL supera consistentemente a MATT-Diff en todas las métricas (RMSE, NLL, Entropía), demostrando que la selección guiada por el estado de creencia es superior a la aleatoriedad.
• Importancia de la incertidumbre: Los métodos deterministas (MoE, MLP) apenas mejoran la línea base. VBLL supera significativamente a la regresión determinista, confirmando que la cuantificación de la incertidumbre es crucial para la selección de expertos.
• Adaptabilidad vs. Fijos: VBLL supera a cualquier experto fijo o selección aleatoria, demostrando que la ganancia proviene de la adaptación contextual y no solo de la diversidad de expertos.
• Eficiencia computacional: A diferencia de MC Dropout (que requiere 20 pasadas), VBLL requiere solo una pasada, manteniendo una latencia de inferencia muy baja (~16 ms), comparable a la política de difusión base y adecuada para control en tiempo real.
• Ablación: Se demostró que el uso del criterio LCB (pesimismo) es superior a la selección greedy (solo media) o UCB (optimista), validando la necesidad de ser conservador en entornos offline.

5. Significado e Impacto

Este trabajo aborda una brecha fundamental en el aprendizaje por imitación y el control robótico: cómo seleccionar de manera robusta entre comportamientos complejos y multimodales cuando la confianza en la predicción es variable.

• Seguridad y Robustez: Al incorporar el pesimismo, el sistema evita comprometerse con estrategias que podrían fallar en estados no vistos durante el entrenamiento, lo cual es vital para la seguridad en robótica.
• Eficiencia: Proporciona un marco que no sacrifica la velocidad de inferencia (crítica para robots móviles) por la capacidad de cuantificar la incertidumbre.
• Generalización: La metodología de desacoplar la selección de la generación de acciones mediante una banda contextual offline puede aplicarse a otros dominios de robótica donde se requieren múltiples comportamientos especializados.

En conclusión, el artículo presenta un avance significativo hacia políticas de difusión más inteligentes y seguras, capaces de adaptar dinámicamente su estrategia de seguimiento basándose en una evaluación rigurosa de la incertidumbre y el rendimiento esperado.