Resumen Técnico: Entrenamiento de Políticas de Control Observables para Exponer el Estado del Agente a través de las Acciones

Planteamiento del Problema

La colaboración eficaz entre agentes autónomos a menudo depende de la conciencia mutua del estado, lograda típicamente mediante la comunicación directa. Sin embargo, las restricciones físicas u operativas (por ejemplo, entornos submarinos, limitaciones de ancho de banda o incompatibilidad de hardware) frecuentan escenarios donde la comunicación es poco fiable o imposible. Si bien los Procesos de Decisión de Markov Parcialmente Observables (POMDP) ofrecen un marco teórico para manejar tal incertidumbre, sufren de problemas de escalabilidad y requieren el reentrenamiento de todos los agentes cuando los parámetros de la tarea cambian, lo que limita su practicidad en sistemas federados.

Un enfoque alternativo implica "desacoplar" a los agentes mediante la formulación explícita de un estimador para inferir el estado de otros agentes basándose en acciones observables. Dado que las acciones de control de los agentes suelen ser visibles sin comunicación explícita (por ejemplo, un avión realizando un viraje), las políticas de control estándar optimizadas únicamente para el rendimiento de la tarea carecen frecuentemente de "observabilidad". En tales casos, diferentes estados pueden producir secuencias de acciones idénticas (por ejemplo, un ángulo de viraje constante en una órbita circular), lo que hace que la reconstrucción del estado sea imposible o propensa a la divergencia. El problema central abordado es cómo entrenar una política de control que siga siendo efectiva para su tarea principal y que, simultáneamente, genere acciones que permitan a un observador externo reconstruir con precisión el estado del agente.

Metodología

Los autores proponen un marco donde una política de control se entrena utilizando Aprendizaje por Refuerzo (RL) con una función de recompensa que incorpora explícitamente el rendimiento de un estimador de estado.

Formulación del Agente y el Entorno

• Tarea: Un Sistema Aéreo No Tripulado (UAS) de ala fija debe rastrear un objetivo terrestre. El agente controla el ángulo de viraje ($\phi$) de la aeronave para mantener la proximidad al objetivo.
• Estado: El estado de decisión del agente consiste en la posición relativa ($x, y$) y la velocidad ($v_x, v_y$) con respecto al objetivo.
• Política: Una red neuronal mapea el estado a una distribución de pseudo-control (Gaussiana). La media es generada por la red, mientras que la varianza se mantiene fija para asegurar una exploración estable. El pseudo-control muestreado se mapea a un comando de ángulo de viraje mediante una función de saturación.
• Estimador: Se emplea un Filtro de Kalman Sinuscado (UKF) para estimar el estado del agente. El filtro utiliza la dinámica del sistema del agente y trata la política de control del agente como la función de medición. La "observación" es la acción de pseudo-control ($\tilde{u}$) generada por la política.

Inserción de la Recompensa (Reward Embedding)

Se entrenan y comparan dos políticas:

1. Política de Solo Tarea: Entrenada con una recompensa ($r_{task-only}$) que decae exponencialmente con la distancia al objetivo.
2. Política de Estimador Integrado: Entrenada con una recompensa aumentada ($r_{embedded}$) definida como:
   $$r = r_{task-only} + R(\hat{x}, x)$$
   donde $R(\hat{x}, x)$ es un término de recompensa que promueve acciones que minimizan el error entre el estado real ($x$) y el estado estimado ($\hat{x}$). Este término se formula como un decaimiento exponencial de la norma del error ponderado por una matriz de covarianza.

Al integrar el estimador dentro del bucle de entrenamiento, el agente de RL es incentivado a seleccionar acciones que no solo alcancen el objetivo de seguimiento, sino que también reduzcan la incertidumbre de la estimación del estado, optimizando efectivamente la observabilidad.

Análisis de Observabilidad

Los autores analizan la observabilidad utilizando dos métricas:

1. Matriz de Observabilidad Linealizada: Computada en cada paso de tiempo mediante una aproximación de serie de Taylor para evaluar la observabilidad local.
2. Matriz de Observabilidad Reducida (SOM): Construida mediante el apilamiento de matrices linealizadas sobre una trayectoria temporal para evaluar la observabilidad dinámica. Los valores singulares de estas matrices indican el grado en que el espacio de estados es observable.

Contribuciones Clave

1. Implementación del Estimador: Los autores implementan un estimador de estado que depende exclusivamente de la salida de la política de control (acciones) como observaciones, sin requerir telemetría de estado explícita.
2. RL para la Observabilidad: Demuestran un método para mejorar la observabilidad de las políticas de control mediante la inserción del rendimiento del estimador directamente en la función de recompensa de RL.
3. Validación del Rendimiento: A través de la Descomposición en Valores Singulares (SVD) de las matrices de observabilidad y simulaciones de Monte Carlo, muestran que las políticas resultantes mejoran significativamente el rendimiento del estimador con una degradación mínima de la tarea de seguimiento nominal.

Resultados

El estudio evaluó 14,500 episodios de simulación comparando las políticas de "Solo Tarea" y "Integrada".

• Rendimiento del Estimador: La política integrada superó significativamente a la política de solo tarea.
  • Error de Posición: En el nivel de rendimiento mediano, la política integrada redujo el error de posición por un factor de aproximadamente cuatro en comparación con la política de solo tarea. En el percentil 90, la política integrada mantuvo los errores por debajo de 10 m en el 90% de los casos, mientras que la política de solo tarea logró esto en solo el 60%.
  • Divergencia: La política de solo tarea exhibió una alta tasa de divergencia del filtro (aprox. 30% de los episodios), donde la estimación se alejaba significativamente del estado real. La política integrada mostró una divergencia insignificante.
  • Convergencia: Al excluir los casos divergentes, la política integrada demostró aún una reducción del 44.2% en el error de posición y una reducción del 32.1% en el error de velocidad en comparación con la política de solo tarea al final de la simulación.
• Rendimiento de la Tarea: La inclusión de la recompensa del estimador resultó en una "penalización" insignificante para la tarea de seguimiento primaria. La recompensa de seguimiento para la política integrada fue solo un 1.2% menor que la de la política de solo tarea en el percentil 80, lo que indica que se pueden lograr políticas observables sin sacrificar la eficacia nominal de la tarea.
• Métricas de Observabilidad:
  • Observabilidad Local: Ninguna política fue totalmente observable en ningún punto único del espacio de estados (los valores singulares más pequeños estaban cerca de cero).
  • Observabilidad Dinámica: El análisis de la SOM reveló que la política integrada generó trayectorias con valores singulares significativamente mayores a lo largo del tiempo. Específicamente, después de aproximadamente 50 segundos de datos, el valor singular más pequeño para el caso integrado aumentó de 0 a 1, indicando que la secuencia se volvió observable, mientras que el caso de solo tarea permaneció menos observable.

Significación y Reivindicaciones

El artículo sostiene que la integración de un estimador en el proceso de entrenamiento permite la generación de políticas de control que son "observables" por diseño. La principal significación radica en permitir la coordinación entre agentes autónomos en escenarios con comunicaciones limitadas. Al hacer que las acciones de control sean informativas sobre el estado interno del agente, los agentes pueden coordinarse basándose únicamente en la observación.

Los autores argumentan que el espacio de políticas es suficientemente complejo como para que se pueda seleccionar una política que satisfaga tanto el objetivo de la tarea como el objetivo de observabilidad sin compromisos significativos. Este enfoque ofrece una alternativa "desacoplada" a los POMDP totalmente integrados, permitiendo que los agentes sean entrenados y actualizados de forma independiente, siempre que sus políticas de control sean compartidas.

Además, el trabajo sugiere que las políticas observables podrían mejorar la colaboración entre humanos y sistemas autónomos. Si los sistemas autónomos actúan de maneras que hacen que su estado e intención sean más transparentes (observables) a través de sus acciones, los operadores humanos podrán comprender y anticipar mejor el comportamiento del sistema, mejorando la seguridad y la comodidad en operaciones mixtas. El artículo concluye que, si bien no resuelve completamente la coordinación humano-máquina, establece un método fundacional para hacer que la reconstrucción del estado a partir de las acciones sea factible y eficiente.