Resumen Técnico: Distribuciones como Acciones: Un Marco Unificado para Espacios de Acción Diversos

Enunciado del Problema

Los algoritmos de aprendizaje por refuerzo (RL) se categorizan tradicionalmente según su idoneidad para estructuras específicas de espacios de acción. Los métodos basados en valores (por ejemplo, DQN) sobresalen en espacios discretos al enumerar los valores de las acciones, mientras que los métodos basados en políticas (por ejemplo, DPG, SAC) están diseñados para espacios continuos, aprovechando la diferenciabilidad de las funciones valor-acción. Sin embargo, los algoritmos actuales permanecen estrechamente acoplados a la estructura específica del espacio de acción. Diseñar algoritmos unificados que generalicen a través de espacios de acción discretos, continuos e híbridos es difícil, ya que a menudo se requieren diferentes estimadores de gradiente y arquitecturas para cada dominio. Además, los estimadores de gradiente de política existentes para políticas estocásticas, como los métodos de Razón de Verosimilitud (LR) y Reparametrización (RP), a menudo sufren de alta varianza o introducen sesgo, particularmente en configuraciones discretas.

Metodología

El Marco de Distribuciones como Acciones (DA)

El artículo introduce una formulación novedosa que redefine el límite entre el agente y el entorno. En el marco clásico de RL, la política del agente $\pi_\theta$ emite una acción (o parámetros de distribución) y muestrea la acción internamente. En el propuesto marco de Distribuciones como Acciones (DA):

1. El agente emite parámetros de distribución $\bar{\pi}_\theta(s)$ (por ejemplo, media y varianza para Gaussiana, vectores de probabilidad para categóricas) como su acción.
2. El proceso de muestreo $A \sim f(\cdot|\bar{\pi}_\theta(s))$ se trata como parte de la función de transición estocástica del entorno.

Esta transformación convierte el espacio de acción original $\mathcal{A}$ (que puede ser discreto, continuo o híbrido) en un continuo espacio de parámetros de distribución $\mathcal{U}$. En consecuencia, el agente opera dentro de un nuevo Proceso de Decisión de Markov (DA-MDP) con un espacio de acción continuo $\mathcal{U}$, independientemente de la naturaleza subyacente de $\mathcal{A}$.

Gradiente de Política de Distribuciones como Acciones (DA-PG)

Construyendo sobre el DA-MDP, los autores derivan el estimador DA-PG. Al aplicar el teorema del Gradiente de Política Determinista (DPG) al espacio de parámetros continuo $\mathcal{U}$, obtienen un estimador de gradiente:
$$\hat{\nabla}_\theta \hat{J}(\bar{\pi}_\theta; S_t) = \nabla_\theta \bar{\pi}_\theta(S_t)^\top \nabla_U \bar{Q}_w(S_t, U)|_{U=\bar{\pi}_\theta(S_t)}$$
donde $\bar{Q}_w$ es un crítico que estima el retorno esperado sobre la distribución de acción definida por los parámetros $U$.

Propiedades Teóricas:

• Reducción de Varianza: El artículo demuestra que DA-PG es la esperanza condicional de ambos estimadores LR y RP. Por la ley de la varianza total, esto resulta en una varianza estrictamente menor que los estimadores originales, siempre que la varianza condicionada a la acción o inducida por el ruido sea no nula.
• Unificación: Cuando la distribución es un delta de Dirac, DA-PG se reduce exactamente al estimador DPG estándar, estableciéndolo como una generalización estricta.

Aprendizaje de Crítico Interpolado (ICL)

Un desafío en el marco DA es que el crítico $\bar{Q}_w$ debe aprender sobre un espacio de entrada de mayor dimensión (parámetros de distribución), lo cual puede ser difícil y conducir a un sesgo aumentado si el crítico es inexacto. Para abordar esto, los autores proponen Aprendizaje de Crítico Interpolado (ICL).

• Mecanismo: En lugar de actualizar el crítico solo en los parámetros de distribución muestreados $U_t$, ICL utiliza la acción observada $A_t$ para inferir que la transición podría haber sido generada por otros parámetros de distribución.
• Implementación: El crítico se actualiza en un punto interpolado $\hat{U}_t = \omega_t U_t + (1-\omega_t) U_{A_t}$, donde $U_{A_t}$ representa los parámetros deterministas correspondientes a la acción observada $A_t$, y $\omega_t \sim \text{Uniforme}[0, 1]$.
• Objetivo: Esto fomenta que el crítico aprenda un paisaje de valores más suave con curvatura informativa, facilitando una mejor optimización de la política en el espacio de parámetros.

Algoritmo DA-AC

Los autores implementan un algoritmo práctico de RL profundo, Actor-Crítico de Distribuciones como Acciones (DA-AC), basado en la arquitectura TD3. DA-AC incorpora el estimador DA-PG para el actor y la actualización ICL para el crítico, permitiendo que un solo algoritmo maneje espacios de acción diversos.

Contribuciones Clave

1. Marco Unificado: Una reparametrización del problema de RL que trata los parámetros de distribución como acciones, unificando el control discreto, continuo e híbrido bajo un único algoritmo de acción continua.
2. Estimador DA-PG: Un estimador de gradiente de política generalizado con varianza teóricamente menor que los estimadores estándar LR y RP, aplicable a tipos arbitrarios de espacios de acción.
3. Estrategia ICL: Una técnica simple pero efectiva para mejorar el aprendizaje del crítico en el marco DA aprovechando actualizaciones fuera de distribución mediante interpolación.
4. Validación Empírica: Evaluación exhaustiva que muestra que DA-AC logra un rendimiento competitivo o superior en benchmarks de control continuo, discreto e híbrido en comparación con líneas base especializadas.

Resultados Experimentales

El artículo evalúa DA-AC en cuatro configuraciones distintas:

• Control Continuo: En tareas de MuJoCo y DeepMind Control Suite, DA-AC logra un rendimiento competitivo, a menudo superando a TD3 y otras líneas base, particularmente en entornos de alta dimensión.
• Control Discreto: En entornos de control clásico de Gym y MinAtar, DA-AC se desempeña de manera comparable a DQN y otras líneas base discretas fuertes.
• Control Discreto de Alta Dimensión: En versiones discretizadas de tareas de control continuo (por ejemplo, Humanoid-v4 con 17 dimensiones discretizadas en 7 contenedores), DA-AC supera significativamente a líneas base como ST-AC, LR-AC y PPO, donde otros métodos luchan con la explosión combinatoria o la alta varianza.
• Control Híbrido: En MDPs de Acción Parametrizada (PAMDPs), DA-AC logra resultados competitivos frente a algoritmos especializados como PATD3 y PDQN.

Estudios de Ablación:
Experimentos en configuraciones de bandidos y control discreto de alta dimensión demuestran que eliminar ICL (DA-AC sin ICL) conduce a un rendimiento significativamente peor, confirmando que ICL es crucial para aprender un crítico efectivo en el marco DA.

Significado y Afirmaciones

El artículo afirma que el marco Distribuciones como Acciones ofrece una manera principista de desacoplar el algoritmo de aprendizaje de la estructura específica del espacio de acción. Al desplazar el límite agente-entorno, permite la aplicación de métodos de gradiente de estilo determinista y baja varianza a problemas discretos e híbridos. Los autores enfatizan que este enfoque:

• Proporciona el primer estimador de estilo de reparametrización sin sesgo y de baja varianza para distribuciones discretas.
• Permite que un único marco algorítmico (DA-AC) maneje una amplia variedad de configuraciones de control sin necesidad de cambios arquitectónicos específicos del dominio.
• Demuestra que tratar el muestreo como parte del entorno puede simplificar el aprendizaje y abrir nuevas perspectivas algorítmicas, particularmente para espacios de acción híbridos complejos.

El trabajo sugiere que la investigación futura podría extender este marco a métodos basados en modelos, control jerárquico y estrategias de aprendizaje de críticos más avanzadas, pero la contribución actual se centra en establecer la viabilidad del marco a través del algoritmo DA-AC y su éxito empírico.