Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form Analysis

Resumen Técnico: El aprendizaje sufre más que la clase de la política bajo observabilidad parcial

Planteamiento del problema
En el aprendizaje por refuerzo (RL) con observabilidad parcial, los agentes suelen fallar al encontrar políticas óptimas. La sabiduría convencional atribuye esto a la brecha de la clase de la política (policy-class gap): la incapacidad de la capacidad representacional del agente (por ejemplo, políticas sin memoria) para capturar una buena política porque no puede observar el estado completo. Este artículo desafía esa visión demostrando que existe un modo de fallo distinto y mayor: la brecha de aprendizaje (learning gap). Esta es la discrepancia entre la mejor política que el agente puede representar y la política a la que el algoritmo de aprendizaje realmente converge. El autor argumenta que, incluso cuando existe una buena política dentro de la clase representacional del agente y el aproximador de la función de valor es teóricamente capaz de expresar la verdadera función de valor de forma exacta, la propia dinámica de aprendizaje introduce un sesgo que conduce al agente a un equilibrio subóptimo.

Metodología
El autor analiza un problema de control Gaussiano Lineal-Cuadrático (LQG) resoluble y parcialmente observado.

• Entorno: Un sistema bidimensional donde el agente observa y controla la coordenada $v$, mientras que una coordenada no observada $z$ impulsa a $v$. El estado no observado actúa como un núcleo de memoria.
• Algoritmo de aprendizaje: Un par actor-crítico estándar.
  • Crítico: Utiliza Diferencia Temporal (TD(0)) o Mínimos Cuadrados de TD (LSTD) con características cuadráticas $(1, v, v^2)$. Crucialmente, las verdaderas funciones de valor de este problema son cuadráticas, lo que significa que la clase de características es lo suficientemente expresiva para representar la verdadera función de valor de forma exacta si se observara el estado completo. La limitación es únicamente que las características se calculan a partir de la observación incompleta $v$.
  • Actor: Sigue el gradiente de la política utilizando las estimaciones de valor del crítico como línea base (baseline).
• Enfoque de análisis: El autor deriva expresiones en forma cerrada para el punto fijo del crítico y la dirección de actualización esperada del actor. Analiza el equilibrio de la actualización esperada (la "dinámica promediada") en lugar de depender únicamente de pruebas de convergencia estocástica, verificando estas predicciones numéricamente y mediante experimentos de RL profundo.

Contribuciones clave y resultados

1. Mecanismo exacto del fallo (El crítico con alias):
   La conclusión central es que la brecha de aprendizaje domina a la brecha de la clase de la política. En la configuración por defecto, la mejor política sin memoria cuesta solo un 10.4% más que el controlador ideal de estado completo. Sin embargo, el aprendiz actor-crítico converge a una política que es un 35% peor que esta mejor política sin memoria.

   • Mecanismo: En el régimen estacionario, el estado no observado equilibra la entrada de control en promedio, haciendo que la coordenada observada $v$ parezca fluctuar como un camino aleatorio. El crítico, restringido a funciones de $v$ únicamente, no puede atribuir esta persistencia al estado oculto. En consecuencia, atribuye erróneamente esta persistencia inexplicable a la curvatura de la función de valor.
   • Resultado: El crítico reporta una curvatura de valor (coeficiente de $v^2$) que es aproximadamente 15 veces mayor que la verdadera curvatura condicional. El actor, utilizando esta curvatura inflada como línea base, tiene el incentivo de aumentar la ganancia de control indefinidamente hasta que la curvatura inflada sea equilibrada por los costos de control, asentándose en una ganancia mucho mayor de la óptima.

2. Ley en forma cerrada para el equilibrio de aprendizaje:
   El autor deriva una fórmula exacta para la ganancia $k_{eq}$ en la que la actualización esperada se anula.

   • La ganancia de equilibrio es inversamente proporcional al periodo de muestreo $h$ y depende de la relación entre el ruido de exploración y la intensidad de retardo cero del núcleo de memoria ($\sigma = s_e / \Theta K(0)$).
   • A medida que la exploración desaparece, la ganancia de equilibrio se aproxima al límite de estabilidad del sistema de control muestreado.
   • Esta ubicación depende de la distribución de la perturbación (específicamente la estructura de segundo orden de la perturbación al cuadrado), no solo de su autocovarianza.

3. Ley en forma cerrada para el costo desplegado:
   A pesar de la ubicación incorrecta del equilibrio, el costo incurrido en este punto fijo es notablemente robusto.

   • El costo desplegado en el equilibrio de aprendizaje converge a $r C(0)$ (donde $r$ es el peso del costo de control y $C(0)$ es la autocovarianza de retardo cero de la perturbación).
   • Esta ley de costo es independiente de la distribución: se mantiene para cualquier perturbación estacionaria, ergódica y de media-cuadrado-continua, independientemente de si la perturbación es Gaussiana, de cola pesada o discreta (por ejemplo, ruido de telégrafo).
   • El autor demuestra que, si bien diferentes distribuciones de perturbación desplazan la ubicación del equilibrio (ganancia) por un factor de 3.4, el costo resultante permanece casi idéntico.

4. El horizonte de arranque (Bootstrap Horizon) como solución:
   El artículo identifica una única elección de diseño que elimina la patología: el horizonte de arranque (controlado por el parámetro $\lambda$ en los retornos $\lambda$).

   • El TD(0) estándar ($\lambda=0$) solo mira un paso hacia adelante, lo que conduce al equilibrio con alias.
   • A medida que $\lambda$ aumenta, el horizonte se extiende. El autor muestra cómo el equilibrio migra continuamente de vuelta hacia el óptimo de la clase de la política a medida que el horizonte coincide con la memoria del entorno.
   • La transición es brusca: aumentar $\lambda$ de 0.98 a 0.99 reduce el exceso de costo de ~30% a ~1.5%.

5. Validación mediante Aprendizaje por Refuerzo Profundo:
   Los experimentos utilizando Optimización de Política Próxima (PPO) con Perceptrones Multicapa (MLP) confirman las predicciones teóricas.

   • Independencia de la arquitectura: Añadir memoria mediante el apilamiento de fotogramas (frame stacking: observar los últimos 32 fotogramas) no ayuda. Los agentes con fotogramas apilados exhiben el mismo comportamiento con alias que los agentes sin memoria y la misma recuperación con $\lambda$ alto. Esto sugiere que tener la historia en la entrada es insuficiente; el algoritmo de aprendizaje debe utilizar eficazmente esa historia a través del horizonte de arranque.
   • Pruebas pre-registradas: El autor pre-registró los experimentos para descartar explicaciones alternativas, como el colapso del ruido de exploración aprendido o un efecto de umbral en la magnitud de la exploración. Estas hipótesis fueron refutadas; el fallo persiste incluso con un ruido de exploración fijo, y ningún umbral de exploración evita el desplazamiento.

Significado y Reivindicaciones
El artículo afirma proporcionar la primera caracterización exacta y en forma cerrada de cómo la observabilidad parcial sesga el aprendizaje actor-crítico, separando las limitaciones de la representación de las limitaciones de la regla de aprendizaje.

• Alcance modesto: El autor establece explícitamente que no prueba la convergencia de las iteraciones estocásticas hacia el punto fijo, sino que solo que la actualización esperada se anula allí y que las ejecuciones estocásticas siguen la trayectoria promediada (con un retraso).
• Limitaciones específicas: La ley de ubicación exacta se demuestra para perturbaciones Gaussianas; la ley de costo es independiente de la distribución. El artículo conjetura que la ley de ubicación depende de la estructura de segundo orden de la perturbación al cuadrado para casos no Gaussianos, pero no afirma haberlo probado de forma general.
• Implicación práctica: La principal conclusión es que en entornos de observabilidad parcial, simplemente aumentar la capacidad del modelo o añadir memoria de entrada (como el apilamiento de fotogramas) es insuficiente para corregir los fallos de aprendizaje. En su lugar, los profesionales deben ajustar el horizonte de arranque ($\lambda$) para que supere la memoria de la dinámica no observada del entorno.

El artículo concluye que la "brecha de aprendizaje" es una fuente de suboptimalidad distinta y a menudo mayor que la "brecha de la clase de la política", impulsada por la incapacidad del crítico para distinguir la persistencia del estado no observado de la curvatura de la función de valor.