A Contractive Feedback Semantics for Reinforcement Learning

Resumen Técnico: Una Semántica de Retroalimentación Contractiva para el Aprendizaje por Refuerzo

Enunciado del Problema
El Aprendizaje por Refuerzo (RL) estándar se formaliza típicamente como programación dinámica sobre Procesos de Decisión de Markov (MDP) cerrados. En esta visión, una política se fija, se define un operador de Bellman y la función de valor se estudia como el punto fijo de dicho operador. Aunque efectivo, este enfoque oscurece la realidad estructural de que la transición de un paso es un componente abierto con interfaces de entrada/salida, un canal de recompensa y una continuación. El valor de horizonte infinito emerge únicamente cuando la continuación se retroalimenta al componente. Las teorías existentes a menudo carecen del lenguaje composicional para analizar rigurosamente si los reemplazos locales (por ejemplo, en sistemas modulares, filtros de estado de creencia o evaluaciones fuera de política) permanecen válidos dentro de sistemas circundantes arbitrarios. El artículo aborda la necesidad de una semántica que trate los componentes de RL como objetos abiertos y tipados donde la retroalimentación es explícita y composicional.

Metodología
El artículo propone una visión composicional donde un proceso de decisión de un paso se trata como un componente estocástico abierto, y la evaluación de políticas de horizonte infinito se obtiene cerrando un bucle de retroalimentación contractiva. La metodología se basa en tres principios semánticos:

1. Principio de Retroalimentación: El valor de horizonte infinito es el resultado de retroalimentar una salida de continuación a un componente de un paso. El descuento hace que esta retroalimentación sea "protegida" (contractiva), asegurando que el valor de bucle cerrado esté definido de manera única por el teorema del punto fijo de Banach.
2. Principio Contextual: Los componentes se comparan en sus interfaces. Si dos componentes inducen transformadores tipados cercanos, su diferencia debe permanecer controlada después de su inserción en un circuito de decisión más grande.
3. Principio de Contrato: Los requisitos de corrección (seguridad, riesgo, recursos) son cotas superiores en un álgebra ordenada. Estas cotas deben componerse localmente, elevándose de subcomponentes a sistemas cableados más grandes mediante transformadores monótonos y puntos fijos mínimos.

El desarrollo técnico utiliza:

• Capa Estocástica: Núcleos de Markov como morfismos en la categoría Stoch.
• Capa de Valor (Métrica): Espacios de Banach de funciones medibles acotadas ($B(S)$) para retornos aditivos descontados, utilizando contracción $\gamma$.
• Capa de Valor (Orden): Retículos completos enriquecidos por cuantales para garantías ordenadas (riesgo, seguridad), utilizando aplicaciones monótonas $\omega$-continuas.
• Semántica de Trazas: Una "traza de Banach protegida" donde la operación de traza se define solo para aplicaciones cuyo cable de retroalimentación es uniformemente contractivo, realizado como un punto fijo único.

Contribuciones y Resultados Clave

1. Semántica de Trazas de Bellman Protegidas:
   El artículo formula componentes de decisión descontados abiertos (ODDC) y demuestra que la evaluación de políticas es la traza de Banach protegida de un circuito de retroalimentación admisible. No asume una operación de traza global sobre aplicaciones arbitrarias; más bien, restringe la traza a la clase admisible de circuitos protegidos donde el factor de descuento asegura la contracción.

2. Composicionalidad Tipada:
   Los autores demuestran que las operaciones de cableado corresponden a operaciones estructurales sobre transformadores de Bellman:

   • Cableado en Serie: Corresponde a la composición de funciones de transformadores de continuación, con un registro explícito del descuento (las recompensas de etapas posteriores se descuentan más profundamente).
   • Cableado en Paralelo: Corresponde al tensor (producto) de transformadores, preservando estructuras de valor aditivas/separables bajo independencia.
   • Retroalimentación: Corresponde a una traza de punto fijo protegida.

3. Equivalencia Contextual (Congruencia):
   El artículo define una métrica de operador sobre bolas de valor invariantes y demuestra que la equivalencia aproximada se preserva por contextos lineales bien tipados admitidos (contextos donde el "hueco" se utiliza exactamente una vez).

   • Resultado: Si dos componentes tienen un error de operador local $\epsilon$, el error en el valor final de punto fijo del circuito compuesto está acotado por $L(C) \cdot \frac{1}{1-\kappa(C)} \cdot \epsilon$, donde $L(C)$ es la ganancia del contexto y $\kappa(C)$ es el módulo de contracción. Esto proporciona constantes de sensibilidad explícitas y computables para la propagación de errores.

4. Abstracción Coalgébrica:
   El marco se conecta con la teoría de representaciones tratando los MDP como coalgebras.

   • Abstracción Exacta: Demuestra que los homomorfismos conmutativos (que preservan recompensas y núcleos de transición) producen una preservación exacta del valor mediante entrelazamiento de operadores.
   • Abstracción Aproximada: Cuantifica la distorsión del valor bajo conmutación aproximada (desajuste de recompensa acotado y desajuste de transición en variación total), proporcionando cotas explícitas en norma sup que se propagan a través de contextos de circuito.

5. Contratos de Cuantales:
   El artículo introduce una capa para especificaciones de seguridad, riesgo y recursos utilizando contratos con valores en cuantales.

   • Resultado: Bajo semánticas de transformadores de contrato monótonas y $\omega$-continuas, las cotas inductivas locales (puntos pre-fijos) se elevan a través de cableado en serie, paralelo y retroalimentación hasta garantías globales mediante razonamiento de punto fijo mínimo. Esto separa el razonamiento de punto fijo métrico (para recompensas) del razonamiento de teoría del orden (para restricciones).

6. Extensiones y Comprobaciones de Sanidad:
   Se demuestra que el marco cubre:

   • Levantamiento de estado de creencia: Los MDP parcialmente observables (POMDP) se tratan como un levantamiento del objeto de estado al espacio de creencias, aplicando la misma semántica de punto fijo.
   • Evaluación fuera de política: Los cambios de medida de trayectoria se analizan como cambios composicionales de medida, con derivadas de Radon–Nikodym que se factorizan bajo descomposiciones de circuito específicas.
   • No estacionariedad: Los operadores variables en el tiempo se rastrean mediante métricas de deriva de operadores, produciendo cotas sobre el error de seguimiento de punto fijo.

Significado y Afirmaciones
El artículo afirma explícitamente no ser un nuevo algoritmo de aprendizaje, un estudio empírico ni una propuesta de una categoría monoidal trazada global para todos los morfismos de RL. En cambio, su significado radica en un replanteamiento teórico de la semántica de RL en torno a la retroalimentación contractiva.

La afirmación central es que la evaluación descontada de Bellman admite una semántica de retroalimentación contractiva en la clase admisible de circuitos protegidos. Esta perspectiva produce:

• Congruencia Contextual: Los errores de operador locales permanecen controlados en circuitos circundantes, con cotas explícitas.
• Cotas de Abstracción Explícitas: La preservación y distorsión del valor se derivan de propiedades de conmutación coalgébrica.
• Seguridad Composicional: Las especificaciones de seguridad y riesgo pueden verificarse localmente y elevarse de manera composicional.

El artículo argumenta que esta visión expone la estructura composicional suprimida por la notación estándar de MDP cerrados, proporcionando una base rigurosa para sistemas de decisión modulares, filtrado de estado de creencia y evaluación fuera de política donde los reemplazos locales deben validarse dentro de contextos arbitrarios.