Resumen Técnico: Agentes de Aprendizaje por Refuerzo Infra-Bayesiano Superan al RL Clásico en Robustez para el Peor Caso

1. Declaración del Problema

El Aprendizaje por Refuerzo (RL) clásico y el RL Bayesiano operan bajo la suposición de que un agente interactúa con un entorno fijo, típicamente modelado como un Proceso de Decisión de Markov (MDP) o una posteriori Bayesiana sobre dichos modelos. Este marco asume realizabilidad: el entorno real (o un modelo suficientemente preciso del mismo) existe dentro de la clase de hipótesis del agente.

Sin embargo, esta suposición falla en escenarios no realizables, particularmente aquellos relevantes para la seguridad de la IA y la agencia incrustada. En estos entornos:

• Dependencia de la Política: Otros actores (predictores, humanos, instituciones) anticipan la política del agente y responden a ella, en lugar de responder solo a sus acciones realizadas.
• Incertidumbre Knightiana: El agente enfrenta ambigüedad donde no existen fundamentos para construir una distribución de probabilidad previa precisa sobre los mundos posibles.
• Especificación Incorrecta del Modelo: El mundo real contiene sistemas de complejidad comparable o mayor que la del agente, haciendo imposible que cualquier clase de hipótesis tratable contenga una descripción completa del entorno.

Bajo estas condiciones, los métodos Bayesianos clásicos pueden producir posteriors "confiadamente erróneos", lo que lleva a decisiones poco fiables y arrepentimiento ilimitado. Los agentes RL estándar basados en valores pueden no converger a políticas óptimas en entornos dependientes de la política (por ejemplo, el problema de Newcomb), a menudo convergiendo solo a políticas ratificables.

2. Metodología: Aprendizaje por Refuerzo Infra-Bayesiano (IBRL)

El artículo presenta una implementación de prueba de concepto de una arquitectura de Aprendizaje por Refuerzo Infra-Bayesiano (IBRL) diseñada para problemas de decisión sin estado y con resultados finitos. A diferencia de los agentes clásicos que mantienen una distribución posterior sobre MDPs, el agente IB mantiene un conjunto de hipótesis imprecisas representadas como infradistribuciones.

Objetos Matemáticos Centrales

• a-medidas (Medidas Afines): El bloque fundamental es una a-medida $a = (\lambda\mu, b)$, donde:
  • $\mu$ es una medida de probabilidad sobre historias de observaciones (representando la incertidumbre estocástica ordinaria).
  • $\lambda \ge 0$ es un factor de escala.
  • $b \ge 0$ es un término de desplazamiento.
  • La evaluación de una función de retorno acotada $f$ viene dada por $a(f) = \lambda E_\mu[f] + b$.
  • El desplazamiento $b$ preserva el valor de las ramas del árbol de historias descartadas por las observaciones, asegurando consistencia dinámica.
• Infradistribuciones ($\Psi$): Un conjunto de a-medidas admisibles. El agente evalúa una política mediante su esperanza inferior:
  $$E_\Psi[f] = \inf_{a \in \Psi} a(f)$$
  Esto representa el valor garantizado contra el miembro menos favorable admisible de la clase de hipótesis.
• Tipos de Mezcla:
  • Mezcla Clásica (Bayesiana): Una combinación ponderada de infradistribuciones ($\sum w_i \Psi_i$), representando incertidumbre que puede promediarse.
  • Mezcla Knightiana: Una unión de conjuntos de infradistribuciones sin pesos, representando ambigüedad donde el valor está determinado por el componente menos favorable.

Componentes Algorítmicos

1. Representación: El agente almacena solo los puntos mínimos extremales de la infradistribución (análogo a los vértices de un polítopo convexo), asegurando la tratabilidad computacional.
2. Modelos del Mundo: La implementación admite representaciones comprimidas específicas para:
   • Bandidos Bernoulli: Historias representadas como pares $(N, R)$; medidas como conjuntos de pares $(c_i, p_i)$.
   • Problemas tipo Newcomb: El modelo del mundo contiene la matriz completa de recompensas y la precisión del predictor; no ocurre aprendizaje de estados internos ya que la estructura es conocida.
3. Proceso de Decisión:
   • El agente discretiza el espacio de políticas $\Pi$.
   • Calcula la esperanza inferior para cada política: $E_{\Psi(\pi)}[f] = \inf_{a \in \Psi(\pi)} a(f)$.
   • Selecciona la política $\pi^*$ que maximiza esta esperanza inferior (estrategia Maximin).
4. Regla de Actualización: Al observar un evento $L$, el agente realiza una actualización estilo IB:
   • Restringe la medida $\mu$ a la rama observada ($\mu_L$).
   • Transfiere el valor esperado de las ramas no observadas al término de desplazamiento $b$: $(\lambda\mu, b) \to (\lambda\mu_L, b + \lambda\mu((1-L)g))$.
   • Renormaliza la infradistribución.
   • Debido a la linealidad de la actualización, no se crean nuevos puntos extremales; solo se actualizan los existentes.

3. Contribuciones Clave

1. Primera Implementación de Prueba de Concepto: Los autores formulan e implementan una arquitectura IBRL de resultados finitos basada en a-medidas, infradistribuciones y actualizaciones estilo IB.
2. Recuperación del Comportamiento Clásico: Se demuestra que la arquitectura recupera el comportamiento Bayesiano ordinario en el caso degenerado donde cada infradistribución tiene un único punto mínimo y toda la incertidumbre es clásica.
3. Rendimiento en el Peor Caso: Demostración empírica de que un agente IB logra un menor arrepentimiento en el peor caso que un agente Bayesiano clásico en entornos con incertidumbre Knightiana.
4. Toma de Decisiones Óptima Dependiente de la Política: Demostración de que el agente IB obtiene recompensas óptimas en entornos tipo Newcomb, superando a los agentes de teoría de decisión clásica (Causal y Evidencial) que no logran capturar la estructura causal correcta o converger a políticas óptimas.

4. Resultados Experimentales

A. Incertidumbre Knightiana (Bandidos Adversarios)

• Configuración: Un bandido Bernoulli de dos brazos donde las probabilidades de recompensa $p_1 \in [0.3, 0.7]$ y $p_2 \in [0.4, 0.8]$ son elegidas de forma adversaria o dependiente del tiempo. El agente conoce solo las restricciones, no las probabilidades específicas.
• Agente Clásico: Debe asumir una previa precisa (por ejemplo, masas puntuales en las esquinas). El comportamiento es altamente sensible a esta elección arbitraria de previa.
• Agente IB: Representa las restricciones de intervalo directamente como incertidumbre Knightiana. Identifica el entorno del peor caso $(p_1=0.3, p_2=0.4)$ y selecciona consistentemente el Brazo 2, garantizando una recompensa promedio de 0.4.
• Resultado: El agente IB logra un menor arrepentimiento en el peor caso en comparación con el agente clásico. El agente IB se niega correctamente a "aprender" de patrones potencialmente adversarios que podrían parecer atractivos pero no son robustos.

B. Entornos Dependientes de la Política (Problema de Newcomb)

• Configuración: Una variante del problema de Newcomb con un predictor imperfecto de precisión $\alpha$. El agente elige una política para elegir una caja con probabilidad $p$.
• Resultado: El agente IB selecciona consistentemente la política óptima basada en la precisión del predictor:
  • Para $\alpha > 0.55$, elige una caja (óptimo).
  • Para $\alpha < 0.55$, elige dos cajas (óptimo).
• Comparación: Los agentes de Teoría de Decisión Causal eligen dos cajas independientemente de la precisión (perdiendo grandes recompensas), mientras que los agentes de Teoría de Decisión Evidencial eligen una caja pero por razones que pueden fallar en otras estructuras causales. El agente IB selecciona la acción óptima por las razones estructurales correctas.

5. Significado y Afirmaciones

El artículo afirma que este trabajo cierra la brecha entre la promesa formal del Infra-Bayesianismo (razonamiento robusto bajo no realizabilidad) y la implementación práctica de agentes.

• Robustez por Diseño: Los resultados sugieren que para agentes que operan en entornos con especificación incorrecta o dependientes de la política, optimizar para garantías del peor caso (mediante esperanzas inferiores) proporciona una robustez que carece la optimización del caso promedio (RL Bayesiano).
• Distinción de la Incertidumbre: La implementación demuestra concretamente que distinguir entre incertidumbre probabilística clásica e incertidumbre Knightiana conduce a comportamientos de agentes fundamentalmente diferentes y más seguros.
• Paso Fundamental: Si bien la implementación actual se limita a resultados finitos y espacios de hipótesis pequeños, sirve como un paso necesario hacia sistemas de RL que permanezcan robustos bajo especificación incorrecta del modelo. Los autores señalan que los límites de arrepentimiento para su agente IB son lineales (una mejora sobre el RL clásico en estos escenarios no realizables específicos, aunque aún no sublineales), y que escalar a espacios continuos y procesos de múltiples pasos sigue siendo un desafío abierto para trabajos futuros.

El artículo concluye que el IBRL ofrece un camino viable hacia agentes que pueden razonar efectivamente cuando se viola la suposición de "grano de verdad" del RL Bayesiano clásico.