Not all uncertainty is alike: volatility, stochasticity, and exploration

Resumen Técnico: No toda la incertidumbre es igual: volatilidad, estocasticidad y exploración

Enunciado del Problema
La toma de decisiones adaptativa tanto en la inteligencia biológica como en la artificial requiere equilibrar la explotación de resultados conocidos con la exploración de alternativas inciertas. Aunque trabajos anteriores generalmente postulan que un aumento en la incertidumbre impulsa un aumento en la exploración (por ejemplo, mediante el Límite Superior de Confianza o el Muestreo de Thompson), esta visión trata todas las fuentes de incertidumbre como equivalentes. Este artículo aborda entornos donde la incertidumbre surge de dos fuentes distintas: volatilidad (estados de recompensa latentes que varían con el tiempo) y estocasticidad (observaciones ruidosas de dichos estados). Ambas fuentes aumentan la incertidumbre posterior, sin embargo, los algoritmos estándar no logran distinguirlas, prescribiendo más exploración en ambos casos. El problema central es que esta prescripción uniforme es subóptima: la volatilidad crea oportunidades para la ganancia de información, mientras que la estocasticidad degrada la calidad de la información.

Metodología
Los autores abordan este problema a través de dos lentes teóricos principales:

1. Extensión del Marco del Índice de Gittins:
   Los autores extienden el clásico marco del índice de Gittins, tradicionalmente aplicado a bandits gaussianos independientes e idénticamente distribuidos (iid), a bandits de espacio de estados gaussianos con dinámicas latentes. En este escenario, cada brazo tiene un estado de recompensa latente $x_t$ que evoluciona como un paseo aleatorio gaussiano con varianza de innovación $v$ (volatilidad) y se observa a través de ruido con varianza $s$ (estocasticidad).

   • Formalizan la bonificación por exploración como el valor de la información derivado del "problema de jubilación" (un agente eligiendo entre tirar de un brazo o retirarse por un salario fijo).
   • Demuestran que la bonificación óptima por exploración es monótonamente creciente en la volatilidad ($v$) y monótonamente decreciente en la estocasticidad ($s$). Esto se establece mediante argumentos de acoplamiento: un canal de observación más ruidoso restringe el conjunto de reglas de parada disponibles (reduciendo el valor), mientras que una mayor volatilidad aumenta la dispersión de las medias posteriores futuras, mejorando el valor de la opción de tirar (aumentando el valor).

2. Derivación de CAUSE (Control-as-Inference):
   Reconociendo que el índice de Gittins es óptimo solo para bandits "descansados" (donde los brazos no seleccionados no evolucionan) y es intratable para entornos "inquietos", los autores derivan una política práctica y de forma cerrada utilizando el marco de control como inferencia.

   • Plantean la selección de acciones como inferencia posterior en un modelo gráfico probabilístico, condicionando la optimalidad futura.
   • Mediante el empleo de un ansatz sigmoide para el mensaje hacia atrás y el uso de aproximaciones probit para las convoluciones gaussiano-sigmoide, derivan CAUSE (Exploración Sensible a la Incertidumbre Consciente de la Causa).
   • CAUSE se descompone en un término de explotación (media actual) y una bonificación por exploración que depende explícitamente tanto de $v$ como de $s$, heredando las monotonicidades opuestas establecidas por el análisis de Gittins.

Contribuciones Clave

1. Asimetría Teórica: El artículo demuestra formalmente que las bonificaciones óptimas de exploración aumentan con la volatilidad pero disminuyen con la estocasticidad. Esto desafía la suposición estándar de que "más incertidumbre equivale a más exploración".
2. Índice CAUSE: La derivación de CAUSE, la primera política de índice de forma cerrada conocida para bandits inquietos con dinámicas gaussianas de estado continuo. Se deriva mediante control como inferencia y no depende de las aproximaciones típicas del índice de Whittle o de la programación dinámica sobre MDPs de estado de creencia.
3. Visión Unificada del Aprendizaje y la Exploración: Los autores demuestran que los efectos opuestos de la volatilidad y la estocasticidad sobre la exploración paralelan sus efectos conocidos sobre las tasas de aprendizaje. Ambos fenómenos surgen de las mismas propiedades normativas del modelo generativo: la volatilidad hace que las nuevas observaciones sean relevantes, mientras que la estocasticidad las hace poco fiables.
4. Análisis de Lesiones e Inferencia Patológica: El artículo modela agentes "lesionados" que fallan en inferir correctamente una fuente de ruido. Predice que tales fallos producen patrones conductuales revertidos (en lugar de meramente deteriorados). Por ejemplo, un agente insensible a la estocasticidad sobreexplorará en entornos de alto ruido (confundiendo el ruido con deriva), mientras que un agente insensible a la volatilidad subexplorará en entornos cambiantes.

Resultados Experimentales
Los autores evalúan CAUSE frente al Muestreo de Thompson, UCB, Muestreo Predictivo y una línea base numérica de Gittins por brazo en diversos regímenes:

• Bandits Inquietos Heterogéneos: En regímenes mixtos, dominados por estocasticidad y dominados por volatilidad, CAUSE logra la menor arrepentimiento acumulada. Notablemente, en el régimen dominado por estocasticidad, CAUSE y la línea base de Gittins por brazo reducen correctamente el peso de la exploración de brazos de alto ruido, mientras que UCB y el Muestreo de Thompson incurren en un arrepentimiento significativamente mayor al tratar la varianza posterior como una única cantidad.
• Estructura de Bonificación: La bonificación de forma cerrada de CAUSE rastrea estrechamente la forma de la bonificación óptima de Gittins a través de órdenes de magnitud de estocasticidad, mientras que UCB permanece insensible a la estocasticidad.
• Validación del Límite Descansado: En el límite donde la volatilidad es cero ($v=0$), el rendimiento de CAUSE es estadísticamente indistinguible del índice óptimo de Gittins calculado numéricamente, validando la precisión de las aproximaciones de control como inferencia.
• Análisis de Lesiones: Las simulaciones confirman que los agentes con priores de ruido mal calibrados exhiben los comportamientos de exploración revertidos predichos (por ejemplo, agentes ciegos a la estocasticidad sobreexploran a medida que aumenta la estocasticidad real).

Significado y Afirmaciones
El artículo afirma proporcionar una cuenta normativa unificada de cómo diferentes fuentes de incertidumbre deberían impulsar la exploración. Su significado principal radica en:

• Corrección de un Fallo Fundamental: Demuestra que las estrategias de exploración estándar son estructuralmente subóptimas en entornos con estructuras de ruido heterogéneas porque confunden la volatilidad y la estocasticidad.
• Psiquiatría Computacional: El marco ofrece un objetivo conductual concreto para investigar condiciones psiquiátricas (por ejemplo, ansiedad, psicosis, depresión). Sugiere que los comportamientos patológicos pueden no ser simplemente una exploración "deteriorada", sino una exploración "revertida", donde la dirección del error depende de qué canal de inferencia de ruido (volatilidad vs. estocasticidad) está mal calibrado.
• Avance Metodológico: Establece el control como inferencia como una ruta viable para derivar índices tratables y de forma cerrada para problemas de bandits inquietos, un escenario donde las políticas óptimas son generalmente intratables.

Los autores permanecen modestos respecto al alcance, señalando que el índice CAUSE de forma cerrada depende de la conjugación gaussiana y de aproximaciones específicas (probit/sigmoide), y que, aunque las predicciones direccionales pueden generalizarse, la forma exacta no se transfiere mecánicamente a dinámicas no gaussianas o de cambio de punto.