Dynamic distortion of inferred reward probability shapes choice over time

Este estudio demuestra que las decisiones basadas en el tiempo y la recompensa se rigen por dos principios computacionales interactivos: una distorsión dinámica de la probabilidad de recompensa inferida y una precisión temporal modulada por dicha recompensa, lo que desafía las escalas tradicionales de Weber.

Lo esencial

Imagina que estás en una fiesta y tienes que decidir si acercarte a alguien para hablar o quedarte donde estás. La regla no es fija: depende de cuándo te muevas.

• Si te acercas muy rápido (al principio de la canción), es probable que la persona esté aburrida y te ignore (baja recompensa).
• Si esperas demasiado (al final de la canción), la persona se habrá ido o estará hablando con otro (también baja recompensa).
• Hay un momento perfecto en medio donde es más probable que te contesten amablemente (alta recompensa).

El problema es que no tienes un reloj en la mano ni un letrero que diga "¡Ahora es el momento!". Tienes que adivinar cuánto tiempo ha pasado y, basándote en eso, calcular tus posibilidades de éxito.

Este estudio de los científicos Grabenhorst y Maloney explora exactamente cómo funciona nuestro cerebro en situaciones como esta. Aquí te lo explico con una analogía sencilla:

1. El juego de "Adivina el momento"

En el experimento, los participantes veían una señal de advertencia y luego una señal para actuar ("¡YA!"). El tiempo entre ambas señales cambiaba aleatoriamente.

• La opción A era buena al principio, pero se volvía mala con el tiempo.
• La opción B era mala al principio, pero se volvía buena con el tiempo.

El cerebro tenía que hacer dos cosas difíciles al mismo tiempo:

1. Sentir el tiempo: "¿Cuánto ha pasado desde la primera señal?" (Esto es difícil porque no tenemos un reloj interno perfecto).
2. Calcular la suerte: "Dado el tiempo que creo que ha pasado, ¿cuál es mi probabilidad de ganar?"

2. La primera sorpresa: No somos robots, somos "exageradores"

Lo lógico sería pensar que, si crees que tienes un 60% de probabilidad de ganar, elegirás esa opción el 60% de las veces. Pero el estudio descubrió que no hacemos eso.

En su lugar, nuestro cerebro distorsiona las probabilidades de una manera muy curiosa:

• Si la probabilidad es baja (ej. 20%), nuestro cerebro la hace parecer aún más baja (casi 0%).
• Si la probabilidad es alta (ej. 80%), nuestro cerebro la hace parecer aún más alta (casi 100%).

La analogía del "Amplificador de Volumen":
Imagina que tus probabilidades de ganar son canciones en una radio. En lugar de escucharlas a volumen real, tu cerebro tiene un control de volumen que las exagera.

• Si la canción es un susurro (poca probabilidad), tu cerebro la pone en silencio total ("¡No vale la pena!").
• Si la canción es fuerte (alta probabilidad), tu cerebro la pone al máximo ("¡Es una oportunidad segura!").

Esto hace que nuestras decisiones sean más claras y decisivas. En lugar de dudar entre dos opciones, el cerebro empuja la decisión hacia un lado o hacia el otro, acercándose a la estrategia perfecta (elegir siempre la mejor opción) sin necesitar ser un genio matemático.

3. La segunda sorpresa: El tiempo es flexible según lo que ganas

La teoría clásica decía que nuestro sentido del tiempo es como un reloj de arena: cuanto más tiempo pasa, más impreciso se vuelve (como si el reloj se volviera borroso).

Pero este estudio descubrió algo nuevo y fascinante: Nuestra precisión temporal depende de lo que hay en juego, no del tiempo en sí.

La analogía de la "Lupa de Recompensa":
Imagina que tienes una lupa mágica para ver el tiempo.

• Si en un momento específico hay mucha probabilidad de ganar (es un momento crucial), tu lupa se enfoca perfectamente. Ves el tiempo con mucha claridad y precisión.
• Si en un momento hay poca probabilidad de ganar (es un momento aburrido), tu lupa se desenfoca. Te vuelves más lento y menos preciso.

El cerebro no pierde precisión simplemente porque pasa el tiempo; pierde precisión porque no le importa ese momento. Si hay una gran recompensa esperada, el cerebro se despierta y mide el tiempo con exactitud.

¿Qué nos dice todo esto?

El estudio nos revela dos principios secretos que usa nuestro cerebro para tomar decisiones en un mundo incierto:

1. Exageramos lo importante: Transformamos las probabilidades para tomar decisiones más firmes. No somos calculadoras frías; somos "amplificadores" que nos ayudan a decidir rápido.
2. Nos enfocamos en lo valioso: Nuestra percepción del tiempo se afina cuando hay algo bueno por ganar. No seguimos un reloj mecánico, seguimos un reloj motivado por la recompensa.

En resumen:
Cuando tienes que decidir algo basado en el tiempo y la suerte, tu cerebro no intenta ser perfecto. En su lugar, exagera las señales buenas y malas para tomar decisiones claras, y ajusta su reloj interno para ser más preciso justo en los momentos donde vale la pena ganar. ¡Es un sistema brillante para sobrevivir en un mundo donde las cosas cambian constantemente!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Distorsión dinámica de la probabilidad de recompensa inferida moldea la elección a lo largo del tiempo

Autores: Matthias Grabenhorst y Laurence T. Maloney.

---

1. Planteamiento del Problema

El estudio aborda un régimen de toma de decisiones donde la probabilidad de recompensa no es fija, sino que varía dinámicamente en función del tiempo transcurrido desde una señal de advertencia. En estos escenarios:

• Incertidumbre Dual: El agente debe inferir simultáneamente dos variables latentes: el tiempo transcurrido (que no se observa directamente, sino que se estima internamente) y la estructura de recompensa asociada a ese momento temporal.
• Limitación de los Modelos Existentes: Los marcos computacionales actuales, como los modelos de acumulación de evidencia o el aprendizaje por refuerzo, suelen tratar la inferencia temporal y la inferencia de recompensa como procesos separados. No están diseñados para manejar la falta de evidencia sensorial continua entre eventos, donde la elección depende de estimaciones internas de tiempo y probabilidad de recompensa acopladas.
• Hipótesis en Conflicto:
  1. Escalado de Weber (Blurring Temporal): La incertidumbre en la estimación del tiempo aumenta linealmente con la duración transcurrida, independientemente de la recompensa.
  2. Escalado Contingente a la Recompensa (Blurring Probabilístico): La precisión temporal está modulada por la probabilidad de recompensa esperada; los momentos de alta recompensa se representan con mayor precisión que los de baja recompensa.

2. Metodología

• Tarea Experimental: Se utilizó una tarea visual de "Set-Go" (Configuración-Ir).
  • Estímulos: Una señal de "Set" seguida de una señal de "Go" después de un intervalo aleatorio ($t$) extraído de una distribución uniforme entre 0.4 y 1.4 segundos.
  • Elección: Al aparecer el "Go", los participantes debían elegir entre dos botones (Izquierda o Derecha).
  • Estructura de Recompensa: La probabilidad de recompensa para la opción "Izquierda" disminuía linealmente con el tiempo, mientras que para la "Derecha" aumentaba. Ambas sumaban 1 en cada punto temporal.
  • Condiciones: Se probaron cuatro condiciones con diferentes curvas de probabilidad y puntos de cruce (donde $P(R|I) = P(R|D) = 0.5$).
• Participantes: 12 adultos sanos realizaron múltiples bloques de ensayos (total de ~31,931 ensayos analizados).
• Modelado Computacional:
  • Se propuso un Operador Lineal de Log-Odds Dinámico (DLLO) para mapear la probabilidad objetiva de recompensa ($p(t)$) a la probabilidad subjetiva de elección ($\pi(p(t))$).
  • La transformación se define en el espacio de log-odds:
    $$DLLO(\pi(p(t))) = \gamma \cdot Lo(p(t)) + (1 - \gamma) \cdot Lo(p_0)$$
    Donde $\gamma$ es el parámetro de pendiente (grado de distorsión) y $p_0$ es el punto fijo (donde la probabilidad subjetiva iguala a la objetiva).
  • Comparación de Modelos: Se compararon tres variantes del modelo DLLO:
    1. Sin difuminado: Sin incertidumbre temporal.
    2. Difuminado Temporal: La incertidumbre ($\sigma$) escala linealmente con el tiempo ($\sigma = \varphi \cdot t$), siguiendo la Ley de Weber.
    3. Difuminado Probabilístico: La incertidumbre ($\sigma$) escala inversamente con la probabilidad de recompensa (mayor precisión donde la recompensa es alta).

3. Contribuciones Clave

1. Formalización de la Elección Dependiente del Tiempo: Se presenta un marco unificado que trata la selección de acciones como un problema de inferencia bajo doble incertidumbre (tiempo y recompensa).
2. Descubrimiento de una Transformación Log-Odds Lineal: Se identifica que los participantes no imitan las probabilidades objetivas ni siguen una política de paso (step-function) perfecta, sino que aplican una distorsión sistemática y suave en el espacio de log-odds.
3. Refutación de la Ley de Weber en este Contexto: Se demuestra empíricamente que la precisión temporal no depende de la duración transcurrida, sino de la relevancia de la recompensa esperada en ese momento.

4. Resultados Principales

• Desempeño Comportamental: Los participantes superaron significativamente el nivel de azar, aprendiendo la estructura dinámica de recompensas. Su comportamiento se acercó a la optimalidad, pero no alcanzó la política determinista perfecta.
• Distorsión Sistemática (Parámetro $\gamma$):
  • El ajuste del modelo DLLO reveló que la relación entre la probabilidad de recompensa objetiva y la elección subjetiva es sigmoidea.
  • El parámetro de pendiente $\gamma$ osciló consistentemente entre 1.71 y 2.20 (siendo $\gamma=1$ una correspondencia verídica y $\gamma \to \infty$ una política óptima de paso).
  • Esta distorsión implica una sobreestimación de probabilidades bajas y una subestimación de probabilidades altas, empujando la elección hacia la optimalidad sin requerir una precisión temporal infinita.
  • El análisis de rentabilidad mostró que pequeños aumentos en $\gamma$ (desde 1) generan grandes ganancias en recompensa esperada, mientras que aumentos mayores tienen rendimientos decrecientes.
• Incertidumbre Temporal Contingente a la Recompensa:
  • El modelo de difuminado probabilístico (donde la incertidumbre depende de la probabilidad de recompensa) ajustó los datos significativamente mejor que el modelo de difuminado temporal (Ley de Weber).
  • Esto indica que el sistema cognitivo asigna mayor precisión temporal a los momentos donde la recompensa esperada es alta, contradiciendo la noción clásica de que el error temporal crece linealmente con el tiempo.
• Parámetro de Punto Fijo ($p_0$): El punto de cruce subjetivo mostró desviaciones menores respecto al objetivo (0.5), pero estas tuvieron un impacto mínimo en la recompensa total, sugiriendo que reflejan sesgos de inferencia latente más que un ajuste estratégico.

5. Significado e Implicaciones

• Principios Computacionales: El estudio identifica dos principios interactuantes que gobiernan la elección en entornos dinámicos:
  1. Transformación Dinámica de Probabilidades: Las probabilidades inferidas se transforman mediante una función lineal en log-odds antes de guiar la acción.
  2. Precisión Temporal Basada en Recompensa: La resolución de la representación temporal se modula por la relevancia de la recompensa, no por la duración física.
• Relevancia Teórica: Estos hallazgos conectan la teoría de la percepción temporal, la estimación de recompensas y la transformación de probabilidades en un solo marco. Sugieren que el cerebro optimiza el uso de recursos cognitivos (precisión temporal) basándose en el valor esperado, en lugar de seguir reglas fijas de escalado temporal.
• Aplicaciones Futuras: El marco DLLO ofrece una herramienta robusta para modelar decisiones en contextos donde la información es latente y temporal, con implicaciones potenciales para entender trastornos neuropsiquiátricos relacionados con la estimación temporal y la valoración de recompensas.

En resumen, el paper demuestra que los seres humanos no solo estiman el tiempo, sino que ajustan dinámicamente la precisión de esa estimación en función de la recompensa esperada, y transforman las probabilidades inferidas mediante una lógica log-odds para maximizar la recompensa en un entorno de incertidumbre temporal.