Stimulus prior and reward probability differentially affect response bias in perceptual decision making

Este estudio demuestra en ratas que la probabilidad de recompensa influye en el sesgo de respuesta mucho más que la probabilidad de estímulo debido a tasas de aprendizaje más altas, revelando que los modelos actuales de toma de decisiones no capturan adecuadamente estos efectos y sugiriendo que los sujetos representan explícitamente las probabilidades o distribuciones de los estímulos.

Lo esencial

¡Hola! Vamos a desglosar este estudio científico de una manera divertida y sencilla, como si estuviéramos contando una historia en una cafetería.

Imagina que tienes un ratoncito muy inteligente sentado frente a una máquina. En esta máquina hay dos botones (izquierda y derecha) y dos sonidos diferentes (un pitido agudo y uno grave).

La Misión: El Juego de los Sonidos

El ratón tiene que escuchar el sonido y pulsar el botón correcto para ganar una gota de agua (¡su premio favorito!).

• Si oye el sonido A, debe pulsar el botón Izquierdo.
• Si oye el sonido B, debe pulsar el botón Derecho.

Pero, ¿qué pasa si el juego está trucado? Aquí es donde entran los científicos para ver cómo toma decisiones el ratón.

Los Dos Trucos del Juego

Los científicos probaron dos formas diferentes de "trucar" el juego para ver cómo reaccionaba el ratón:

1. El Truco de la Frecuencia (Estímulo): Imagina que el sonido "A" suena mucho más a menudo que el "B". Digamos que suena 4 veces por cada vez que suena el "B".
   • Lógica del ratón: "¡Oh, el sonido A sale todo el tiempo! Mejor me quedo pulsando el botón izquierdo todo el tiempo, por si acaso".
2. El Truco del Premio (Recompensa): Aquí, los sonidos suenan igual de a menudo, PERO el premio es diferente. Si aciertas con el sonido "A", ganas agua el 80% de las veces. Si aciertas con el "B", solo ganas agua el 20% de las veces.
   • Lógica del ratón: "¡Wow! Si elijo el botón izquierdo, casi siempre tengo agua. Si elijo el derecho, me quedo con sed. ¡Mejor me quedo con el izquierdo!".

¿Qué descubrieron? (La Gran Sorpresa)

Los científicos pensaban que ambos trucos deberían funcionar igual de bien. Es decir, que el ratón debería cambiar su estrategia de la misma manera si el sonido sale más seguido o si el premio es mejor.

¡Pero no fue así!

El ratón reaccionó mucho más fuerte al Truco del Premio que al Truco de la Frecuencia.

• Analogía: Imagina que eres un conductor.
  • Truco de Frecuencia: Te dicen que hay un semáforo rojo en el 80% de los cruces. Te vuelves un poco más cauteloso, pero sigues conduciendo.
  • Truco de Premio: Te dicen que si chocas contra un muro, te pagan un millón de dólares, pero si chocas contra una pared de ladrillo, te dan una galleta. ¡De repente, tu cerebro se vuelve loco y conduces de forma extremadamente diferente! El ratón se volvió "obsesivo" con la probabilidad de ganar agua, ignorando casi por completo qué sonido sonaba más a menudo.

El Misterio de la "Velocidad de Aprendizaje"

Los científicos usaron tres "fórmulas matemáticas" (modelos) para intentar predecir qué haría el ratón.

• Dos de las fórmulas funcionaron bastante bien cuando solo cambiaban el premio.
• Pero cuando cambiaron ambas cosas a la vez (más sonido A, pero menos premio por el A), ¡las fórmulas fallaron estrepitosamente!
• La lección: El ratón no solo está aprendiendo "qué botón pulsar". Parece que el ratón tiene un mapa mental de qué sonidos son más comunes y otro mapa de qué premios son mejores, y mezcla estos dos mapas de una forma que nuestras fórmulas actuales no pueden entender. Es como si el ratón tuviera un "cerebro de detective" que analiza el contexto completo, no solo una sola pista.

¿Importa cuánta agua hay en total?

También probaron si la cantidad total de agua disponible (si había mucha agua o poca agua en el día) hacía que el ratón aprendiera más rápido o más lento.

• Resultado: ¡No importaba! Ya fuera un día de "banquete" o un día de "dieta", el ratón aprendía a la misma velocidad.
• Analogía: Es como si aprendieras a conducir igual de rápido en una ciudad vacía que en una ciudad llena de tráfico. El "ruido" de tener más o menos premios no aceleraba ni frenaba su aprendizaje.

Conclusión en una frase

Este estudio nos dice que, cuando tomamos decisiones, la probabilidad de ganar un premio es mucho más poderosa que la probabilidad de que algo ocurra. Además, nuestros modelos actuales de cómo aprenden los animales (y quizás nosotros mismos) son demasiado simples; necesitamos crear modelos más inteligentes que entiendan que los animales tienen una idea clara de "qué es común" y "qué es valioso" por separado, y que los combinan de formas complejas.

¡Es como si el ratón dijera: "No me importa si el sonido A suena mucho, si no me da agua, ¡no me interesa!"?

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título del Estudio

"El prior del estímulo y la probabilidad de recompensa afectan diferencialmente el sesgo de respuesta en la toma de decisiones perceptuales"

1. Planteamiento del Problema

La Teoría de la Detección de Señales (SDT) es el modelo estándar para analizar decisiones perceptuales, asumiendo que un sujeto compara una variable de evidencia con un criterio de decisión estático. Sin embargo, investigaciones previas han demostrado que este criterio no es estático, sino que fluctúa ensayo a ensayo y se ve influenciado por manipulaciones experimentales como las probabilidades de presentación de estímulos (SPP) y las probabilidades de recompensa (RP).

El problema central abordado en este estudio es la falta de comprensión sobre los mecanismos que gobiernan estos cambios de criterio ensayo a ensayo. Específicamente, se desconoce:

• Si las manipulaciones de SPP y RP afectan el aprendizaje del criterio en la misma medida y de la misma manera.
• Si la densidad de recompensa (tasa global de recompensa) influye en la velocidad de aprendizaje del criterio.
• Si los modelos existentes (basados en SDT, la Ley de Emparejamiento o Aprendizaje por Refuerzo) pueden capturar estas diferencias y predecir el comportamiento bajo condiciones combinadas.

2. Metodología

Sujetos y Tarea:

• Se utilizaron 9 ratas macho en una tarea de discriminación auditiva de dos estímulos y dos opciones de respuesta (elegir puerto izquierdo o derecho).
• Los estímulos eran acordes de tonos puros. La dificultad se ajustó individualmente para mantener una sensibilidad ($d'$) entre 1.5 y 2.

Diseño Experimental (5 Experimentos):

1. Experimento 1: Variación de las probabilidades de presentación de estímulos (SPP) con recompensas constantes (0.5).
2. Experimento 2: Variación de las probabilidades de recompensa (RP) con estímulos equiprobables (0.5).
3. Experimento 3: Combinación opuesta de SPP y RP (ej. SPP 1:4 vs RP 4:1) para ver si sus efectos se cancelan o predominan.
4. Experimento 4: Variación de la densidad de recompensa (tasa global) manteniendo SPP y RP simétricos (1:1).
5. Experimento 5: Variación conjunta de RP y densidad de recompensa.

Análisis y Modelado:

• Análisis Conductual: Se estimó el criterio de decisión (c) y la sensibilidad ($d'$) ajustando un modelo SDT de un criterio por sesión.
• Modelos Comparados: Se ajustaron y simuló tres modelos de aprendizaje de criterio ensayo a ensayo:
  1. Modelo KDB Modificado: Basado en Kac, Dorfman y Biderman. El criterio se desplaza un paso fijo ($\Delta$) tras una recompensa y tiene un término de "fuga" ($\gamma$) para evitar deriva infinita.
  2. Modelo DT (Davison-Tustin): Basado en la Ley de Emparejamiento. El tamaño del paso de actualización depende de la posición actual del criterio y la sensibilidad a la recompensa ($a$).
  3. Modelo de Aprendizaje por Refuerzo (RL): Basado en Lak et al. (2020). Los animales mantienen valores de acción ($V$) que se actualizan mediante error de predicción de recompensa y una tasa de aprendizaje ($\alpha$).
• Se compararon versiones de un solo ritmo de aprendizaje frente a versiones con múltiples ritmos de aprendizaje (diferentes para cada condición) utilizando el Criterio de Información Bayesiano (BIC).

3. Contribuciones Clave

• Evidencia de Asimetría en el Aprendizaje: Demostración empírica clara de que las manipulaciones de probabilidad de recompensa (RP) tienen un efecto mucho más pronunciado en el sesgo de respuesta que las manipulaciones de probabilidad de presentación de estímulos (SPP).
• Análisis de Tasa de Aprendizaje: Revelación de que las tasas de aprendizaje (parámetros $\Delta$, $\Delta_{max}$, $\alpha$) son más de diez veces mayores cuando se manipulan las recompensas en comparación con cuando se manipulan los estímulos.
• Fallo de Modelos Existentes: Evidencia de que los modelos actuales (KDB, DT, RL) no pueden explicar el comportamiento cuando SPP y RP se manipulan simultáneamente en direcciones opuestas (Experimento 3), ya que todos predicen un criterio neutro en esas condiciones, mientras que los animales muestran un sesgo fuerte hacia la opción de mayor recompensa.
• Independencia de la Densidad de Recompensa: Conclusión de que la densidad global de recompensa no afecta sistemáticamente la velocidad de aprendizaje del criterio, desafiando ciertas hipótesis adaptativas previas.

4. Resultados Principales

• Experimentos 1 y 2: Aunque ambos tipos de manipulación sesgaron la conducta hacia la opción más probable o rentable, el efecto de las RP fue significativamente más fuerte. En el Experimento 2 (RP variada), los criterios de estado estacionario fueron más extremos y la sensibilidad a la recompensa ($a$ en el modelo DT) fue mayor.
• Experimento 3 (Prueba de Contraste): Cuando SPP y RP se opusieron (ej. SPP favorecía S1, RP favorecía S2), los animales ignoraron la frecuencia del estímulo y sesgaron su decisión hacia la opción con mayor probabilidad de recompensa. Ninguno de los tres modelos pudo reproducir este comportamiento; todos predijeron un criterio neutro ($c=0$) porque el producto $\pi \cdot \rho$ era constante.
• Experimentos 4 y 5 (Densidad de Recompensa):
  • No se encontró una relación sistemática entre la densidad de recompensa y la tasa de aprendizaje.
  • Aunque permitir diferentes tasas de aprendizaje por condición mejoró el ajuste de los modelos (menor BIC), los valores ajustados no mostraron un patrón consistente (a veces mayor densidad = mayor tasa, a veces menor).
  • Esto sugiere que la densidad de recompensa por sí sola no es el factor determinante para la velocidad de adaptación.

5. Significado e Implicaciones

• Revisión de la Teoría de la Detección de Señales: El estudio indica que los sujetos no solo representan la distribución de recompensas, sino que representan explícitamente las probabilidades a priori de los estímulos (o sus distribuciones completas). Los modelos actuales fallan porque asumen que el sujeto no rastrea la historia de los estímulos o asume una distribución fija.
• Necesidad de Nuevos Modelos: Para explicar el comportamiento observado, especialmente en el Experimento 3, los futuros modelos deben incorporar mecanismos que actualicen dinámicamente las creencias sobre las probabilidades de los estímulos (priors) basándose en la evidencia sensorial, en lugar de tratar las probabilidades de recompensa como el único motor de ajuste del criterio.
• Diferencia entre Ratas y Humanos: Se nota una discrepancia con estudios en humanos donde las manipulaciones de SPP suelen producir cambios de criterio más óptimos que las de RP. Los autores sugieren que esto podría deberse a diferencias en cómo se manipula la recompensa (probabilidad vs. magnitud) y la naturaleza de la retroalimentación.
• Conclusión Final: El aprendizaje del criterio es un proceso complejo donde la recompensa tiene un peso desproporcionado sobre la frecuencia del estímulo, y los modelos computacionales deben evolucionar para incluir la representación explícita de las distribuciones de estímulos para ser predictivos en condiciones dinámicas.