Reward predictability shapes decision making states and exploitative control in marmosets

Resumen Técnico: La predictibilidad de la recompensa moldea los estados de toma de decisiones y el control explotativo en titíes

Planteamiento del problema
Los animales que operan en entornos dinámicos deben transicionar de manera flexible entre estados conductuales caracterizados por la explotación de recompensas conocidas y la exploración de alternativas. Si bien la comprensión de esta flexibilidad requiere caracterizar las elecciones, los resultados y la actualización de estrategias basadas en la información de recompensa, las plataformas conductuales escalables para estudiar estos procesos en el tití común (Callithrix jacchus) han sido limitadas. A pesar de las ventajas únicas del tití —específicamente su tractabilidad genética y la complejidad de su corteza frontal—, existe la necesidad de métodos robustos para investigar la toma de decisiones flexible en esta especie sin depender de protocolos restrictivos como la privación de agua.

Metodología
Para abordar estas limitaciones, los autores desarrollaron una plataforma automatizada de pantalla táctil en jaula doméstica que facilita la experimentación conductual voluntaria durante periodos prolongados sin restricción de agua. Utilizando esta plataforma, entrenaron a los titíes en una serie progresiva de tareas de aprendizaje de reversión que aumentaban en complejidad. La secuencia experimental culminó en una tarea de bandido de dos brazos probabilística totalmente no señalizada.

El estudio empleó un enfoque analítico dual que combina el modelado conductual y la clasificación de estados:

1. Modelado de Aprendizaje por Refuerzo: Se aplicó un modelo de Q-learning que incorpora la perseveración de la elección para capturar la dinámica ensayo a ensayo. El estudio examinó si la variabilidad de la elección se alineaba con el muestreo estocástico de la política ajustada.
2. Clasificación de Estados: Se utilizó un clasificador de estados conductuales a nivel de ensayo para identificar modos distintos y persistentes de explotación y exploración. Este clasificador analizó las diferencias en la sensibilidad al historial de recompensa y las estructuras de transición entre estados.
3. Análisis Comparativo: Los investigadores compararon los patrones conductuales bajo contingencias de recompensa probabilísticas versus deterministas para evaluar cómo la predictibilidad de la recompensa influye en la ocupación de estados y la corrección de errores.

Contribuciones Clave

• Desarrollo de la Plataforma: La creación de un sistema de prueba en jaula doméstica, automatizado y voluntario, que permite estudios conductuales de alto rendimiento y largo plazo en titíes sin los factores de confusión de la restricción de agua.
• Marco Computacional: La aplicación de un modelo de Q-learning con perseveración de la elección para modelar con éxito la dinámica de toma de decisiones de los titíes, validando que su variabilidad de elección es consistente con el muestreo estocástico.
• Caracterización de Estados Conductuales: La identificación de estados conductuales distintos y persistentes (explotación vs. exploración) que difieren fundamentalmente en su dependencia del historial de recompensa y sus dinámicas de transición.

Resultados
El estudio encontró que la predictibilidad de la recompensa reorganiza significativamente los procesos de toma de decisiones:

• Ocupación de Estados: La predictibilidad de las recompensas alteró la ocupación de los estados conductuales.
• Corrección de Errores: Bajo condiciones de retroalimentación determinista, los animales demostraron una corrección de errores más aguda dentro de los estados predominantemente explotativos. Específicamente, los titíes respondieron más rápidamente a resultados negativos únicos cuando la contingencia de la recompensa era determinista en comparación con las condiciones probabilísticas.
• Ajuste del Modelo: El modelo de Q-learning con perseveración de la elección capturó eficazmente la dinámica ensayo a ensayo, confirmando que la conducta de los animales podía describirse como un muestreo estocástico de una política aprendida.

Significado
El artículo establece un marco conductual y computacional integral diseñado para diseccionar las computaciones específicas y los circuitos neurales que subyacen a la toma de decisiones adaptativa en los titíes. Al demostrar que la predictibilidad de la recompensa modula la ocupación de estados y la velocidad de corrección de errores, este trabajo proporciona una base para futuras investigaciones sobre los mecanismos neurales de la flexibilidad en este modelo de primate genéticamente tratable.