Transition from model-free to structure-informed decision making in dynamic environments

En el vasto paisaje de cómo los seres vivos toman decisiones, los científicos han distinguido durante mucho tiempo entre dos formas fundamentales de navegar por el mundo. Un enfoque es inmediato y reactivo: un animal aprende que una acción específica conduce a una recompensa y repite esa acción sin necesariamente comprender por qué funciona. Esta es una estrategia de hábito, construida sobre asociaciones simples entre hacer algo y obtener algo bueno. El otro enfoque es más reflexivo y deliberado: un animal construye un mapa interno de cómo está estructurado el mundo, comprendiendo cómo un evento conduce a otro y cómo diferentes elecciones cambian las probabilidades de una recompensa. Esta es una estrategia de planificación, donde el decisor utiliza el conocimiento de las reglas para guiar el comportamiento. Durante años, los investigadores creyeron que, a medida que los animales practicaban una tarea durante mucho tiempo, pasarían lentamente de esta planificación reflexiva al hábito más simple y automático. Esta idea sugería que, con suficiente repetición, el cerebro dejaría de calcular y comenzaría a confiar en la memoria muscular.

Un equipo de investigadores decidió poner a prueba este supuesto observando cómo los ratones aprenden una compleja tarea de toma de decisiones, pero con un giro crucial: observaron el mismísimo comienzo del proceso de aprendizaje en lugar de esperar a que los animales se volvieran expertos. Los ratones fueron colocados en una situación en la que tenían que tomar una serie de decisiones para encontrar una recompensa. El entorno era complicado; el camino hacia la recompensa no siempre era directo. A veces, una elección conducía directamente al siguiente paso como se esperaba, pero otras veces, el camino tomaba un giro inesperado. Además, la probabilidad de encontrar una recompensa al final del camino no era fija; cambiaba con el tiempo, obligando a los ratones a actualizar constantemente sus expectativas. Los investigadores observaron de cerca el comportamiento de los ratones mientras pasaban por sus sesiones de entrenamiento, rastreando si los animales simplemente estaban reaccionando a recompensas pasadas o si estaban comenzando a comprender la estructura oculta de la tarea.

Los resultados revelaron un patrón sorprendente que desafía la vieja visión de cómo se desarrolla el aprendizaje. A medida que los ratones practicaban, su comportamiento cambiaba de una manera específica que indicaba que no solo estaban formando hábitos. Cuando los ratones se encontraban con una situación en la que el camino tomaba un giro inesperado, ajustaban sus elecciones futuras de manera diferente a cuando el camino iba según lo esperado. Esta divergencia en el comportamiento es una señal clara de que los animales habían comenzado a utilizar su conocimiento de la estructura de la tarea para guiar sus decisiones. Al ajustar modelos matemáticos de diferentes estilos de aprendizaje a las acciones de los ratones, los investigadores encontraron que los ratones dependían cada vez más de una estrategia que utilizaba este conocimiento estructural. Este cambio ocurrió temprano en el proceso de entrenamiento, mucho antes de que los ratones hubieran dedicado un tiempo extensivo a la tarea.

Este hallazgo sugiere que la transición del aprendizaje simple y reactivo a la toma de decisiones compleja e informada por la estructura ocurre mucho antes de lo que se pensaba anteriormente. Mientras que estudios anteriores se centraron en lo que sucede después de que un animal ha practicado durante mucho tiempo, concluyendo a menudo que el cerebro eventualmente deja de pensar y comienza a actuar en piloto automático, este nuevo trabajo muestra que el cerebro comienza a construir un modelo mental de las reglas casi de inmediato. Los ratones no esperaron a volverse habituales antes de empezar a entender el juego; en cambio, se alejaron rápidamente de depender únicamente de las recompensas pasadas y comenzaron a usar su comprensión de cómo estaba compuesta la tarea para tomar mejores decisiones. Esto demuestra que en entornos dinámicos donde las reglas y las recompensas pueden cambiar, la capacidad de comprender la estructura subyacente es una herramienta primaria para la supervivencia, una a la que el cerebro recurre temprana y frecuentemente.