Resumen Técnico: La compresión de la función de recompensa facilita el aprendizaje por refuerzo dependiente de objetivos

Planteamiento del problema

El aprendizaje por refuerzo (RL) en los seres humanos se extiende más allá de las recompensas primarias y secundarias para incluir resultados flexibles y dependientes de objetivos, donde estímulos novedosos y abstractos son dotados de valor en función de los objetivos actuales. Si bien esta flexibilidad permite a los humanos perseguir diversos objetivos, es cognitivamente costosa y, a menudo, reduce la eficiencia del aprendizaje. Los mecanismos cognitivos precisos mediante los cuales los humanos alinean sus sistemas de valores con los objetivos actuales, y por qué este alineamiento es difícil de mantener, permanecen sin caracterizar. Específicamente, no está claro cómo el cerebro gestiona la compensación entre la flexibilidad de asignar valor a resultados novedosos y la eficiencia de aprender de ellos. El trabajo previo sugiere que el aprendizaje dependiente de objetivos depende de la memoria de trabajo (WM), pero el proceso específico por el cual esta dependencia transiciona hacia un procesamiento más automático y eficiente es desconocido.

Metodología

Los autores realizaron seis experimentos (cuatro primarios y dos suplementarios) utilizando una tarea de RL modificada donde los participantes aprendían mapeos de estímulo-respuesta mediante ensayo y error.

Diseño Experimental

• Estructura de la Tarea: Los participantes observaban seis estímulos y debían aprender la pulsación de tecla correcta para cada uno. La retroalimentación era determinista.
• Condiciones:
  • Bloques de Puntos (Línea de base): La retroalimentación consistía en puntos numéricos estándar ("+1" para acierto, "+0" para error).
  • Bloques de Objetivos (Goals): La retroalimentación consistía en imágenes fractales abstractas etiquetadas como "Objetivo" (Goal) o "No objetivo" (Nongoal). Los participantes debían aprender qué acciones conducían a la imagen de "Objetivo".
• Recolección de Recompensa: En todos los bloques, se requería que los participantes presionaran una tecla separada para "recolectar" los resultados deseables (puntos o imágenes de objetivo) e ignorar los indeseables. Se registraron los tiempos de reacción (RTs) para esta fase de recolección como un proxy conductual de la eficiencia del procesamiento de la recompensa.

Manipulaciones Específicas

• Experimento 1 (Carga de WM): Varió el número de pares únicos de imagen Objetivo/No objetivo por bloque (1, 2, 3 o 4 pares). El número total de ensayos permaneció constante, pero el tamaño del espacio de objetivos aumentó, incrementando la carga de la memoria de trabajo (WM) necesaria para mantener la regla del objetivo.
• Experimento 2 (Compresibilidad): Mantuvo constante el número de imágenes de objetivo únicas (8 imágenes en total) pero manipuló la complejidad de la regla.
  • Compresible: Una sola característica (por ejemplo, el color) distinguía todas las imágenes de Objetivo de las de No objetivo.
  • Incompresible: Se requerían las tres características (forma, color, relleno) para distinguir Objetivo de No objetivo (una regla conjuntiva).
• Experimentos Suplementarios (3–6): Estos reanalizaron datos previos o introdujeron nuevos controles para descartar mecanismos alternativos, como efectos de repetición simple, atribución de valor descendente (top-down) sin compresión, o interferencia de etiquetado inconsistente.

Modelado Computacional

Los autores ajustaron una familia de modelos computacionales basados en una arquitectura de RL estándar (regla delta para actualizaciones de valor, política softmax para selección de acciones).

• Modelo Base: Incluía parámetros para la tasa de aprendizaje ($\alpha$), multiplicador de resultado negativo ($\zeta$), ruido ($\epsilon$), olvido ($\phi$) y persistencia/viscosidad ($\eta$).
• Modelos Avanzados: Se probó si parámetros específicos (tasa de aprendizaje, ruido, persistencia) variaban según la condición.
• Modelos Condicionados por RT: Crucialmente, los autores probaron modelos donde la tasa de aprendizaje se escalaba directamente por la mediana del logaritmo del tiempo de reacción de recolección de recompensa para esa condición específica. Esto probó la hipótesis de que un procesamiento de recompensa más rápido (que indica compresión/automatización) libera recursos cognitivos para mejorar las tasas de aprendizaje.

Resultados Clave

Hallazgos Conductuales

1. Costo del Aprendizaje Dependiente de Objetivos: El rendimiento de aprendizaje fue significamente menor en los bloques de Objetivos en comparación con los bloques de Puntos, incluso en la condición más simple de un solo objetivo, confirmando el costo cognitivo de la atribución de objetivos abstractos.
2. Efecto de la Carga de WM (Exp 1): La precisión del aprendizaje disminuyó paramétricamente a medida que aumentaba el número de pares únicos de Objetivo/No objetivo (de 1 a 4). Esto sugiere que mantener un espacio de objetivos más grande en la WM impide el proceso de aprendizaje.
3. Efecto de Compresión (Exp 2): Cuando se mantuvo constante el espacio de objetivos pero varió la complejidad de la regla, la precisión del aprendizaje fue significamente mayor en los bloques Compresibles que en los Incompresibles. Esto indica que las ganancias de rendimiento son impulsadas por la capacidad de formar una regla simplificada, no meramente por la repetición.
4. RTs de Recolección de Recompensa: Los tiempos de reacción de recolección de recompensa más rápidos se correlacionaron fuertemente con un mejor rendimiento de aprendizaje en todas las condiciones. Esta correlación fue específica para los RTs de recolección de recompensa y no para los RTs de elección, lo que sugiere que la eficiencia en la evaluación del resultado (procesamiento de recompensa) es el cuello de botella, y no el proceso de toma de decisiones en sí mismo.
5. Hallazgos Suplementarios:
   • La repetición por sí sola (Exp 5) no mejoró el aprendizaje si el espacio de objetivos excedía la capacidad de la WM.
   • El etiquetado inconsistente entre ensayos (Exp 6) perjudicó específicamente el aprendizaje, apoyando la necesidad de una regla estable para ser comprimida.

Hallazgos del Modelado Computacional

• Cuello de Botella en la Actualización de Valor: Los modelos con mejor ajuste indicaron que el impacto principal del aprendizaje dependiente de objetivos recayó en la etapa de actualización de valor (tasa de aprendizaje), no en el ruido de selección de acción.
• Tasa de Aprendizaje Condicionada por RT: Un modelo donde la tasa de aprendizaje era una función de los RTs de recolección de recompensa proporcionó un ajuste mejor y más parsimonioso a los datos que los modelos con parámetros libres para cada condición o modelos donde los RTs afectaban el ruido de elección.
• Interpretación: Esto respalda la hipótesis de que el procesamiento de recompensa eficiente (vía compresión) libera recursos ejecutivos, permitiendo una actualización más efectiva de las asociaciones estímulo-acción.

Contribuciones Clave

1. Compresión de la Función de Recompensa: El artículo propone y valida empíricamente un mecanismo donde la información de objetivo de alta dimensión y compleja se comprime en una regla simplificada y estable (una "función de recompensa comprimida") que puede transferirse de la memoria de trabajo a la memoria de largo plazo.
2. Mecanismo para la Eficiencia: Demuestra que este proceso de compresión es el factor clave que alivia la carga cognitiva del aprendizaje dependiente de objetivos, potenciando así la eficiencia del aprendizaje.
3. Marcador Conductual: Identifica el tiempo de reacción de recolección de recompensa como una firma conductual específica de la compresión de la función de recompensa y de la eficiencia del procesamiento.
4. Formalización Computacional: Proporciona un modelo computacional que vincula la eficiencia del procesamiento de la recompensa (RT) directamente con las tasas de aprendizaje, ofreciendo un relato formal de cómo las funciones ejecutivas interactúan con el RL.

Significado

Los autores afirman que estos hallazgos iluminan los mecanismos cognitivos subyacentes a la motivación intrínseca y al aprendizaje dirigido a objetivos. Al mostrar que el cerebro gestiona la compensación entre flexibilidad y eficiencia mediante la compresión de la función de recompensa, el estudio ofrece un marco potencial para comprender por qué algunos objetivos son más difíciles de alcanzar que otros. Los autores sugieren que estos conocimientos podrían informar intervenciones conductuales y estrategias educativas para apoyar el logro de objetivos humanos, particularmente al ayudar a las personas a estructurar sus metas de manera que faciliten la compresión y la automatización. El artículo permanece agnóstico respecto a la implementación neural específica de esta compresión, pero postula que depende de la interacción entre los sistemas de memoria de trabajo y de largo plazo.