💬 NLP

Using Reinforcement Learning to Train Large Language Models to Explain Human Decisions

Este artículo demuestra que el empleo de aprendizaje por refuerzo con recompensas basadas en resultados para ajustar modelos de lenguaje de gran tamaño preentrenados permite que estos sirvan como modelos cognitivos de doble propósito que logran simultáneamente una fuerte precisión predictiva y generan explicaciones en lenguaje natural interpretables para las decisiones riesgosas humanas.

Autores originales: Jian-Qiao Zhu, Hanbo Xie, Dilip Arumugam, Robert C. Wilson, Thomas L. Griffiths

Publicado 2026-02-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jian-Qiao Zhu, Hanbo Xie, Dilip Arumugam, Robert C. Wilson, Thomas L. Griffiths

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Enseñar a la IA a "Pensar en Voz Alta"

Imagina que tienes un estudiante superinteligente (un Modelo de Lenguaje Grande, o LLM) que es increíblemente bueno adivinando qué harás después. Si le muestras un problema matemático difícil, normalmente puede darte la respuesta correcta. Pero, si le preguntas cómo llegó a esa respuesta, podría simplemente decir: "Simplemente lo sabía", o darte una explicación vaga que no tiene mucho sentido.

En el mundo de la psicología, los científicos quieren modelos que no solo adivinen la respuesta (predecir el comportamiento humano), sino que también expliquen por qué las personas toman esas decisiones (revelar el mecanismo cognitivo).

Este artículo se pregunta: ¿Podemos enseñar a una IA no solo a predecir las decisiones humanas, sino también a "pensar en voz alta" de una manera que realmente explique la psicología humana?

El Experimento: El Juego de la "Elección Arriesgada"

Para probar esto, los investigadores utilizaron un juego clásico de psicología llamado "elección arriesgada". Imagina que se te ofrecen dos opciones:

Opción A: Obtienes $27 de forma segura.
Opción B: Tienes un 90% de probabilidad de obtener $25, pero un 10% de probabilidad de obtener $92.

La mayoría de las personas tienen que elegir entre una apuesta segura y una apuesta arriesgada. Los investigadores utilizaron un conjunto masivo de datos de miles de humanos reales tomando estas decisiones. Querían entrenar a una IA para que mirara las opciones y dijera: "El 70% de las personas elegirá la Opción A, y el 30% elegirá la Opción B".

Los Tres Métodos de Entrenamiento

Los investigadores probaron tres formas diferentes de enseñar esta tarea a la IA, como tres estilos de entrenamiento distintos:

El "Memorizador" (Entrenamiento Estándar): Le mostraron a la IA miles de ejemplos de preguntas y las respuestas correctas. La IA aprendió a copiar el patrón. Se volvió buena adivinando los porcentajes, pero no aprendió realmente el porqué. Era como un estudiante que memorizó la clave de respuestas pero no podía explicar las matemáticas.
El "Memorizador Enmascarado" (Estilo Centauro): Esta es una versión sofisticada del primer método donde se obliga a la IA a concentrarse solo en los números de la respuesta, ignorando el resto del texto. También fue buena adivinando, pero seguía sin generar una buena explicación.
El "Entrenador con Marcador" (Aprendizaje por Refuerzo - RL): Este es el protagonista de la historia. Aquí, se le permitió a la IA escribir una "Cadena de Pensamiento" (un proceso de razonamiento paso a paso) antes de dar su respuesta final.
- El Giro: La IA no solo recibía puntos por acertar. Recibía puntos basados en qué tan cerca estaba su predicción final de lo que los humanos reales realmente hicieron.
- El Resultado: Para ganar los puntos, la IA se dio cuenta de que necesitaba "pensar" como un psicólogo. Empezó a escribir cosas como: "La gente es adversa al riesgo" o "Calculan el valor esperado". Al intentar ganar el juego (coincidir con los datos humanos), accidentalmente aprendió a verbalizar las reglas psicológicas que siguen los humanos.

Los Resultados: La IA se Convierte en Psicóloga

Los investigadores descubrieron que el método del "Entrenador con Marcador" (RL) cambió las reglas del juego por dos razones:

Predijo Bien: Fue tan buena adivinando lo que los humanos elegirían como los otros métodos.
Explicó Bien: Las partes de "pensar en voz alta" (la Cadena de Pensamiento) eran en realidad explicaciones psicológicas de alta calidad.
- La Analogía: Imagina que los otros métodos son como una aplicación del clima que dice: "Va a llover". El método de RL es como un meteorólogo que dice: "Va a llover porque un frente frío está colisionando con aire cálido, creando baja presión".
- La IA comenzó a usar conceptos psicológicos reales como la Aversión al Riesgo (la gente odia perder), el Valor Esperado (hacer las cuentas de las probabilidades) y el Efecto de Certeza (la gente ama una victoria garantizada).

El Requisito de "Inteligencia"

Sin embargo, hubo un inconveniente. Los investigadores probaron este mismo método de "Entrenador" en un modelo de IA más pequeño y débil.

La Analogía: Imagina intentar enseñarle una estrategia compleja a un niño pequeño frente a un estudiante universitario. El niño (el modelo pequeño) no pudo entender las matemáticas ni la estrategia, incluso con el entrenador. Solo se confundió y dio respuestas malas.
El Hallazgo: El método del "Entrenador" solo funcionó porque la IA base ya era lo suficientemente inteligente como para entender los conceptos. Si la IA no es lo suficientemente inteligente para entender el "Valor Esperado" desde el principio, no puedes entrenarla para que lo explique.

La Prueba de "Cambio de Forma"

Para demostrar que la IA no estaba simplemente recitando frases memorizadas, los investigadores cambiaron las reglas del juego. En lugar de usar datos humanos reales, alimentaron a la IA con datos generados por un robot que solo se preocupaba por las matemáticas (Valor Esperado).

El Resultado: La IA cambió instantáneamente su "pensamiento". Dejó de hablar sobre los miedos humanos y la aversión al riesgo y empezó a hablar puramente de matemáticas y lógica.
La Conclusión: Esto demostró que la IA no estaba solo copiando un guion; realmente estaba adaptando su razonamiento para coincidir con los datos con los que estaba siendo entrenada. Realmente estaba "aprendiendo" las reglas del juego específico que estaba jugando.

Resumen

Este artículo muestra que si entrenas a una IA inteligente para predecir el comportamiento humano utilizando un sistema de recompensas (como la puntuación de un videojuego), esta comenzará naturalmente a "pensar en voz alta" utilizando las mismas reglas psicológicas que usan los humanos. Esto convierte a la IA de un simple adivinador en un modelo que puede explicar por qué tomamos las decisiones que tomamos. Sin embargo, esto solo funciona si la IA ya es lo suficientemente inteligente como para entender esos conceptos en primer lugar.

Resumen Técnico: Uso de Aprendizaje por Refuerzo para Entrenar Grandes Modelos de Lenguaje para Explicar Decisiones Humanas

Planteamiento del Problema

Un desafío central en el modelado cognitivo es desarrollar sistemas que no solo predigan el comportamiento humano con alta precisión, sino que también proporcionen información interpretable sobre los mecanismos cognitivos subyacentes. Aunque los modelos de redes neuronales entrenados en datos conductuales a gran escala suelen lograr un fuerte rendimiento predictivo, típicamente funcionan como "cajas negras", ofreciendo una comprensión teórica limitada de los procesos cognitivos que capturan. Aunque trabajos recientes (por ejemplo, el modelo Centaur) han demostrado que los Grandes Modelos de Lenguaje (LLM) pueden ser ajustados para predecir el comportamiento humano de manera efectiva, estos modelos suelen carecer de la capacidad de generar explicaciones explícitas en lenguaje natural sobre por qué se realizan esas predicciones. Este artículo aborda el dilema de equilibrar la precisión predictiva con la interpretabilidad, explorando si los LLM pueden servir como modelos cognitivos de doble propósito, capaces tanto de la predicción como de la explicación.

Metodología

Los autores proponen un marco para entrenar LLM para generar trazas de razonamiento explícitas (Cadena de Pensamiento, o CoT, por sus siglas en inglés) que expliquen las elecciones riesgosas humanas. El estudio se centra en el dominio de la elección de riesgo humano (decisiones entre opciones seguras y riesgosas) utilizando el conjunto de datos choices13k (Peterson et al., 2021).

Configuración Experimental

El modelo base utilizado es Qwen-2.5-7B-Instruct. Los autores comparan tres estrategias distintas de post-entrenamiento aplicadas a módulos de Adaptación de Bajo Rango (LoRA):

Ajuste Fino Supervisado (SFT): Entrenamiento autorregresivo estándar sobre datos de elección humana formateados como JSON.
SFT estilo Centaur: Una variante donde solo los tokens correspondientes a las proporciones de elección humana (encerrados en corchetes especiales) contribuyen a la pérdida, enmascarando los tokens de razonamiento durante el entrenamiento.
Aprendizaje por Refuerzo (RL): Los autores emplean Optimización de Política Relativa de Grupo (GRPO) con recompensas basadas en resultados.

El Enfoque de RL

En el entorno de RL, el modelo genera múltiples completaciones candidatas (incluyendo el razonamiento CoT y una predicción JSON final) para un problema dado. La función de recompensa es estrictamente basada en el resultado y está vinculada a la verdad fundamental del comportamiento humano:

Recompensa de Corrección: Definida como $1 - |o_B - p_B|$ , donde $o_B$ es la probabilidad predicha por el modelo para la Opción B y $p_B$ es la proporción empírica de humanos que eligen la Opción B.
Recompensa de Formato: Un bono (hasta 0.5) por generar una salida JSON estructuralmente válida donde la predicción siga al razonamiento.
Restricciones de Coherencia: El modelo es penalizado si sus probabilidades predichas no suman 1 o caen fuera del rango [0, 1].

El entrenamiento de RL utiliza un tamaño de grupo de 12 candidatos por prompt y emplea el algoritmo "GRPO Done Right", que omite la normalización de la recompensa por desviación estándar para evitar el sesgo hacia la dificultad de la pregunta.

Experimentos de Control

Para validar la adaptabilidad de las trazas de razonamiento, los autores realizaron:

Control de Datos: Reemplazar los datos humanos con datos sintéticos generados por un modelo de maximización del valor esperado para ver si el CoT se adapta a la nueva estructura de datos.
Control de Modelo: Replicar el experimento con un modelo base más pequeño y débil (Gemma-2-2B-Instruct) para probar la dependencia de la capacidad del modelo.

Resultados Clave

Rendimiento Predictivo

Precisión Comparable: En los puntos de control finales, el modelo entrenado con RL logró una precisión predictiva (Error Cuadrático Medio en el conjunto de prueba) comparable tanto al SFT estándar como al SFT estilo Centaur ( $M \approx 0.0148$ para RL vs. $0.0144$ para SFT). Las pruebas estadísticas revelaron que no hubo diferencias significativas entre los métodos.
Eficiencia de Aprendizaje: El RL logró una reducción más rápida del error de predicción en relación con el número de ejemplos procesados en comparación con el SFT, aunque incurrió en mayores costos computacionales debido a la generación de múltiples candidatos por paso.
Dependencia de la Capacidad del Modelo: Cuando se aplicó al modelo más débil Gemma-2-2B, el RL funcionó significativamente peor que los métodos SFT. El modelo más débil no pudo generar el mecanismo cognitivo crítico de "cálculo del valor esperado", lo que condujo a un pobre rendimiento predictivo.

Calidad del Razonamiento (CoT)

Emergencia del Razonamiento: A diferencia de los modelos SFT y Centaur (que no fueron entrenados explícitamente para generar razonamiento), el modelo de RL produjo consistentemente un razonamiento CoT detallado antes de su predicción final.
Mecanismos Cognitivos: El análisis de los CoT generados por RL reveló la emergencia de mecanismos cognitivos específicos, notablemente el cálculo del Valor Esperado y la Aversión al Riesgo, que representaron aproximadamente el 29–36% de los tokens de razonamiento. Otros mecanismos identificados incluyeron la Aversión a la Pérdida, el Efecto de Certeza y la Ponderación de Probabilidades.
Adaptabilidad: En el experimento de control de datos, al ser entrenado con datos sintéticos de valor esperado, el modelo de RL cambió su razonamiento para centrarse fuertemente en los cálculos de valor esperado, demostrando que el CoT se adapta a la estructura de los datos de entrenamiento en lugar de permanecer estático.
Influencia Causal: Un experimento de "intercambio de CoT" demostró que usar el CoT del modelo de RL para guiar al modelo base redujo significativamente el error de predicción, mientras que usar el CoT original del modelo base con el modelo de RL aumentó el error. Esto sugiere que el razonamiento generado por RL está causalmente vinculado a las mejoras en las predicciones.
Evaluación Humana: En una evaluación humana a pequeña escala, los expertos calificaron los CoT del modelo de RL como más razonables que los del modelo base en el 61.5% de los ensayos.

Significancia y Reivindicaciones

El artículo afirma demostrar que el Aprendizaje por Refuerzo con recompensas basadas en resultados (RLVR) puede provocar trazas de razonamiento de alta calidad e interpretables de los LLM que sirven como teorías verbales de la toma de decisiones humanas.

Modelado de Doble Propósito: El trabajo establece que los LLM pueden funcionar como modelos cognitivos que simultáneamente predicen el comportamiento humano y proporcionan explicaciones en lenguaje natural de los mecanismos cognitivos que impulsan dichos comportos.
Racionalidad vs. Heurísticos: Los hallazgos sugieren que, contrariamente a cierta literatura que enfatiza los heurísticos y los sesgos, las caracterizaciones racionales (específicamente el cálculo del valor esperado y la aversión al riesgo) pueden ser fuerzas dominantes para explicar las elecciones de riesgo humanas cuando se observan a través de estos modelos.
Hipótesis de la Elicitación: Los resultados apoyan la "hipótesis de la elicitación", sugiriendo que el RL no necesariamente enseña nuevas capacidades, sino que saca a la superficie y amplifica el conocimiento teórico latente ya presente en el LLM pre-entrenado. En consecuencia, el éxito de este enfoque depende fuertemente de la capacidad del modelo base; los modelos más débiles fallan en la elicitación de los mecanismos de razonamiento necesarios.
Escalabilidad: El método ofrece una alternativa escalable al modelado cognitivo manual o al descubrimiento de modelos dirigido por expertos, generando automáticamente teorías interpretables a partir de datos conductuales a gran escala sin requerir programación simbólica explícita o retroalimentación humana en el bucle para cada decisión.

Los autores conclen que, si bien el post-entrenamiento mediante RL es computacionalmente más costoso que el SFT, proporciona una vía única para desarrollar modelos cognitivos que sean tanto cuantitativamente precisos como cualitativamente interpretables.