Think-Aloud Reshapes Automated Cognitive Model Discovery Beyond Behavior

Este artículo demuestra que incorporar trazas de Pensar en Voz Alta a la descubrimiento automatizado de modelos cognitivos mejora significativamente el rendimiento predictivo y desplaza las estructuras de modelos identificadas hacia mecanismos de utilidad más integrados, revelando procesos cognitivos que los datos conductuales por sí solos no pueden recuperar.

Lo esencial

Imagina que estás tratando de averiguar cómo decide un amigo qué comer para cenar. Tienes dos formas de aprender sobre su proceso:

1. El "Qué" (Comportamiento): Observas cómo pide. Elige la pizza. Ves el resultado.
2. El "Cómo" (Pensar en voz alta): Le pides que verbalice sus pensamientos mientras decide. Dice: "Hmm, tengo hambre, pero la pizza es pesada. Quizás debería revisar las calorías primero, luego comparar el costo".

Durante mucho tiempo, los científicos que intentaban construir modelos informáticos del pensamiento humano solo han tenido acceso al "Qué". Observan a las personas tomar decisiones (como elegir entre una apuesta arriesgada o una segura) e intentan descifrar la matemática subyacente.

El problema es que el "Qué" a menudo es un espejo nebuloso. Muchas fórmulas matemáticas internas diferentes pueden producir exactamente la misma decisión final. Es como ver a un coche conducir por una calle; sabes que se movió de A a B, pero no sabes si el conductor usaba un GPS, un mapa o simplemente adivinaba. Esto hace que los modelos informáticos estén "subdeterminados": hay demasiadas respuestas posibles y la computadora podría elegir la incorrecta solo porque se ajusta razonablemente a los datos.

El nuevo enfoque: Escuchar el monólogo interior

Este artículo presenta una nueva forma de construir estos modelos. En lugar de solo observar la decisión final, los investigadores alimentaron a los modelos informáticos con el "Cómo" también: los pensamientos hablados reales (rastros de pensar en voz alta) que las personas tuvieron mientras tomaban decisiones.

Utilizaron una inteligencia artificial muy avanzada (un Modelo de Lenguaje Grande) para actuar como detective. La IA recibió dos tipos de pistas:

• Pista A: La lista de decisiones que la persona tomó.
• Pista B: La transcripción de lo que la persona dijo mientras tomaba esas decisiones.

La IA luego intentó escribir un programa informático que pudiera explicar tanto las decisiones como los pensamientos hablados.

Lo que descubrieron

Los investigadores probaron esto con personas tomando decisiones arriesgadas (como elegir entre una recompensa pequeña segura o una oportunidad de una recompensa grande). Esto es lo que sucedió cuando añadieron los "pensamientos hablados" a la mezcla:

1. Los modelos se volvieron más inteligentes (Mejores predicciones)
Cuando la IA usó solo las decisiones, hizo suposiciones decentes. Pero cuando usó las decisiones más los pensamientos hablados, los modelos se volvieron mucho mejores para predecir lo que la persona haría la próxima vez. Es como un detective resolviendo un crimen: si solo ves las huellas, podrías adivinar al sospechoso equivocado. Pero si también escuchas la coartada del sospechoso, puedes identificar la verdad con mucha más precisión.

2. Los modelos cambiaron su "ADN" (Cambio estructural)
Esta es la parte más sorprendente. La IA no solo ajustó los números; cambió completamente el tipo de lógica que usaba para explicar la mente humana.

• Sin los pensamientos hablados: La IA pensaba principalmente que los humanos usaban un método de "Tira y afloja". Asumía que las personas calculaban el valor de la Opción A, calculaban el valor de la Opción B y luego simplemente comparaban los dos números para ver cuál era mayor.
• Con los pensamientos hablados: La IA se dio cuenta de que para la mayoría de las personas (alrededor del 70%), el cerebro funciona más como una "Licuadora de batidos". En lugar de simplemente comparar dos números separados, las personas en realidad mezclaban los ingredientes (riesgo, recompensa, probabilidad) dentro de cada opción primero, los integraban en una sola sensación y luego tomaban una decisión.

El artículo encontró que para casi 7 de cada 10 personas, añadir los pensamientos hablados obligó a la IA a abandonar el modelo de "Tira y afloja" y cambiar al modelo de "Licuadora".

La gran conclusión

El punto principal de este artículo es que escuchar cómo piensan las personas cambia el mapa que dibujamos de sus mentes.

Si solo miras el destino (la decisión), podrías dibujar un mapa que parezca una línea recta. Pero si escuchas el comentario del viajero, te das cuenta de que tomó un camino sinuoso, se detuvo a mirar una vista y quizás incluso retrocedió.

Al añadir datos de "Pensar en voz alto", los investigadores no solo obtuvieron un mapa ligeramente mejor; descubrieron que el terreno en sí era diferente de lo que pensaban. Las palabras habladas actuaron como una restricción, obligando a la computadora a dejar de adivinar y comenzar a encontrar la máquina mental real que las personas estaban usando: una maquinaria que era invisible si solo observabas sus manos.

Resumen técnico

Resumen Técnico: El Pensar en Voz Alta Reconfigura el Descubrimiento Automatizado de Modelos Cognitivos

Enunciado del Problema
Los modelos cognitivos computacionales derivados exclusivamente de datos conductuales suelen estar subdeterminados; distintos mecanismos computacionales pueden producir patrones de elección idénticos o altamente similares, lo que genera una ambigüedad sustancial en la selección de modelos (Wilson & Collins, 2019). Si bien los protocolos de "pensar en voz alta" se han utilizado durante mucho tiempo para capturar el razonamiento a nivel de proceso en lenguaje natural, el trabajo previo se ha centrado mayoritariamente en validar la fiabilidad de estos informes verbales o en desarrollar métodos para analizarlos. Una pregunta fundamental permanece inexplorada: ¿Pueden los rastros de razonamiento de "pensar en voz alta" facilitar el descubrimiento automatizado de estructuras computacionales que son irrecuperables a partir de datos conductuales únicamente?

Metodología
Los autores emplean un marco de descubrimiento de modelos automatizado denominado GeCCo (Rmus et al., 2025), que utiliza un Modelo de Lenguaje Grande (LLaMA-3.1-70B) para generar iterativamente modelos computacionales candidatos. Estos modelos se definen como funciones ejecutables que mapean las entradas de la tarea a las elecciones. Se solicita al LLM que proponga estructuras de modelo alternativas que mejoren el modelo de mejor rendimiento actual basándose en su ajuste a los datos retenidos.

El estudio aplica este marco a un conjunto de datos de toma de decisiones arriesgadas que involucra a 72 participantes. En esta tarea, los participantes realizan elecciones binarias a través de 19 ensayos basados en el paradigma establecido por Kahneman y Tversky (1979). El experimento compara dos condiciones:

1. Solo Conducta: Los modelos se descubren utilizando únicamente los datos de elección conductual.
2. Conducta + Pensar en Voz Alta: Los modelos se descubren utilizando tanto los datos conductuales como los rastros de razonamiento verbalizados de los participantes como entrada para el LLM.

Para cada participante, el proceso de descubrimiento se repite 10 veces con divisiones de datos idénticas. El modelo de mejor ajuste para cada condición se selecciona basándose en el Criterio de Información Bayesiano (BIC) (Watanabe, 2013) evaluado en 10 ensayos retenidos. Para analizar la estructura del modelo, los programas descubiertos se convierten en grafos de cómputo normalizados, de los cuales se extraen características estructurales y se agrupan utilizando HDBSCAN (McInnes et al., 2017).

Resultados Clave

1. Mejora del Rendimiento Predictivo: Los modelos descubiertos con la inclusión de datos de pensar en voz alta demostraron un rendimiento predictivo fuera de la muestra significativamente mejor. Una prueba t pareada reveló que las puntuaciones de BIC retenidas fueron significativamente más bajas para la condición de pensar en voz alta en comparación con la condición de solo conducta ($t(71) = -3.41, p = 0.001$). Específicamente, el 59.7% de los participantes mostró un BIC más bajo bajo la condición de pensar en voz alta.
2. Reconfiguración Sistemática de la Estructura del Modelo: La inclusión de datos de lenguaje a nivel de proceso no solo refinó los modelos existentes, sino que alteró sistemáticamente la clase estructural de los mecanismos descubiertos. La agrupación identificó tres familias principales de mecanismos: Utilidad Integrada, Comparador Explícito y Operador Basado en Reglas.
   • Cambios Estructurales: El 69.4% de los participantes fue asignado a diferentes grupos de mecanismos al pasar de la condición de solo conducta a la condición de pensar en voz alta.
   • Transiciones Específicas: El cambio más prominente ocurrió desde el grupo de Comparador Explícito (que calcula utilidades y las compara directamente, por ejemplo, $\Delta U = U_A - U_B$) hacia el grupo de Utilidad Integrada (que transforma e integra las opciones antes de la comparación).
   • Diferencias Cualitativas: Estas transiciones representan cambios fundamentales en la organización computacional (por ejemplo, pasar de una comparación directa de valores a un proceso de transformación e integración de ganancias/pérdidas dentro de cada opción) en lugar de variaciones superficiales de código.

Significado y Afirmaciones
El artículo afirma que los datos de lenguaje a nivel de proceso cumplen una función funcional en la restricción del espacio de modelos computacionales admisibles. Al proporcionar restricciones adicionales sobre los mecanismos cognitivos subyacentes, los rastros de pensar en voz alta resuelven la indeterminación inherente a los datos conductuales por sí solos.

Los autores concluyen que incorporar datos de pensar en voz alta:

• Mejora la calidad predictiva del descubrimiento automatizado de modelos.
• Reconfigura sistemáticamente la estructura de los modelos cognitivos descubiertos, lo que lleva a la identificación de familias de mecanismos que no son recuperables a partir de la conducta únicamente.
• Sugiere que los informes verbales no son solo datos suplementarios, sino que son críticos para descubrir la verdadera arquitectura computacional de la toma de decisiones humana.

El trabajo demuestra que los marcos de descubrimiento automatizado de modelos pueden aprovechar los rastros de lenguaje natural para ir más allá de la subdeterminación conductual, revelando mecanismos cognitivos distintos que de otro modo permanecerían ocultos.