🤖 AI

Small Foundation Models of Human Cognition and Behaviour

Este artículo demuestra que, si bien los modelos fundacionales pequeños ajustados con datos de comportamiento humano pueden igualar eficazmente a los modelos de gran escala para tareas psicológicas dentro de la distribución, solo los modelos más grandes mejoran significativamente la generalización a estructuras de tareas novedosas, con un rendimiento que depende fuertemente del procesamiento de contenido específico de estímulos y retroalimentación en lugar de solo el historial de elecciones.

Autores originales: Nick Oh, Fernand Gobet

Publicado 2026-08-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Nick Oh, Fernand Gobet

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a pensar como un humano. Durante décadas, los científicos han construido diminutas "máquinas mentales" hechas a mano (como ACT-R o Soar) que intentan explicar exactamente cómo nuestros cerebros toman decisiones, paso a paso. Pero estas máquinas son frágiles; si cambias el juego ligeramente, el robot se rompe. Recientemente, una nueva idea tomó el control: en lugar de construir una máquina mental desde cero, ¿por qué no alimentar un cerebro informático gigante y superinteligente (un Modelo de Lenguaje Extenso) con millones de ejemplos de humanos tomando decisiones reales? Si la computadora puede predecir qué hará un humano a continuación, tal vez ha aprendido las "reglas" del pensamiento humano. Este es el mundo de los "proxies cognitivos": modelos de IA que actúan como sustitutos de la mente humana. Pero queda una gran pregunta: ¿Este cerebro gigante realmente entiende la lógica del juego, o es solo un maestro del reconocimiento de patrones, memorizando atajos como un estudiante que solo memorizó la clave de respuestas sin leer el libro de texto?

Este artículo, titulado "Small Foundation Models of Human Cognition and Behaviour", se sumerge en ese misterio. Los autores, Nick Oh y Fernand Gobet, decidieron probar si realmente necesitas un cerebro "gigante" de 70 mil millones de parámetros para imitar el comportamiento humano, o si un modelo mucho más pequeño, de "tamaño de bolsillo", podría lograrlo. Entrenaron catorce modelos de IA diferentes, que van desde los diminutos (135 millones de parámetros) hasta los grandes (14 mil millones), utilizando un conjunto de datos masivo llamado Psych-101, que contiene más de 10 millones de elecciones realizadas por personas en 160 experimentos psicológicos diferentes.

Aquí está lo que encontraron, y es un giro en la trama. Primero, descubrieron que el tamaño no importa tanto como uno pensaría si solo estás mirando los mismos tipos de juegos que la IA ya ha visto. Un modelo diminuto con solo 0,6 mil millones de parámetros podía desempeñarse casi tan bien como el gigante de 70 mil millones de parámetros al predecir elecciones en experimentos familiares. Es como un perro pequeño y ágil aprendiendo un truco específico tan rápido como un enorme Gran Danés. Sin embargo, en el momento en que les lanzaron un nuevo tipo de juego (fuera de la distribución), el tamaño volvió a importar de repente. Los modelos más grandes eran mucho mejores para descifrar las reglas de un juego que nunca habían visto antes, mientras que los pequeños se confundían.

Pero la parte más emocionante es cómo están aprendiendo estos modelos. Algunos críticos temían que estas IA estuvieran simplemente recurriendo a correlaciones espurias al ignorar las reglas reales del juego y solo observar el historial de elecciones pasadas (como adivinar la siguiente carta de una baraja simplemente contando lo que ya se ha jugado). Para probar esto, los autores jugaron un juego de "escondite" con la información. Eliminaron sistemáticamente partes del prompt: ocultaron las instrucciones, desenfocaron los estímulos del juego (las imágenes o números), borraron la retroalimentación e incluso desordenaron el orden de los ensayos.

Los resultados fueron dramáticos. Cuando desenfocaron el contenido real del juego (los estímulos y la retroalimentación), el rendimiento de los modelos se desplomó, cayendo por debajo de lo que obtendrías simplemente adivinando al azar. Esto demuestra que los modelos no solo están memorizando una secuencia de respuestas; realmente están prestando atención al contenido del juego. Además, cuando desordenaron el orden de los ensayos en un juego donde el orden no debería importar, a los modelos no les importó. Pero cuando desordenaron un juego donde el orden sí importaba, los modelos se confundieron. Esto sugiere que la IA es lo suficientemente inteligente como para saber cuándo la secuencia de eventos es importante y cuándo no lo es.

En resumen, estos modelos pequeños y ajustados son excelentes estimadores del "techo de ruido". Piensa en un techo de ruido como un techo de cristal para qué tan bien podemos predecir el comportamiento humano. Si un modelo alcanza este techo, significa que hemos encontrado todos los patrones predecibles en los datos, y cualquier error restante es simplemente "ruido" humano aleatorio. Estos modelos pequeños demuestran que podemos alcanzar este techo sin necesidad de una supercomputadora, pero también nos recuerdan que estos modelos son tan buenos como los juegos con los que han sido entrenados. Son brillantes imitando el comportamiento humano en el laboratorio, pero aún no son una teoría completa de cómo funciona la mente humana; son un espejo muy preciso, pero no la persona que se mira en él.

Resumen Técnico: Pequeños Modelos Fundacionales de la Cognición y el Comportamiento Humano

Planteamiento del Problema
Los modelos de lenguaje de gran tamaño (LLMs) ajustados con datos de comportamiento humano, como el modelo Centaur de 70 mil millones de parámetros, han emergido como proxies cognitivos de propósito general. Sin embargo, dos cuestiones críticas permanecen sin resolver respecto a este paradigma:

Necesidad de Escala: ¿Es el masivo recuento de parámetros (p. ej., 70B) necesario para la precisión predictiva, o es un artefacto de configuraciones de entrenamiento específicas?
Mecanismo de Aprendizaje: ¿Procesan estos modelos genuinamente la estructura de la tarea y los estímulos, o explotan atajos estadísticos (p. ej., depender únicamente del historial de elecciones o plantillas de prompts)?

Trabajos previos han sugerido que los modelos podrían depender de "atajos", pero ningún estudio ha descomponido sistemáticamente el prompt para aislar los canales de información específicos utilizados. Además, no está claro hasta qué punto estos modelos generalizan a estructuras de tareas novedosas (fuera de la distribución) frente al ajuste de la distribución de entrenamiento (dentro de la distribución).

Metodología
Los autores entrenaron catorce modelos de cuatro familias de arquitecturas (Qwen3, Llama-3/3.2, SmolLM2/3 y OLMo2/3) con recuentos de parámetros que oscilan entre 135M y 14B. Estos modelos fueron ajustados mediante fine-tuning en Psych-101, un conjunto de datos que comprende 10.7 millones de elecciones a nivel de ensayo de más de 60,000 participantes en 160 experimentos psicológicos.

El estudio empleó un diseño experimental riguroso variando tres factores de forma independiente:

Escala del Modelo: Comparación de modelos desde 0.1B hasta 14B de parámetros.
Capacidad del Adaptador: Barrido de rangos de LoRA ( $r$ ) de 4 a 64 para determinar si la capacidad del adaptador puede sustituir a los parámetros del modelo.
Datos de Entrenamiento: Uso de subconjuntos anidados y estratificados por experimento de Psych-101 para aislar el efecto de la cantidad de datos.

Para diagnosticar qué aprenden los modelos, los autores realizaron ablaciones estructurales y pruebas de permutación a través de 32 experimentos:

Descomposición del Prompt: El prompt se descompuso en cuatro canales de información: Instrucciones de la Tarea ( $I$ ), Estímulos Experimentales ( $S$ ), Retroalimentación de Resultados ( $F$ ) e Historial de Elecciones ( $C$ ).
Condiciones de Ablación: Los modelos fueron probados bajo cuatro condiciones: Original, con ablación de instrucciones, con contenido enmascarado (reemplazando estímulos/retroalimentación específicos con marcadores de posición genéricos) y solo historial.
Permutación de Orden: Se permutaron los órdenes de los ensayos en dos experimentos: uno con ensayos independientes (intercambiables) y otro con ensayos adaptativos (no intercambiables) para probar la sensibilidad a las dependencias secuenciales.

Resultados Clave

Rendimiento Dentro de la Distribución (Psych-101):
- La escala no es el factor limitante: Dentro de la distribución de entrenamiento, la escala del modelo apenas importa. Los modelos pequeños (0.6B a 1B de parámetros) con altos rangos de adaptador (p. ej., $r=32$ ) igualan o superan el rendimiento de una línea base de 70B.
- Sustitución por Adaptador: La capacidad del adaptador sustituye al recuento de parámetros. Un modelo de 0.6B con un rango de 64 logra el mismo rendimiento que un modelo de 14B con un rango de 4, a pesar de tener 23 veces menos parámetros.
- Rendimientos Decrecientes: El aumento de los datos de entrenamiento genera rendimientos decrecientes; la ganancia al duplicar el tamaño del conjunto de datos disminuye constantemente.
Rendimiento Fuera de la Distribución (Psych-201-RT):
- La Escala Reaparece: Al ser probados en experimentos no vistos, la brecha de rendimiento se amplía significativamente. Los modelos más grandes demuestran una clara ventaja al generalizar a estructuras de tareas novedosas.
- Transferencia vs. Ajuste: El tamaño del modelo es una elección sobre la capacidad de transferencia más que sobre el ajuste dentro de la distribución. El "techo de ruido" (la mejor predicción alcanzable) para tareas dentro de la distribución es alcanzado por modelos pequeños, pero este techo no se extiende a tareas fuera de la distribución sin una mayor capacidad.
Hallazgos Diagnósticos (Descomposición del Prompt):
- El Contenido es Crítico: Enmascarar el contenido de los estímulos y la retroalimentación destruye el 75.7% de la información aprendida, situando a los modelos por debajo del rendimiento de azar. Esto refuta la hipótesis del atajo de "solo historial".
- Plantilla vs. Contenido: Eliminar las instrucciones cuesta poco (pérdida del 12.5%), pero eliminar el contenido de la plantilla lo cuesta casi todo. Los modelos dependen de la información específica proporcionada al participante, no solo del formato estructural.
- Sensibilidad Adaptativa a la Tarea: Los modelos exhiben invariancia de orden en tareas con ensayos independientes (intercambiables), pero mantienen la sensibilidad al orden de los ensayos en tareas adaptativas. Esto indica que los modelos aprenden la estructura computacional de las tareas específicas en lugar de aplicar un heurístico secuencial uniforme.

Significancia y Reivindicaciones
El artículo postula un papel modesto pero específico para estos modelos pequeños con ajuste cognitivo:

Estimadores del Techo de Ruido: Estos modelos sirven como límites empíricos (techos de ruido) para experimentos psicológicos. Estiman qué tanto del comportamiento en un paradigma dado es predecible, identificando así la "brecha" donde las teorías interpretables actuales fallan. Esto se alinea con el concepto de "minimización del arrepentimiento científico".
No son Teorías Cognitivas: Los autores declaran explícitamente que estos modelos no son teorías de la cognición en la tradición de ACT-R o Soar. No postulan ninguna arquitectura, no se comprometen con ningún mecanismo y no explican cómo se genera una elección.
Validez del Instrumento: Los modelos son instrumentos válidos porque sus predicciones descansan en la información real que los participantes utilizaron (estímulos y retroalimentación), como lo demuestran los estudios de ablación. Sin embargo, su utilidad está limitada por los paradigmas vistos en el entrenamiento; no generalizan de manera fiable más allá del alcance de Psych-101 sin un escalado significativo.

En conclusión, el estudio demuestra que 70 mil millones de parámetros no son necesarios para ajustar datos de comportamiento humano dentro de paradigmas conocidos, pero se requiere una escala mayor para la transferencia a estructuras novedosas. Los modelos pequeños resultantes ofrecen un punto de referencia basado en datos para evaluar y mejorar las teorías cognitivas de nivel de proceso, siempre que su alcance se entienda como un estimador de la predictibilidad y no como una explicación mecánica.

Más como este