On the use of foundation models in cognitive science

Resumen Técnico: Sobre el uso de modelos fundacionales en la ciencia cognitiva

Planteamiento del problema
Estudios recientes han demostrado que los Modelos Fundacionales (MF)—incluyendo modelos de lenguaje de gran escala, modelos multimodales y variantes restringidas como BabyLMs—pueden reproducir firmas conductuales de la cognición humana en dominios tales como el razonamiento matemático, la comprensión del lenguaje y el razonamiento analógico. Sin embargo, los autores argumentan que utilizar los MF como modelos cognitivos explicativos plantea desafíos metodológicos y conceptuales significativos. El problema central es que la alineación conductual (la correspondencia estadística entre las salidas del modelo y los datos humanos) no identifica inherentemente los mecanismos que generan esos comportamientos. Sin un marco inferencial estructurado, las similitudes observadas corren el riesgo de ser incidentales, y tratar a los MF como modelos cognitivos sin restricciones rigurosas puede conducir a "proxies conductuales" en lugar de modelos explicativos. El artículo plantea: ¿Bajo qué condiciones la alineación conductual justifica tratar a los MF como modelos explicativos de la cognición?

Metodología: Un marco inferencial de cuatro etapas
El artículo propone un marco estructurado de cuatro etapas para evaluar los MF como modelos cognitivos y del desarrollo. Este marco separa la adaptación de tareas, el vínculo de hipótesis, la evaluación conductual y la comparación contrastiva de modelos para restringir la interpretación de la alineación.

1. Adaptación de estímulos y tareas experimentales: Los materiales experimentales humanos deben traducirse a modalidades de entrada-salida compatibles con los MF. Esto asegura que el modelo y los participantes humanos realicen tareas funcionalmente equivalentes. Por ejemplo, las Matrices Progresivas de Raven visuales se convierten en "matrices de dígitos" simbólicas para preservar la estructura relacional mientras se acomoda la modalidad textual de los MF.
2. Especificación de hipótesis de vinculación: Los investigadores deben definir explícitamente cómo las salidas del modelo se mapean con aspectos medibles del comportamiento humano. Esta etapa es crítica, ya que determina qué cuenta como evidencia de alineación. El artículo analiza cuatro hipótesis de vinculación comunes:
   • Similitud: Mapear la geometría del espacio representacional de un modelo (por ejemplo, distancias de embedding) con los juicios humanos de tipicidad o tiempos de respuesta.
   • Sorpresa (Surprisal): Utilizar la probabilidad negativa del logaritmo de los tokens para predecir los tiempos de respuesta humanos o la dificultad de procesamiento.
   • Prompting (Instrucción): Instruir al modelo para que siga los mismos protocolos que los participantes humanos para comparar directamente las distribuciones de generación o las probabilidades de elección.
   • Vinculación de trazas de proceso: Mapear las propiedades de las trazas de generación intermedias (por ejemplo, conteo de tokens de razonamiento, longitud de pasos) con la dinámica de procesamiento o el esfuerzo cognitivo humano.
3. Evaluación de la correspondencia: El rendimiento del modelo se compara con los datos humanos utilizando medidas estadísticas de bondad de ajuste. Crucialmente, la alineación debe evaluarse no solo en agregado, sino a través de variaciones teóricamente diagnósticas (por ejemplo, a través de condiciones, individuos o estímulos) para asegurar que el modelo capture mecanismos cognitivos específicos en lugar de tendencias generales.
4. Comparación entre modelos: Demostrar la alineación en un solo modelo proporciona solo una "prueba de posibilidad". El valor explicativo se deriva de la evaluación contrastiva: comparar diferentes arquitecturas, regímenes de entrenamiento, escalas o variantes abladas para identificar qué componentes computacionales son necesarios para reproducir una firma conductual específica.

Contribuciones clave
El artículo realiza tres contribaciones primarias al campo de la ciencia cognitiva:

• Delineación estructural: Presenta un marco de cuatro etapas (Figura 1) que separa el bucle de alineación interna (Etapas 1–3: adaptación, vinculación, evaluación) del bucle de contraste externo (Etapa 4: comparación). Esta estructura clarifica cómo cada etapa restringe la interpretación de la alineación.
• Rol teórico de las hipótesis de vinculación: Articula el papel interpretativo de las hipótesis de vinculación, enfatizando que no son mapeos neutrales, sino compromisos teóricos que definen cómo se interpreta el comportamiento del modelo. El artículo demuestra que un ajuste sólido bajo una hipótesis de vinculación (por ejemplo, prompting) puede debilitarse o desaparecer bajo otra (por ejemplo, similitud representacional), sugiriendo que la alineación es una propiedad del modelo evaluado bajo supuestos específicos, no del modelo por sí solo.
• Directrices para la evaluación explicativa: Destila el marco en principios operativos para diseñar evaluaciones que prioricen el valor explicativo sobre la similitud descriptiva. Estas directrices enfatizan los contrastes de medición diagnóstica, la preservación de la estructura de la tarea, la triangulación a través de supuestos de vinculación y la evaluación comparativa contra líneas base y variantes manipuladas.

Resultados y análisis de desafíos
El artículo no presenta nuevos resultados empíricos, sino que sintetiza la literatura existente para identificar cuatro desafíos inferenciales clave que surgen al usar los MF como modelos cognitivos:

1. Indeterminación teórica: Un alto ajuste de bondad de ajuste agregado puede ocultar fallos en contrastes diagnósticos críticos. Las afirmaciones de alineación se fortalecen solo cuando los modelos explican un conjunto amplio de fenómenos y contrastes diagnósticos relacionados teóricamente, en lugar de regularidades empíricas aisladas.
2. Opacidad mecánica: Los MF pueden resolver tareas a nivel computacional mientras divergen a nivel algorítmico (dependiendo de diferentes representaciones o estrategias de búsqueda). El artículo señala que los componentes internos del modelo (capas, cabezales de atención) no se mapean limpiamente con constructos cognitivos (por ejemplo, memoria de trabajo), lo que dificulta la inferencia entre niveles. La interpretabilidad mecánica y las intervenciones causales (Etapa de comparación) se proponen como rutas necesarias para validar si un modelo implementa constructos cognitivos específicos.
3. Desajuste de entrenamiento y desarrollo: Las diferencias entre el entrenamiento de los MF (predicción del siguiente token en corpus estáticos) y el aprendizaje humano (interactivo, con andamiaje, biológico) complican las afirmaciones de alineación del desarrollo. Aunque los puntos de control de entrenamiento intermedios ofrecen oportunidades para rastrear trayectorias de desarrollo, tales correspondencias siguen siendo correlacionales a menos que se prueben manipulaciones causales de los regímenes de entrenamiento o el orden de los datos.
4. Variabilidad y alineación a nivel de población: Los MF suelen entrenarse en datos agregados, ignorando a menudo las diferencias individuales. El artículo argumenta que las afirmaciones de alineación corren el riesgo de sobreestimar la generalidad si ignoran la variación estructurada entre individuos, grupos o contextos. La variabilidad debe tratarse como un objetivo para la explicación en lugar de como ruido.

Significancia y afirmaciones
El artículo sostiene que el ajuste conductual por sí solo es insuficiente para establecer a los MF como modelos explicativos de la cognición. La alineación se vuelve científicamente significativa solo cuando se inserta dentro de:

• Compromisos teóricos explícitos.
• Tareas diagnósticas de la teoría.
• Evaluación contrastiva sistemática entre modelos candidatos.

Los autores no abogan por la adopción acrítica de los MF como modelos cognitivos. En cambio, argumentan que su valor científico reside en su potencial para iluminar qué principios computacionales son suficientes (y quizás necesarios) para reproducir patrones característicos de la cognición humana. El marco propuesto se ofrece no como una prescripción fija, sino como una estructura necesaria para asegurar que las afirmaciones de alineación se desarrollen con los apropiados guardarraíles teóricos y empíricos, agudizando finalmente la comprensión de la estructura, los límites y el desarrollo del pensamiento humano.