Taming the Centaur(s) with LAPITHS: a framework for a theoretically grounded interpretation of AI performances

A continuación se presenta un resumen técnico detallado del artículo "Domando a los Centauros con Lapitas: Un Marco para una Interpretación Teóricamente Fundada de las Performances de la IA."

1. Planteamiento del Problema

El artículo aborda un problema metodológico crítico en la IA contemporánea y la ciencia cognitiva: la "Falacia de Atribución". Esta falacia ocurre cuando los investigadores confunden el rendimiento conductual a nivel humano (similitud en la salida) con mecanismos computacionales similares a los humanos (plausibilidad estructural/cognitiva).

Los autores se centran en Centaur, un reciente "Modelo Unificado de Cognición" propuesto por Binz et al. (2025). Centaur es un Modelo de Lenguaje Grande (LLM) ajustado fino (basado en Llama 3.1 70B) entrenado en el conjunto de datos Psych-101 (más de 10 millones de decisiones humanas procedentes de 160 experimentos psicológicos). Los defensores afirman que Centaur no solo predice el comportamiento humano, sino que también implementa mecanismos cognitivamente plausibles y se alinea con la actividad neural humana (fMRI).

Los autores argumentan que el éxito de Centaur es probablemente el resultado de una optimización funcionalista (ajuste de estadísticas de entrada-salida) en lugar de una homología estructural (compartir mecanismos cognitivos subyacentes). Plantean que una alta precisión predictiva y una correlación neural no implican necesariamente que el sistema posea una cognición similar a la humana.

2. Metodología: El Marco LAPITHS

Para evaluar rigurosamente tales afirmaciones, los autores introducen LAPITHS (Análisis de Modelos de Lenguaje a través de Interpretaciones Fundamentadas en Paradigmas de Tesis sobre la Similitud Humana). Este marco combina el análisis teórico con la replicación empírica, centrado en la Cuadrícula Cognitiva Mínima (MCG).

A. La Cuadrícula Cognitiva Mínima (MCG)

La MCG evalúa los sistemas artificiales a través de tres dimensiones cuantitativas para determinar la "Plausibilidad Cognitiva" ($PM$):

1. Ratio Funcional/Estructural (FSR):
   • Mide el equilibrio entre el diseño funcional (ajuste de salida) y el diseño estructural (adherencia a teorías cognitivas).
   • Utiliza un conjunto de restricciones estructurales ($c_1...c_k$) derivadas de la ciencia cognitiva (por ejemplo, límites de memoria de trabajo, aprendizaje incremental, planificación basada en modelos).
   • Calcula una puntuación donde un FSR bajo indica alta plausibilidad estructural, y un FSR alto indica que el sistema depende de la imitación funcional sin restricciones estructurales.
2. Generalidad ($G_M$):
   • Evalúa la amplitud de los dominios cognitivos cubiertos, basándose en la teoría de las habilidades cognitivas Cattell–Horn–Carroll (CHC).
   • Evalúa el rendimiento en dominios como el Razonamiento Fluido, el Conocimiento Cuantitativo, el Procesamiento Visual y las habilidades Sensoriales/Motoras.
3. Ajuste de Rendimiento ($P_{MM}$):
   • Compara el sistema artificial con los baselines humanos en tareas específicas utilizando:
     • Precisión: Desviación de la Negativa Log-Verosimilitud (NLL) humana.
     • Patrones de Error: Replicación de las distribuciones de error humanas (por ejemplo, estrategias basadas en modelos frente a no basadas en modelos).
     • Tiempo de Ejecución: Alineación con los tiempos de respuesta humanos (aunque a menudo no disponible para LLMs).

La Puntuación de Plausibilidad Cognitiva ($PM$) final es una suma ponderada de estas dimensiones ($PM = \lambda \cdot FSR' + \mu \cdot G_M + \nu \cdot P_{MM}$).

B. Estrategia de Replicación Empírica

Los autores aplicaron LAPITHS a la Tarea de Dos Pasos (TST), un paradigma canónico de aprendizaje por refuerzo utilizado para probar estrategias basadas en modelos frente a no basadas en modelos.

1. Replicación Conductual: Probaron si los LLMs estándar, no ajustados finamente (utilizando Generación Aumentada por Recuperación (RAG) para acceder a las reglas de la tarea), podían replicar el ajuste conductual de Centaur (NLL) en la TST.
2. Replicación Neural: Probaron si estos mismos LLMs basados en RAG podían generar patrones de activación de Interés de Región (ROI) en fMRI que correlacionaran con datos humanos, sin un ajuste fino neurocientífico específico.

3. Contribuciones Clave

• Marco Teórico: Formaliza la distinción entre adecuación funcional y plausibilidad cognitiva, proporcionando una métrica (MCG) para cuantificar la "Falacia de Atribución".
• Crítica a Centaur: Demuestra que Centaur no cumple con las restricciones estructurales clave de la cognición humana (específicamente en lo que respecta al aprendizaje incremental y los límites de memoria), a pesar de su alta precisión conductual.
• Desafío Empírico: Muestra que la alineación conductual y neural "de última generación" no es exclusiva de modelos especializados y ajustados finamente como Centaur, sino que puede lograrse mediante LLMs de propósito general mediante un simple prompting y recuperación.

4. Resultados Clave

A. Análisis MCG de Centaur

• Fallo Estructural: Centaur obtuvo una puntuación muy baja en el Ratio Funcional/Estructural ($FSR' \approx 0.18$).
  • No implementó aprendizaje incremental (utiliza entrenamiento por lotes, no actualizaciones en línea).
  • No implementó planificación basada en modelos explícitamente (aproxima la salida mediante un paso adelante sin un modelo de transición interno).
  • No respetó los límites de memoria de trabajo (su ventana de contexto es ilimitada, a diferencia de la capacidad humana).
• Alto Ajuste de Rendimiento: Centaur logró una alta $P_{MM}$ ($0.83$) porque fue entrenado explícitamente para coincidir con las elecciones humanas.
• Plausibilidad General: La puntuación compuesta fue baja ($PM = 0.39$), lo que indica que, aunque Centaur es un buen predictor, es un mal modelo cognitivo.

B. Replicación Conductual (NLL)

• RAG vs. Ajuste Fino: Varios LLMs de propósito general (Llama Maverick, GPT-4o, GPT-5.1) equipados con RAG (accediendo a las reglas de la tarea) lograron puntuaciones NLL comparables a las de Centaur.
• Significancia Estadística:
  • Llama Maverick (RAG): NLL $\approx 0.54$ frente a NLL de Centaur $\approx 0.51$. La diferencia no fue estadísticamente significativa ($p \approx 0.095$).
  • Otros modelos (GPT-5.1, Gemini-2.5) mostraron diferencias marginales, estadísticamente significativas, en comparación con Centaur, pero todos superaron significativamente la línea base de Llama 3.1 y los modelos cognitivos estándar.
• Conclusión: El ajuste fino especializado no es estrictamente necesario para lograr un ajuste conductual a nivel humano en esta tarea.

C. Alineación Neural (fMRI)

• Alta Correlación sin Entrenamiento: Los LLMs basados en RAG (por ejemplo, Gemini-2.5 Pro, Llama Maverick) generaron vectores beta de ROI que mostraron una correlación muy alta con los datos de fMRI humanos (Pearson $r \approx 0.93$, Similitud Coseno $\approx 0.98$).
• Comparación con Centaur: Estos valores fueron significativamente más altos que la correlación máxima reportada para Centaur en el estudio original ($r \approx 0.37$).
• Implicación: Una alta alineación representacional con la actividad cerebral humana puede lograrse mediante modelos generales simplemente procesando la estructura de la tarea, sin necesidad de un ajuste fino "neural". Esto sugiere que la similitud representacional es un indicador débil del mecanismo cognitivo.

5. Significado y Conclusión

El artículo concluye que los logros de modelos como Centaur están sobreinterpretados.

• Adecuación Conductual $\neq$ Plausibilidad Cognitiva: Una alta precisión predictiva e incluso una alta correlación neural no prueban que un sistema implemente mecanismos cognitivos similares a los humanos.
• El Peligro de la Atribución: Atribuir teorías cognitivas a sistemas de IA basándose únicamente en el ajuste de salidas conduce a la "Falacia de Atribución", donde la IA es confundida con un modelo genuino de la mente.
• Dirección Futura: Los autores abogan por un cambio en la evaluación de la IA, pasando de benchmarks puramente impulsados por el rendimiento a criterios teóricamente fundamentados (como la MCG) que impongan restricciones estructurales (límites de memoria, dinámicas de aprendizaje, encarnación).
• Núcleo Cognitivo Mínimo: Proponen el desarrollo de un "Núcleo Cognitivo Mínimo" para la IA futura, asegurando que los roles funcionales se realicen dentro de sistemas que respeten las restricciones arquitectónicas de la cognición biológica.

En esencia, el artículo argumenta que, aunque Centaur es un potente emulador conductual, no es un modelo cognitivo, y un rendimiento similar puede lograrse mediante sistemas menos especializados, lo que hace que la afirmación de "alineación cognitiva" sea teóricamente subdeterminada.