🧬 biology

The Variance Brain Foundation Models Forgot: Third-Order Statistics Predict Cognition Where Billion-Parameter Models Fail

A pesar de su escala, los modelos fundacionales cerebrales actuales no logran predecir el rendimiento cognitivo porque sus objetivos de preentrenamiento descartan estructuras estadísticas de tercer orden cruciales (co-asimetría), una limitación que puede superarse mediante un sencillo proceso lineal, independiente del preentrenamiento, que preserve explícitamente estas características de orden superior para superar tanto a los modelos como a las líneas de base estándar de conectividad funcional.

Autores originales: Giovanni Marraffini, Gabriel Mahuas, Trinidad Borrell, Victoria Shevchenko, Demian Wassermann

Publicado 2026-06-04

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Giovanni Marraffini, Gabriel Mahuas, Trinidad Borrell, Victoria Shevchenko, Demian Wassermann

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

La visión general: El modelo de cerebro "inteligente" que no entendió el punto

Imagina que tienes a un estudiante superinteligente (un Modelo de Fundación Cerebral) que se ha leído todos los libros de texto sobre cómo funciona el cerebro. Le das un examen: "Mira este escaneo cerebral y dime qué tan inteligente es la persona".

Esperas que este estudiante saque una nota excelente porque es enorme, complejo y ha sido entrenado con cantidades masivas de datos. Pero, en cambio, reprueba estrepitosamente. Una calculadora simple y anticuada (una regresión lineal) que solo observa los datos brutos del escaneo cerebral, en realidad obtiene una puntuación mucho mejor.

Aún más extraño: cuando los investigadores hicieron al "estudiante inteligente" más grande y poderoso, este empeoró en el examen.

Este artículo explica por qué sucedió esto y cómo lo solucionaron.

1. El problema: Escuchar el ruido equivocado

Piensa en un escaneo cerebral (fMRI) como la grabación de una calle concurrida en una ciudad.

El Ruido: La grabación está dominada por sonidos fuertes y obvios: el estruendo de un autobús (latidos del corazón), el viento (respiración) y el arrastrar de pies de la gente (movimiento de la cabeza). Estos son los sonidos "dominantes".
La Señal: La conversación real entre dos personas (el pensamiento cognitivo) es silenciosa y sutil. Está oculta en los patrones complejos y rítmicos de cómo tres o más personas hablan simultáneamente entre sí.

Lo que hizo la IA: Los modelos de IA fueron entrenados para "reconstruir" la grabación. Su objetivo era que la salida sonara exactamente igual que la entrada. Debido a que los ruidos fuertes (latidos, respiración) eran mucho más fuertes que la conversación silenciosa, la IA aprendió a ser perfecta copiando el ruido. Se convirtió en una experta en predecir el estruendo del autobús, pero ignoró por completo la conversación silenciosa.

El Resultado: Los modelos de IA fueron tan buenos copiando el "ruido" que olvidaron la "señal". Fallaron al predecir la cognición humana porque estaban demasiado ocupados concentrándose en las partes ruidosas y aburridas de los datos.

2. La paradoja de la "Escala Inversa"

Normalmente, en la IA, si haces un modelo más grande (le das más capacidad cerebral), este se vuelve más inteligente.

El hallazgo del artículo: Aquí ocurrió lo contrario. Los investigadores probaron una IA "pequeña" (111 millones de parámetros) y una IA "enorme" (650 millones de parámetros).
El giro inesperoso: La IA enorme fue peor prediciendo la cognición que la pequeña.
¿Por qué? La IA más grande era incluso mejor copiando el ruido fuerte. Tenía más capacidad para memorizar los latidos y la respiración, por lo que ahogaba las sutiles señales cognitivas de manera aún más efectiva. Era como contratar un micrófono gigante y superpreciso que solo amplificaba el ruido del tráfico y tapaba la conversación.

3. La solución: Mirar los patrones de "Tercer Orden"

Los investigadores se dieron cuenta de que el pensamiento humano no se trata solo de dos regiones cerebrales hablando entre sí (que es lo que los escaneos cerebrales estándar suelen medir). Se trata de tres regiones interactuando de una manera específica y compleja al mismo tiempo.

La Analogía:
- Segundo Orden (Estándar): Dos amigos, Alice y Bob, hablando. Puedes medir qué tan seguido hablan.
- Tercer Orden (El ingrediente secreto): Alice, Bob y Charlie están en una habitación. Lo interesante no es solo que Alice le hable a Bob; es el momento específico en que los tres reaccionan a un chiste simultáneamente. Esta interacción compleja de tres vías es donde reside el "pensamiento".

Los modelos de IA estándar eran ciegos a esta interacción de "tercer orden" porque su método de entrenamiento (intentar copiar el sonido bruto) la destruía.

4. El arreglo: El "Filtro de Denotación"

En lugar de intentar construir una IA más grande, los investigadores construyeron un filtro simple y astuto.

El Método: Utilizaron una técnica matemática llamada descomposición de Tucker. Piensa en esto como unas gafas especiales que filtran los ruidos fuertes del autobús y el viento, dejando solo las conversaciones complejas de tres vías.
El Resultado:
1. Tomaron los datos brutos del cerebro.
2. Los pasaron a través de este "filtro de tercer orden".
3. Midieron las conexiones dentro de este espacio filtrado.
4. ¡Boom!: Este método simple, no basado en IA, predijo la cognición humana mejor que cualquier modelo de IA preentrenado. Fue tan bueno que superó los mejores resultados previos en el campo, todo sin necesidad de una supercomputadora o un entrenamiento costoso.

5. El milagro del "Ajuste Fino" (Fine-Tuning)

Los investigadores luego se preguntaron: "¿Podemos enseñar a la gran IA a ver esto?".

Tomaron la IA masiva y le dieron una nueva tarea para la casa. En lugar de solo "copiar el sonido", le dijeron: "Copia el sonido, pero asegúrate de mantener intactas las conversaciones complejas de tres vías".

El Resultado: Cuando hicieron esto, la IA de repente se volvió tan buena como el filtro simple. Pasó de fallar el examen a aprobarlo con excelencia.
La Lección: La IA no era "tonta" ni "demasiado pequeña". Simplemente fue entrenada con el objetivo equivocado. El problema no era la arquitectura (el cerebro del modelo); el problema era el objetivo (lo que se le pidió aprender).

Resumen de las ideas clave

Más grande no siempre es mejor: En el modelado cerebral, hacer la IA más grande solo la hizo mejor para copiar el "ruido" (latidos/movimiento) y peor para encontrar la "señal" (el pensamiento).
La señal está oculta en lo complejo: La cognición humana vive en interacciones complejas de tres vías (estadísticas de tercer orden), las cuales los métodos de entrenamiento de la IA estándar eliminan accidentalmente.
Lo simple es poderoso: Un filtro matemático simple que se enfoca en estas interacciones complejas funciona mejor que los modelos de IA de miles de millones de parámetros.
El objetivo importa más: Si le enseñas a una IA lo que realmente debe buscar (preservar esas interacciones complejas), incluso un modelo estándar puede superar a los gigantes del "estado del arte".

En pocas palabras: Los investigadores descubrieron que los modelos de IA "inteligentes" estaban demasiado ocupados escuchando el ruido del tráfico para poder oír la conversación. Al construir un filtro que silencia el tráfico y amplifica las complejas conversaciones grupales, encontraron una forma de predecir el pensamiento humano mejor que cualquier modelo de IA gigante.

Resumen Técnico: Los Modelos Fundacionales de Cerebro que Olvidaron la Varianza

Planteamiento del Problema
Los Modelos Fundacionales de Cerebro (BFM, por sus siglas en inglés) son Transformers autosupervisados preentrenados con datos de fMRI con el objetivo de aprender representaciones ricas de la actividad cerebral para predecir el rendimiento cognitivo. La hipótesis prevalente sugiere que los Transformers profundos, con su capacidad para modelar interacciones complejas más allá de las correlaciones de pares, deberían superar a los baselines clásicos de Conectividad Funcional (FC). Sin embargo, este artículo demuestra que los actuales modelos fundacionales de estado del arte (específicamente BrainLM, Brain-JEPA y BrainMass) no logran capturar la varianza necesaria para la predicción de la cognición. En su lugar, rinden por debajo de una regresión lineal simple sobre matrices de FC crudas (aprox. 80K parámetros). Además, el artículo identifica un fenómeno de "escalado inverso" donde los modelos más grandes (por ejemplo, el de 650M de parámetros de BrainLM) funcionan peor que los más pequeños (111M), lo que sugiere que el aumento de la capacidad se está desperdiciando en el ajuste de ruido dominante no cognitivo en lugar de en la estructura relevante para la tarea.

Metodología
Los autores emplean un protocolo de evaluación riguroso basado en Ooi et al. [2022], utilizando validación cruzada anidada replicada (20 repeticiones × 10 pliegues) a través de dos conjuntos de datos: AOMIC-ID1000 (N=876) y HCP (N=955), con dos parcelaciones (AAL-424 y Schaefer-400).

Análisis Estadístico mediante Cumulantes: El artículo enmarca el análisis utilizando la expansión de cumulantes conjuntos.
- $\kappa_2$ (Segundo orden): Representa la covarianza de pares (FC estándar).
- $\kappa_3$ (Tercer orden): Representa la co-asimetría (skewness) de tres vías, capturando la estructura no gaussiana invisible para la FC.
  Los autores analizan las reconstrucciones de los BFM para determinar qué órdenes estadísticos se preservan. Encuentran que, si bien $\kappa_2$ se preserva parcialmente, $\kappa_3$ es mayormente destruido por el objetivo de preentrenamiento de Error Cuadrático Medio (MSE), el cual prioriza el ruido fisiológico de alta varianza (cardíaco, respiratorio, movimiento) sobre la señal cognitiva sinérgica.
Pipeline Lineal Propuesto (Descomposición de Tucker): Para recuperar la estructura perdida de $\kappa_3$ sin aprendizaje profundo, los autores proponen un pipeline lineal:
- Calcular el tensor de co-asimetría empírica ( $S \in \mathbb{R}^{P \times P \times P}$ ) a partir de los datos de entrenamiento.
- Realizar una descomposición de Tucker (SVD de orden superior) para extraer un subespacio espacial de bajo rango ( $U$ ) que maximice la estructura de tercer orden.
- Proyectar las series temporales de las ROI en este subespacio.
- Calcular la FC dentro de este subespacio informado por $\kappa_3$ .
- Alimentar estas características en un predictor de Regresión de Ridge con Kernel (KRR).
Estrategia de Ajuste Fino (Finetuning): Para probar si el cuello de botella es la arquitectura del BFM en sí o simplemente el objetivo de preentrenamiento, los autores ajustan finamente BrainLM utilizando una pérdida de "momento dual". Esta pérdida alinea la reconstrucción no solo con la señal cruda, sino también con la FC calculada dentro del subespacio óptimo de $\kappa_3$ -Tucker (utilizando una métrica de distancia Log-Cholesky).

Resultados Clave

Bajo Rendimiento de los BFM: Bajo el protocolo de Ooi et al., todos los tres BFM logran puntuaciones de predicción de la cognición insignificantes (Pearson $r \approx 0.00$ a $0.18$), significativamente peores que los baselines de FC cruda ( $r \approx 0.31$ a $0.39$).
Escalado Inverso: En la familia BrainLM, el modelo de 650M predice la cognición peor que el de 111M, confirmando que escalar los parámetros sin cambiar el objetivo exacerba el fallo en la captura de la varianza cognitiva.
Fallo de Preservación de Cumulantes: El análisis de las reconstrucciones de los BFM muestra que el error de $\kappa_2$ es moderado (error relativo del 29–47%), pero el error de $\kappa_3$ es catastrófico (NMSE 2.6–6.2 $\times$ la energía de entrada), indicando que los modelos descartan el orden estadístico específico donde reside la información relevante para la cognición.
Superioridad del Subespacio de Tucker: El pipeline lineal propuesto (FC calculada en el subespio de Tucker óptimo de $\kappa_3$ $κ_{3}$ ) establece un nuevo estado del arte (SOTA) para la predicción de la cognición en fMRI de estado de reposo. Supera a la FC cruda y a todos los BFM preentrenados en todos los conjuntos de datos y parcelaciones sin requerir preentrenamiento ni GPUs.
- En HCP Schaefer-400, el método logra $r = 0.571 \pm 0.089$ , superando los resultados previos de SOTA (por ejemplo, $r = 0.520$ para gradientes principales).
Recuperación mediante Ajuste Fino: Cuando BrainLM se ajusta finamente con la pérdida informada por cumulantes (momento dual), su predicción de la FC basada en la reconstrucción recupera el techo de la FC cruda ( $r \approx 0.39$ en HCP, igualando al baseline). Esto demuestra que el cuello de botella es el objetivo de preentrenamiento, no la arquitectura del Transformer o el tamaño del modelo.
Fallo de los Embeddings: A pesar del éxito de la salida de reconstrucción, los embeddings CLS de los BFM permanecen con un poder predictivo cercano a cero incluso después del ajuste fino, lo que sugiere que la geometría latente está fija durante el preentrenamiento y no es reorganizada por la pérdida del decodificador.

Significado y Reivindicaciones
El artículo sostiene que el fallo de los modelos fundacionales de cerebro no se debe a una falta de capacidad, sino a un "problema de asignación de varianza" inherente a los objetivos de preentrenamiento basados en la reconstrucción. Estos objetivos priorizan el ruido fisiológico dominante ( $\kappa_2$ ) y descartan la información sinérgica de orden superior ( $\kappa_3$ ) que predice la cognición.

Los autores argumentan que:

Estándares de Evaluación: Los modelos fundacionales deben ser evaluados contra baselines de conocimiento de dominio clásico (como la FC cruda) antes de escalar más allá.
Descomposición Explícita: Cuando el subespacio relevante para la tarea es conocido (en este caso, el subespacio de Tucker óptimo de $\kappa_3$ ), las descomposiciones lineales explícitas (Tucker) son más limpias y efectivas que aprender representaciones latentes mediante el aprendizaje autosupervisado.
Objetivo vs. Arquitectura: El cuello de botella en el rendimiento de los BFM es el objetivo de preentrenamiento, no la arquitectura del modelo. Alinear la función de pérdida con la estructura estadística específica de la tarea (co-asimetría de tercer orden) puede recuperar el rendimiento sin cambiar la estructura del modelo.

El artículo concluye que la estructura relevante para la cognición en la fMRI de estado de reposo vive, al menos, en el tercer cumulante, y que los simples pipelines lineales que aprovechan esta estructura actualmente superan a los modelos fundacionales de miles de millones de parámetros.