Resumen Técnico: Más Allá de la Precisión Predictiva: Perfiles de Recuperación en el Espacio de Objetivos para Evaluar la Alineación Modelo–Cerebro

Declaración del Problema

Las evaluaciones actuales de los modelos de visión artificial frente al córtex visual humano dependen en gran medida de la precisión predictiva (por ejemplo, la correlación entre las representaciones del modelo y las respuestas de fMRI). Aunque útiles para clasificar modelos, una única puntuación escalar de precisión no revela qué dimensiones del espacio de respuesta del cerebro objetivo son realmente recuperadas por la predicción. Un modelo podría lograr una alta precisión capturando solo un subconjunto de direcciones de respuesta o al coincidir con direcciones que difieren de las recuperadas por otros modelos con una precisión similar. Además, las respuestas cerebrales medidas contienen tanto señales reproducibles como ruido; sin distinguir entre ellas, es difícil determinar si un modelo se alinea con la estructura verdadera y estable del cerebro o simplemente se ajusta al ruido.

Metodología

Los autores introducen un marco de espacio de objetivos que desplaza el enfoque de la evaluación desde puntuaciones escalares hacia la superposición estructural entre las respuestas predichas y una referencia objetivo reproducible.

1. Referencia Objetivo Reproducible

Utilizando mediciones repetidas de fMRI (múltiples ensayos de las mismas imágenes), los autores definen una referencia que captura las dimensiones del espacio de respuesta del cerebro objetivo que son consistentemente recuperables a través de divisiones independientes de ensayos.

• Construcción: Los ensayos repetidos para imágenes retenidas se dividen en dos vistas promediadas. Las predicciones de objetivo a objetivo se ajustan en ambas direcciones para derivar bases del lado del objetivo. La referencia objetivo reproducible es el promedio de los proyectores derivados de estas divisiones.
• Propiedades: A diferencia del PCA, que clasifica las dimensiones por varianza, esta referencia las clasifica por reproducibilidad predictiva. Su descomposición espectral produce direcciones de referencia objetivo ($u_j$) y pesos ($\omega_j$), donde los pesos más grandes indican direcciones recuperadas de manera más consistente a través de las particiones de ensayos.

2. Subespacio Predictivo y Perfiles de Recuperación

Para cualquier fuente (el cerebro de otro sujeto o un modelo de visión), el marco evalúa el subespacio predictivo inducido por la fuente en el espacio de respuesta del objetivo.

• Inducción de Fuente: Un ajuste lineal de rango bajo regularizado por ridge mapea la fuente al objetivo, induciendo una base ortonormal del objetivo ($Q_s$) y un proyector ($P_s$).
• Perfil de Recuperación: La alineación se cuantifica mediante la medida en que el subespacio predictivo se superpone con la referencia objetivo reproducible.
  • Cobertura Direccional: Mide si una dirección específica de referencia objetivo $u_j$ se encuentra dentro del subespacio predictivo.
  • Cobertura de los Top-$k$ de Referencia: Un promedio ponderado de la cobertura de las $k$ direcciones principales de referencia objetivo. Esta curva resume qué dimensiones reproducibles se recuperan.
  • Media del Perfil: Un resumen escalar de la altura de la curva de recuperación.

3. Referencia Humana mediante Predicción Cerebro a Cerebro

Para establecer una línea base para la recuperación "similar al cerebro", los autores utilizan la predicción cerebro a cerebro. Las respuestas de sujetos no objetivo se utilizan para predecir las respuestas del sujeto objetivo. El perfil de recuperación resultante sirve como una referencia humana, indicando qué dimensiones de referencia objetivo son típicamente recuperables desde otros cerebros humanos. Los modelos se evalúan en relación con esta referencia humana.

4. Configuración Experimental

• Conjunto de Datos: Un subconjunto del Natural Scenes Dataset (NSD) que involucra a 8 sujetos visualizando 515 imágenes naturales repetidamente.
• Objetivos: Regiones de interés (ROIs) del córtex visual (V1v, V1d, V2v, V2d, V3v, V3d, hV4) en ambos hemisferios.
• Fuentes:
  • Cerebro: Respuestas de otros sujetos.
  • Modelos: ResNet-18/50, VGG-16 y ViT-B/16 en estados tanto preentrenados (ImageNet) como inicializados aleatoriamente.
• Protocolo: Separación estricta entre entrenamiento y evaluación. Las imágenes de prueba externa definen la referencia y evalúan la precisión; nunca se utilizan para la selección del modelo o el ajuste de hiperparámetros.

Resultados Clave

1. Estructura Reproducible de Baja Dimensión

Las respuestas repetidas del cerebro objetivo definen una referencia objetivo reproducible de baja dimensión. Los pesos de la referencia se concentran en un pequeño número de dimensiones (las tres primeras representan ~88.6% del peso normalizado), con una rango efectivo mediano de 5.12. Esta estructura refleja la reproducibilidad predictiva en lugar de simplemente la varianza de la respuesta.

2. La Precisión Predictiva Enmascara Diferencias Estructurales

El estudio demuestra que la precisión predictiva por sí sola puede enmascarar desajustes entre modelo y cerebro.

• Estudio de Caso: Modelos preentrenados e inicializados aleatoriamente con una precisión predictiva casi idéntica ($|\Delta \text{precisión}| \le 0.01$) mostraron perfiles de recuperación distintos.
• Brecha Cuantitativa: En 29 pares preentrenados–aleatorios de la misma arquitectura, el 79% superó el umbral de variación humana para las diferencias en la media del perfil, favoreciendo a los modelos preentrenados. Esto indica que puntuaciones de precisión similares pueden corresponder a la recuperación de dimensiones de respuesta fundamentalmente diferentes.

3. El Preentrenamiento Amplía la Recuperación

El preentrenamiento en ImageNet altera significativamente el perfil de recuperación. Los modelos preentrenados recuperan un conjunto más amplio de dimensiones de referencia objetivo en comparación con sus contrapartes inicializadas aleatoriamente.

• Diferencia en la Media del Perfil: Los modelos preentrenados superaron a los controles aleatorios en una media de 0.177 en la media del perfil (IC del 95%: 0.162–0.192), una brecha mucho mayor que la variabilidad introducida por las semillas de inicialización aleatoria.
• Especificidad Dimensional: Esta ganancia no se limita a la dimensión principal; los modelos preentrenados muestran una mayor cobertura en las 10 dimensiones principales.

4. Cerebro a Cerebro como Referencia Diagnóstica

Las comparaciones cerebro a cerebro proporcionan una referencia humana estructurada que es más informativa que un "techo de ruido" escalar. Si bien la precisión de la predicción cerebro a cerebro se correlaciona con la altura general de la curva de recuperación, la forma de la curva (qué dimensiones se recuperan) varía y proporciona un diagnóstico específico sobre qué tan bien un modelo se alinea con la estructura neural humana.

Significado y Afirmaciones

El artículo afirma que la precisión predictiva es insuficiente para diagnosticar la alineación modelo–cerebro porque no especifica qué dimensiones de respuesta cerebral reproducibles se recuperan.

• Poder Diagnóstico: El marco propuesto hace explícitas qué dimensiones reproducibles se recuperan, revelando desajustes que las puntuaciones escalares ocultan (por ejemplo, entre modelos preentrenados y aleatorios con igual precisión).
• Evaluación Centrada en el Humano: Al utilizar la predicción cerebro a cerebro para definir una referencia humana, el marco va más allá de los puntos de referencia abstractos hacia una comparación diagnóstica de qué se recupera del cerebro objetivo.
• Interpretación Condicional: Los autores enfatizan que una alta recuperación de la referencia objetivo reproducible es evidencia condicional de alineación. Indica que un ajuste de fuente a objetivo recupera dimensiones reproducibles para una ROI, conjunto de datos y clase de lectura específicos, pero no afirma que toda la representación del modelo sea "similar al cerebro".

La obra contribuye con un marco unificado para evaluar tanto la alineación modelo–cerebro como la cerebro–cerebro, argumentando que comprender la estructura de la recuperación es tan crítico como la magnitud de la precisión predictiva en NeuroAI.