Resumen Técnico: La Visualización de Características Recupera la Selectividad Cortical Conocida de TRIBE v2

Enunciado del Problema

Los modelos codificadores cerebrales, que predicen las respuestas fMRI corticales a partir de las activaciones internas de redes preentrenadas de visión y lenguaje, se evalúan actualmente casi exclusivamente mediante la precisión de predicción en datos no vistos (por ejemplo, $R^2$). Si bien esta métrica es efectiva para el entrenamiento, es insuficiente para la interpretación. Una alta precisión confirma que un codificador ajusta los datos, pero no verifica si el modelo ha interiorizado la organización funcional del cerebro. Dos codificadores con una precisión en datos no vistos idéntica pueden hacer predicciones sistemáticamente diferentes sobre la preimagen del lado de entrada de una región cortical. En consecuencia, existe la necesidad de una técnica de interpretabilidad complementaria que pueda evaluar cualitativamente si un codificador ha recuperado la selectividad funcional específica de las regiones cerebrales (por ejemplo, bordes para V1, caras para FFA, movimiento para MT).

Metodología

Los autores proponen la visualización de características como una sonda para los codificadores cerebrales. Esta técnica consiste en realizar un ascenso de gradiente sobre la activación predicha por el codificador para una Región de Interés (ROI) objetivo, con el fin de sintetizar un estímulo de entrada que impulse esa región de manera máxima.

Configuración Experimental:

• Modelos: El estudio aplica esta sonda a TRIBE v2, un codificador cerebral compuesto con V-JEPA 2 (una columna vertebral visual ViT-G de 40 capas preentrenada en video con un objetivo predictivo de incrustación conjunta). Ambos modelos están congelados; solo se optimizan los parámetros de la imagen de entrada.
• ROIs Objetivo: Se seleccionaron siete regiones corticales que abarcan la jerarquía visual basándose en la parcelación HCP-MMP1: V1, V2, V3, V4, MT (área temporal media), FFA (área fusiforme de la cara) y PPA (área parahipocampal de los lugares).
• Proceso de Optimización:
  • Parametrización de la Entrada: Las imágenes se parametrizan como un espectro de Fourier 2-D de valor real en canales de color decorrelacionados, mapeados al rango de píxeles $[0, 1]$ mediante una IFFT y una sigmoide.
  • Optimización Estática: A pesar de que V-JEPA 2 es un modelo de video, la optimización sintetiza un solo fotograma estático replicado en 64 fotogramas idénticos. Esto reduce el costo computacional mientras se prueba si las señales estáticas son suficientes para impulsar regiones selectivas al movimiento.
  • Función de Pérdida: El objetivo es una pérdida de "elevación global": $L = -\frac{1}{|R|}\sum_{v \in R} \hat{y}_v + \beta \cdot \frac{1}{|\bar{R}|}\sum_{v \in \bar{R}} \hat{y}_v + \lambda_{fft} \|S\|^2$. Esto maximiza la activación media de la ROI objetivo mientras resta la activación media del resto de la corteza (para fomentar la selectividad sobre una impulsión genérica) e incluye un regularizador de energía espectral para suprimir texturas patológicas de alta frecuencia.
  • Hiperparámetros: La optimización se ejecuta durante 3.000 pasos de gradiente. Se realizan cinco reinicios con semilla aleatoria por ROI para evaluar la estabilidad.

Resultados Clave

1. Recuperación Cualitativa de la Selectividad Cortical

Los estímulos sintetizados demuestran una clara recuperación de la anatomía funcional conocida:

• Progresión V1 $\to$ V4: Existe una progresión visible de escala espacial creciente y complejidad de características. V1 produce campos densos de bordes orientados a pequeña escala (tipo Gabor); V2 y V3 muestran contornos y uniones más grandes; V4 exhibe curvas organizadas a escala media.
• MT (Área de Movimiento): A pesar de optimizar solo imágenes estáticas, los cinco reinicios para MT producen patrones nítidos de rayas radiales o diagonales que se asemejan a un "flujo óptico congelado" o fotografía de larga exposición. Esto indica que el codificador ha aprendido a asociar señales estáticas de movimiento (rayas, orientaciones alargadas) con la región MT.
• FFA (Área de la Cara): La sonda genera características variadas pero reconocibles similares a caras (regiones de los ojos, aristas de la nariz, contornos de la boca) a través de los reinicios.
• PPA (Área de los Lugares): Los estímulos producen texturas rectilíneas consistentes (líneas paralelas, predominantemente horizontales y diagonales). Aunque menos específicas de categoría que la FFA, esto se alinea con la sensibilidad de la región a la disposición de escenas y la arquitectura.

2. Selectividad Cuantitativa y "Super-Estímulos"

• Elevación de Activación: Los estímulos optimizados impulsan sus ROIs objetivo significativamente por encima de una línea base de ruido aleatorio. Cabe destacar que el estímulo optimizado para FFA impulsa la activación predicha de la FFA $\sim4\times$ más que una fotografía natural de una cara (+0.339 vs. +0.080). Esto confirma el fenómeno de "super-estímulo", donde el ascenso de gradiente encuentra patrones adversarios que superan los límites de la distribución natural.
• Estructura Cruzada entre ROIs: La matriz de activación revela relaciones anatómicas esperadas. Las áreas visuales tempranas (V1–V3) muestran una fuerte activación cruzada. FFA y PPA son mutuamente supresoras. V4 actúa como un puente, impulsando FFA con más fuerza que las áreas visuales tempranas.
• Línea Base de MT: MT muestra la mayor elevación de activación (+0.70), en parte porque su línea base de ruido aleatorio es fuertemente negativa (indicando desactivación para estímulos no relacionados con el movimiento).

3. Estabilidad y Limitaciones

• Estabilidad: Las firmas cualitativas (por ejemplo, características faciales para FFA, rayas para MT) son estables en los cinco semillas aleatorias, con variación restringida a la geometría específica en lugar de la categoría.
• Reproducibilidad: Los autores señalan que la no determinidad de CUDA fp16 causa divergencia de trayectorias, lo que significa que el reinicio de máxima activación no es siempre el más visualmente interpretable (por ejemplo, la imagen de cara más clara no fue la de activación máxima).
• Ambigüedad de PPA: Los autores declaran explícitamente que están menos cómodos interpretando los resultados de PPA, ya que los estímulos parecen patrones de líneas en lugar de escenas reconocibles, lo que resalta una limitación en la capacidad actual de la sonda para resolver etiquetas a nivel de categoría para todas las regiones.

Significado y Afirmaciones

El artículo afirma que la visualización de características sirve como una prueba cualitativa necesaria y complementaria a la precisión de predicción para los codificadores cerebrales.

• Interiorización vs. Ajuste: Los resultados sugieren que TRIBE v2 no solo ha ajustado las series temporales fMRI de entrenamiento, sino que ha interiorizado la organización funcional de la jerarquía visual. La capacidad de invertir el codificador para recuperar firmas de sintonización específicas (bordes, movimiento, caras) a partir de una tubería de optimización estática se presenta como evidencia de esta interiorización.
• Alcance Metodológico: La recuperación de un "movimiento implícito" en MT a partir de entradas estáticas se destaca como una demostración clave de la capacidad del método, mostrando que la lectura de movimiento del codificador puede invertirse en imágenes evocadoras de movimiento reconocibles incluso sin optimización temporal.
• Aplicabilidad General: La sonda se describe como simple, diferenciable y aplicable a cualquier codificador cerebral con una columna vertebral diferenciable, ofreciendo una "prueba cualitativa cualitativa barata y predeterminada" para distinguir codificadores que han recuperado principios de neurociencia de aquellos que simplemente predicen datos.

Los autores permanecen modestos, reconociendo que los estímulos optimizados son extremos de la superficie de respuesta y pueden contener características adversarias. Enfatizan que, aunque la sonda revela qué cree el codificador que busca una región, no resuelve completamente si estas características se mapean perfectamente a la realidad biológica sin una validación adicional (por ejemplo, optimización en el eje de video o estudios con observadores humanos).