Nonlocal operator learning for fMRI encoding and decoding tasks

Resumen Técnico: Aprendizaje de Operadores No Locales para Tareas de Codificación y Decodificación en fMRI

Enunciado del Problema
Los datos de resonancia magnética funcional (fMRI) presentan un desafío significativo para la neurociencia computacional debido a su estructura espaciotemporal de alta dimensión. La actividad cerebral registrada mediante fMRI refleja interacciones distribuidas a través de regiones distantes y que se desarrollan a lo largo de escalas temporales extendidas, incorporando efectos de medición como el suavizado y el retraso hemodinámico. Las arquitecturas estándar de aprendizaje profundo, que a menudo se basan en suposiciones de localidad o dependencia de corto alcance (por ejemplo, filtros convolucionales, vecindarios de grafos fijos o recurrencia de memoria corta), pueden ser demasiado restrictivas para capturar estas dinámicas distribuidas y no locales. Los autores postulan que el modelado de fMRI requiere marcos capaces de representar interacciones espacialmente distribuidas y temporalmente extendidas sin imponer restricciones a priori sobre la conectividad.

Metodología
El artículo propone un marco basado en operadores integrales neuronales, adaptando específicamente el modelo de Ecuación Integral Neural Atencional (ANIE) [ZFC+24] para tareas de codificación y decodificación en fMRI.

• Formulación Matemática: La señal BOLD se trata como una función $u(x, t)$ sobre el espacio $x$ y el tiempo $t$. La dinámica del cerebro se modela como un operador no local $T$ que actúa sobre este espacio de funciones. El mecanismo central es una iteración de punto fijo en un espacio latente, definida por la ecuación:
  $$T(u) + u_{lat} = u$$
  donde $u_{lat}$ es una representación latente (obtenida mediante un codificador $E$) y $u^*$ es la solución de punto fijo.
• Operador No Local: A diferencia de los operadores locales, el operador integral $T$ evalúa la señal en un punto $(x, t)$ integrando sobre todo el dominio espaciotemporal. El operador se define mediante un kernel aprendible $K_\theta$:
  $$T(u)(x, t) = \int_0^1 \int_\Omega K_\theta(u(z, s), x, t, z, s) \, dz \, ds$$
  Aquí, $z$ y $s$ representan las variables de integración espacial y temporal, respectivamente. Esta formulación da cuenta naturalmente de las interacciones entre cualquier par de ubicaciones espaciales y de los efectos de memoria a través de múltiples escalas temporales.
• Tareas:
  • Decodificación: Predecir estímulos de entrada (etiquetas de objetos o patrones visuales) a partir de grabaciones de fMRI. El punto fijo $u^*$ se regresa hacia el estímulo $y_{stim}$.
  • Codificación: Predecir la dinámica de fMRI a partir de estímulos de entrada. El punto fijo $u^*$ sirve como una función codificada utilizada por un decodificador $D$ para reconstruir la señal BOLD ($D(u^*) = u$).
• Diseño Experimental: El marco se evaluó en dos conjuntos de datos de código abierto (Haxby y Miyawaki). Los autores variaron sistemáticamente el tamaño de la ventana temporal (corta vs. larga) y el contexto espacial (región de interés de la corteza visual vs. grabaciones de todo el cerebro) para evaluar el impacto del contexto espaciotemporal en el rendimiento y la geometría del espacio latente. Los modelos se compararon con arquitecturas estándar que incluyen FFNN, CNN, LSTM, ResNet y ViT, manteniendo las arquitecturas comparables en número de parámetros para asegurar una comparación justa.

Contribuciones y Resultados Clave

1. Impacto del Contexto Temporal:

   • Decodificación: En ambos conjuntos de datos, las ventanas temporales más grandes mejoraron generalmente el rendimiento del operador integral neural. En el conjunto de datos Haxby (clasificación de objetos), la precisión aumentó de ~73.7% (1 punto temporal) a ~79.2% (20 puntos temporales) para el modelo ANIE, mientras que los modelos competidores (CNN, LSTM, ViT) a menudo mostraron degradación o estancamiento del rendimiento con ventanas más largas.
   • Codificación: Aunque el rendimiento absoluto se mantuvo moderado debido a la dificultad inherente de predecir ~5000 vóxeles a partir de un estímulo de 100 píxeles ($R^2 \approx 0.25$), las ventanas temporales más largas produjeron ganancias consistentes. El modelo ANIE mejoró de $R^2 \approx 0.15$ (5 puntos temporales) a $R^2 \approx 0.25$ (25 puntos temporales).

2. Contexto Espacial e Información de Todo el Cerebro:

   • En las tareas de decodificación, utilizar grabaciones de todo el cerebro en lugar de solo la corteza visual mejoró significativamente el rendimiento del modelo con significancia estadística. Esto sugiere que la información relevante para los estímulos visuales está deslocalizada a través de múltiples regiones cerebrales y se accede a ella eficazmente mediante escalas temporales grandes.

3. Estructura del Espacio Latente:

   • Separación de Clases: En los experimentos de decodificación, el espacio latente aprendido a menudo proporcionó una separación de clases más clara que los datos crudos.
   • Clasificación Auto-supervisada: Al distinguir entre estímulos geométricos y aleatorios, el espacio latente aprendido por el modelo exhibió una organización más estructurada que los datos crudos, particularmente en ventanas temporales más cortas. Para ventanas pequeñas ($t=3, 5$), las incrustaciones latentes del modelo superaron significativamente a los datos crudos en la clasificación KNN ($p < 0.05$). A medida que aumentaron las ventanas temporales, tanto las representaciones crudas como las latentes se volvieron altamente separables, disminuyendo la ventaja relativa del espacio latente.

Significado y Afirmaciones
Los autores afirman que los operadores integrales neuronales proporcionan un marco prometedor para modelar la dinámica de fMRI, principalmente porque capturan explícitamente la estructura no local distribuida en la actividad cerebral. Los resultados indican que:

• Un contexto espaciotemporal más amplio es beneficioso: El modelado exitoso de la dinámica de fMRI depende de la información temporal a largo plazo y de la información espacial distribuida, en lugar de instantáneas localizadas.
• La arquitectura importa: Explotar esta estructura deslocalizada requiere arquitecturas de modelo diseñadas específicamente para capturar dependencias no locales (como los operadores integrales) en lugar de depender únicamente de convoluciones o recurrencias locales.
• Aprendizaje de Representaciones: El enfoque es capaz de organizar la información dependiente del estímulo en representaciones latentes más estructuradas, especialmente cuando la señal es menos explícita en los datos crudos (es decir, en ventanas temporales más cortas).

El artículo mantiene una postura modesta, señalando que, aunque los resultados apoyan la hipótesis del funcionamiento espaciotemporal de largo alcance, no establecen un mecanismo directo de la función cerebral, ya que factores como el aumento de la estabilidad estadística también pueden contribuir a las ganancias observadas. Se sugiere que el trabajo futuro se centre en mejorar la interpretabilidad de los operadores aprendidos y conectarlos más directamente con la organización funcional conocida del cerebro.