Rethinking Brain Decoding with CLIP: The Role of Adversarial Robustness

Planteamiento del Problema

La decodificación cerebral tiene como objetivo inferir representaciones relacionadas con el estímulo a partir de señales cerebrales, típicamente mediante el mapeo de las respuestas de la fMRI a los embeddings latentes de modelos computacionales. Recientemente, el modelo de Preentrenamiento de Contraste Lenguaje-Imagen (CLIP) se ha convertido en un objetivo de representación estándar debido a su rico espacio de embedding visión-lenguaje. Sin embargo, alinear las señales de fMRI con las representaciones estándar de CLIP sigue siendo un desafío.

Los autores argumentan que el CLIP estándar está optimizado para el aprendizaje contrastivo imagen-texto a escala web en lugar del alineamiento neural. En consecuencia, sus embeddings pueden capturar características "no robustas" o impulsadas por atajos (shortcuts) que son estadísticamente predictivas para el emparejamiento imagen-texto, pero que no se reflejan fielmente en la actividad cerebral humana. Trabajos previos han intentado mejorar la decodificación añadiendo restricciones biológicas (por ejemplo, mecanismos de atención visual) o imponiendo una similitud geométrica entre los embeddings y las respuestas de la fMRI. Este artículo postula que el problema no reside solo en el pipeline, sino en las propiedades intrínsecas de la propia representación objetivo. Específicamente, los autores hipotetizan que las representaciones adversariamente robustas, que suprimen las características no robustas y dependen más de claves perceptuales estables y estructuradas, pueden alinearse mejor con la invariancia observada en las representaciones neurales humanas.

Metodología

El estudio emplea un diseño experimental controlado donde el decodificador de fMRI y todo el pipeline de entrenamiento se mantienen fijos, mientras que solo se varía el modelo de representación objetivo.

• Datasets:
  • NSD (Natural Scene Dataset): Un conjunto de datos de visión-fMRI a gran escala que contiene 73,000 imágenes y datos de fMRI de 8 sujetos. Los autores evalúan en los sujetos 1, 2, 5 y 7.
  • GOD (Generic Object Decoding Dataset): Diseñado para probar la generalización zero-shot con semánticas de entrenamiento-prueba no superpuestas, contiene 1,250 imágenes y datos de 5 sujetos.
• Modelos Objetivo:
  • Baseline: CLIP estándar (backbone ViT-L/14).
  • Variantes Robustas: Dos variantes de CLIP entrenadas adversariamente:
    • TeCoA: Una variante robusta donde el codificador visual es ajustado (fine-tuned) adversariamente bajo supervisión guiada por texto.
    • FARE: Una variante robusta que utiliza ajuste fino adversario no supervisado sin supervisión de texto.
  • Los autores evalúan diferentes niveles de fuerza adversaria (por ejemplo, FARE-2/4, TeCoA-2/4) basados en el presupuesto de perturbación ($\epsilon$).
• Arquitectura del Decodificador:
  • Un decodificador lineal mapea los datos de vóxeles de fMRI a los embeddings predichos.
  • Objetivos de Entrenamiento: El estudio utiliza dos objetivos:
    1. Pérdida InfoNCE (Contrastiva): Optimizando el alineamiento entre los embeddings predichos y el objetivo utilizando una pérdida contrastiva.
    2. Regresión Ridge: Un baseline estándar en la decodificación cerebral.
• Métricas de Evaluación:
  • Desempeño de Decodificación: Precisión Top-$k$ (Recall@k) para la recuperación de imágenes-fMRI tanto en los datasets NSD como GOD.
  • Alineamiento Neural: Correlación de Pearson, similitud de Coseno y Análisis de Similitud de Representación (RSA) entre las respuestas de fMRI y las representaciones objetivo.
  • Análisis de Atribución: Utilizando el marco de trabajo de Palazzo et al. [40], los autores computan mapas de atribución a nivel de píxel para analizar de qué características de la imagen dependen los decodificadores. Las métricas incluyen entropía normalizada, IoU de las regiones atribuidas Top-$k$ y correlación de rango de Spearman entre los mapas de atribución.

Resultados Clave

Los resultados empíricos demuestran que reemplazar el CLIP estándar con variantes adversariamente robustas mejora consistentemente el desempeño de la decodificación cerebral y el alineamiento neural.

1. Mejora del Alineamiento y la Recuperación:

   • En el dataset NSD, las variantes robustas (FARE y TeCoA) lograron puntuaciones de alineamiento más altas (correlación de Pearson, similitud de Coseno, RSA) en comparación con el CLIP estándar. TeCoA-4 alcanzó consistentemente las puntuaciones de alineamiento más altas.
   • En la recuperación de imágenes-fMRI, los decodificadores robustos superaron al baseline de CLIP estándar. Notablemente, FARE-4 mejoró la precisión Top-1 en un 13% respecto al baseline de CLIP bajo decodificación contrastiva.
   • Estas mejoras se mantuvieron constantes tanto en el aprendizaje contrastivo como en el objetivo de regresión ridge, lo que sugiere que la elección de la representación objetivo es más crítica que el objetivo de entrenamiento.

2. Generalización Zero-Shot (Dataset GOD):

   • Las mejoras fueron reproducibles en el dataset GOD, el cual impone condiciones estrictas de zero-shot. Los decodificadores robustos mantuvieron una mayor precisión de recuperación y un mayor desempeño de clasificación fMRI-texto en condiciones zero-shot en comparación con el CLIP estándar.
   • Los decodificadores TeCoA generalmente superaron a los decodificadores FARE en las tareas de clasificación de texto zero-shot.

3. Análisis de Atribución:

   • Estructura Espacial: Mientras que todos los modelos exhibieron una alta difusión espacial global (alta entropía), las variantes robustas mostraron una variación estructural dependiente de la escala más fuerte. Su entropía disminuyó a medida que la resolución espacial se volvía más gruesa, indicando patrones de atribución más estructurados en comparación con la entropía estable de CLIP estándar.
   • Desacuerdo de Características: Hubo consistentemente un bajo acuerdo entre el CLIP estándar y las variantes robustas. El IoU (Intersección sobre Unión) de los Top-$k$ píxeles atribuidos fue extremadamente bajo (por debajo de 0.1), y las correlaciones de rango de Spearman fueron débiles o negativas. Esto sugiere que el entrenamiento adversario no solo refina el uso de las características, sino que induce una reorganización sistemática de la importancia de las características, apoyándose en características de imagen estructuralmente distintas.

Contribuciones

El artículo realiza las siguientes contribuciones específicas:

1. Demostración de los Beneficios de la Robustez: Demuestra que las variantes de CLIP entrenadas adversariamente (FARE y TeCoA) mejoran el alineamiento entre las respuestas de fMRI y las representaciones del modelo, produciendo una precisión de recuperación de imágenes-fMRI significativamente mayor en el dataset NSD.
2. Validación Zero-Shot: Valida que estas mejoras se generalizan a entornos zero-shot en el dataset GOD, confirmando que las ganancias no se deben a un sobreajuste específico del dataset.
3. Perspectivas de Atribución: A través del análisis de atribución, revela que los modelos robustos exhiben un bajo acuerdo con el CLIP estándar en el uso de características, produciendo patrones espacialmente concentrados y distintos, lo que sugiere que la robustez adversaria reorganiza la importancia de las características visuales.

Significado y Reivindicaciones

Los autores concluyen que la elección de la representación objetivo es un factor crítico en los procesos de decodificación neural. Argumentan que la robustez adversaria sirve como un sesgo inductivo útil para mejorar el alineamiento entre los modelos computacionales y la actividad cerebral.

El artículo sostiene que, dado que las representaciones neurales humanas son relativamente invariantes a pequeñas perturbaciones y dependen menos de las claves no robustas, los modelos entrenados para suprimir tales claves (vía entrenamiento adversario) producen naturalmente representaciones que son más compatibles con las señales de fMRI. Este hallazgo sugiere que los futuros esfuerzos de decodificación cerebral deberían considerar las propiedades intrínsecas del modelo objetivo, como la robustez, en lugar de centrarse únicamente en las modificaciones arquitectónicas o la ingeniería del pipeline. El trabajo destaca que la robustez afecta no solo la precisión predictiva, sino también la forma fundamental en que se utilizan las características visuales en la decodificación de la actividad cerebral.