MindPilot: Closed-loop Visual Stimulation Optimization for Brain Modulation with EEG-guided Diffusion

1. Problema y Motivación

La investigación en interfaces cerebro-computadora (BCI) se ha centrado históricamente en la decodificación de señales neurales para inferir comportamiento o intención. Sin embargo, el desafío inverso: utilizar estímulos controlados para modular y dirigir la actividad cerebral, sigue siendo poco comprendido, especialmente en el dominio visual.

Los principales obstáculos para diseñar imágenes que eliciten respuestas neurales específicas son:

• Falta de métricas cuantitativas: Los estados subjetivos del cerebro carecen de medidas claras.
• Ruido y no diferenciabilidad: Las señales de electroencefalografía (EEG) son ruidosas, variables y el cerebro humano es una función no diferenciable, lo que impide el uso de gradientes tradicionales para la optimización.
• Limitaciones de métodos anteriores: Los enfoques previos suelen ser invasivos (grabaciones corticales) o se limitan a estímulos de bajo nivel (como parpadeos), sin poder generar imágenes naturales y semánticamente ricas.

2. Metodología: MindPilot

MindPilot es un marco de trabajo de bucle cerrado que utiliza señales de EEG no invasivas como retroalimentación para guiar la generación de imágenes naturales mediante modelos de difusión.

A. Formulación del Problema

El sistema trata al cerebro (o su lectura de EEG) como una función de caja negra no diferenciable. El objetivo es encontrar una imagen óptima $u^*$ que maximice la similitud entre la respuesta neural evocada y un objetivo específico ($y_{target}$):
$$u^* = \arg \max_u \text{sim}(f(g(u)), y_{target})$$
Donde:

• $g(u)$: Modelo de caja negra (proxy) que predice la respuesta EEG dada una imagen.
• $f$: Codificador de características que extrae rasgos del EEG (semánticos o espectrales).
• $\text{sim}$: Función de similitud (ej. coseno).

B. Componentes Clave

1. Modelo Proxy de Caja Negra: Para evitar la adquisición costosa de EEG en tiempo real durante el entrenamiento, MindPilot utiliza modelos pre-entrenados (como CNNs, ViTs, DINO) que actúan como sustitutos del cerebro humano. Estos modelos mapean características visuales a señales EEG sintéticas.
2. Estrategia de Guía Pseudo-Modelo (Black-Box Guidance):
   • Dado que no se pueden calcular gradientes directos sobre el cerebro, MindPilot emplea un proceso de optimización sin gradientes.
   • Utiliza un Proceso Gaussiano (GP) como modelo sustituto para predecir los gradientes de recompensa en el espacio latente de la imagen.
   • Genera un "embedding objetivo pseudo" ($\hat{z}^*$) para guiar el modelo de difusión (SDXL-Lightning) hacia regiones del espacio latente que maximizan la respuesta neural deseada.
3. Búsqueda Interactiva y Generación Heurística:
   • Búsqueda Interactiva: Si se parte de un conjunto de imágenes fijas, el sistema actualiza las probabilidades de selección basándose en una puntuación de similitud, utilizando un mecanismo de "rueda de la fortuna" ponderada.
   • Generación Heurística: Para crear nuevas imágenes, el sistema combina la búsqueda en un espacio de imágenes con un algoritmo genético (cruce y mutación de embeddings) y la generación difusiva guiada por el GP.

C. Objetivos de Optimización

El sistema puede optimizar hacia diferentes tipos de objetivos neurales:

• Características Semánticas: Alineación con embeddings de CLIP derivados de la actividad cerebral.
• Características Espectrales (PSD): Modulación de patrones de densidad espectral de potencia en el EEG.
• Estados Subjetivos: Regulación emocional basada en calificaciones humanas (sin necesidad de un objetivo EEG explícito).

3. Contribuciones Clave

1. Optimización de Estímulos Visuales Guiada por EEG: Un marco general que utiliza un modelo proxy de caja negra para guiar la difusión hacia la síntesis de estímulos capaces de dirigir estados latentes del cerebro.
2. Generación con Guía de Caja Negra: Una estrategia novedosa de "pseudo-modelo" que permite la optimización flexible y sin gradientes de diversos objetivos neurales, superando la necesidad de recompensas explícitas o gradientes diferenciables.
3. Validación Exhaustiva: Demostración de la viabilidad tanto en simulaciones (con datos sintéticos de EEG) como en experimentos con humanos reales, abarcando desde la recuperación de objetivos semánticos hasta la regulación emocional.

4. Resultados Experimentales

Los experimentos se realizaron utilizando el conjunto de datos THINGS-EEG2 y con 10 participantes humanos en tareas de emparejamiento mental y regulación emocional.

• Recuperación Interactiva: MindPilot logró recuperar imágenes objetivo de un espacio de búsqueda de 600 imágenes con una mejora significativa en la puntuación de similitud EEG-CLIP en comparación con el muestreo aleatorio.
• Generación de Estímulos:
  • En la generación guiada por características semánticas, MindPilot redujo el error L1 en comparación con líneas base de generación fuera de línea y superó significativamente a las líneas base aleatorias.
  • Logró una fidelidad semántica comparable a la de decodificadores especializados (como ATM-S), a pesar de no tener acceso a la señal EEG de "verdad fundamental" (ground truth) del objetivo, sino solo a la retroalimentación iterativa.
  • La generación guiada por PSD mostró una alineación progresiva de los patrones neurales espectrales con los objetivos visuales.
• Validación Humana:
  • En tareas de emparejamiento mental, las puntuaciones de similitud derivadas del modelo correlacionaron fuertemente con las calificaciones humanas.
  • En tareas de regulación emocional, el sistema logró modular significativamente el estado afectivo de los participantes hacia valencias positivas (aumentando las puntuaciones de 0.45 a 0.60), validando la capacidad del marco para controlar estados subjetivos sin objetivos EEG explícitos.

5. Significado e Impacto

• Nueva Frontera en BCI: MindPilot establece la viabilidad de la modulación cerebral no invasiva en bucle cerrado utilizando estímulos visuales naturales, un paso más allá de los paradigmas de parpadeo o estímulos de bajo nivel.
• Puente entre IA y Neurociencia: Demuestra que los modelos generativos modernos (Difusión) pueden ser optimizados directamente por señales biológicas ruidosas, tratando al cerebro como una función de caja negra.
• Aplicaciones Potenciales: Abre puertas para:
  • Mejora cognitiva y neurorehabilitación personalizada.
  • Interfaces cerebro-computadora bidireccionales (lectura y escritura de información al cerebro).
  • Terapias de neuromodulación para trastornos del estado de ánimo o atención.
• Limitaciones y Futuro: El trabajo reconoce desafíos como la degeneración de estímulos (diferentes imágenes pueden producir el mismo EEG) y la variabilidad inter-sujeto. Futuras direcciones incluyen estrategias de aprendizaje transferido para adaptarse a individuos específicos y la extensión a otras modalidades neurales.

En resumen, MindPilot representa un avance pionero al demostrar que es posible "pilotear" la actividad cerebral mediante la generación iterativa de imágenes naturales, utilizando el EEG no solo para leer, sino para escribir y dirigir la percepción humana.