Lost in Visual Translation: A VLM-Assisted Perceptual-Semantic Coherence Framework for EEG-to-Image Reconstruction

Resumen Técnico: Perdidos en la Traducción Visual

Declaración del Problema
La evaluación de la reconstrucción de EEG a imagen enfrenta un desajuste fundamental entre las métricas estándar de visión computacional y las características específicas de la decodificación neural. Las señales de EEG son no invasivas, ruidosas y espacialmente gruesas, lo que resulta en reconstrucciones que a menudo son borrosas, distorsionadas y de bajo detalle. Las prácticas de evaluación actuales dependen de métricas diseñadas para la restauración o generación de imágenes genéricas (p. ej., SSIM, PSNR, LPIPS, similitud CLIP). Los autores argumentan que estas métricas fallan en el régimen de EEG por dos razones complementarias:

1. Severidad (Harshness): Las métricas penalizan reconstrucciones que están visualmente degradadas pero son semánticamente recuperables (es decir, el objeto pretendido es reconocible a pesar de la pobre fidelidad).
2. Ceguera Semántica (Semantic Blindness): Las métricas asignan puntuaciones altas a imágenes visualmente plausibles que representan un contenido semántico incorrecto (p. ej., la categoría de objeto errónea).

Estudios existentes muestran que las puntuaciones automáticas a menudo divergen del juicio humano, sin embargo, la investigación reciente de EEG a imagen continúa dependiendo de estos protocolos a pesar de la ambigüedad única de la EEG en comparación con modalidades como la fMRI.

Metodología
El artículo propone un Marco de Coherencia Perceptual-Semántica consciente de BCI para abordar estas limitaciones. La metodología procede en tres etapas:

1. Análisis Empírico de las Métricas Actuales:
   Los autores analizaron 6,855 pares de verdad de campo/reconstrucción de cuatro conjuntos de datos (ATM, ENIGMA, BrainVis, DreamDiffusion). Introdujeron dos sondas:

• Sonda Semántica a Nivel de Leyenda (Caption-Level Semantic Probe): Utilizando BLIP para generar leyendas y SBERT para medir la similitud semántica, cuantificaron la "Severidad de la Leyenda" (métricas que penalizan salidas semánticamente cercanas) y las "Tasas de Punto Ciego de la Leyenda" (métricas que recompensan salidas semánticamente distantes).
• Degradación Perceptual Controlada: Aplicaron seis tipos de degradaciones (desenfoque, ruido, submuestreo, JPEG, atenuación de color, desplazamiento) a las imágenes de verdad de campo para probar la sensibilidad de las métricas.
• Hallazgos: Las métricas a nivel de píxel (MSE, SSIM) mostraron una correlación cercana a cero con la consistencia semántica. Las métricas de representación (OpenCLIP, DreamSim) correlacionaron mejor con la semántica, pero aún confundían errores perceptuales y semánticos, fallando en distinguir entre el significado recuperable y la fidelidad visual.

2. Protocolo de Anotación Asistido por VLM:
   Para separar la recuperabilidad perceptual de la semántica, los autores utilizaron cuatro Modelos de Lenguaje-Visión (VLM) de pesos abiertos: InternVL3, SAIL-VL, OLA-7B y Ovis2-8B.

• Preguntas Estructuradas: Cada par de imágenes (verdad de campo vs. reconstrucción) fue evaluado mediante 12 preguntas estructuradas: 6 perceptuales (diseño, forma, textura, color, artefactos, recuperabilidad holística) y 6 semánticas (categoría, identidad específica, función, cantidad, escena, recuperabilidad semántica holística).
• Escala de Puntuación: Las respuestas se mapearon a una escala de tres niveles: no (0), en parte (0.5) y sí (1).
• Agregación de Consenso: Los autores computaron las Puntuaciones de Alineación Perceptual Tolerante (T-PAS) y las Puntuaciones de Alineación Semántica Tolerante (T-SAS) agregando las respuestas de los VLM. Utilizaron la mediana de los cuatro VLM para preservar el desacuerdo parcial en lugar de forzar una etiqueta de mayoría estricta.
• Fiabilidad: El análisis mostró un acuerdo moderado (Fleiss' $\kappa$ = 0.363) en general, con mayor acuerdo en atributos concretos (forma, función) que en juicios de recuperabilidad holística.

3. Destilación del Puntaje de Coherencia BCI (BCS):
   Para evitar el costo computacional de ejecutar múltiples VLM para cada evaluación, los autores destilaron el consenso multi-VLM en un regresor de pares de imágenes ligero, el BCS.

• Arquitectura: El BCS utiliza codificadores visuales congelados (SigLIP, CLIP, DINOv3) para extraer características del referente y la reconstrucción. Construye características de comparación por pares (concatenación, diferencia, producto elemento a elemento, similitud de coseno) y las introduce en un MLP residual.
• Entrenamiento: El modelo se entrena para predecir las puntuaciones de consenso de la mediana ($z_{i,q}$) para cada pregunta. Una función de pérdida ponderada ($L$) prioriza las etiquetas de VLM de alto consenso y reduce el peso de las instancias ambiguas.
• Salida: El BCS predice las puntuaciones agregadas T-PAS y T-SAS directamente de un par de imágenes.

Resultados Clave

• Fallo de las Métricas: Las métricas convencionales mostraron una débil alineación semántica (p. ej., MSE $\rho_{cap} \approx -0.01$) y una sensibilidad inconsistente a tipos específicos de degradación.
• Desempeño del BCS: El modelo destilado BCS (ensamble continuo de 4 profesores) logró una fuerte correlación con el consenso de los VLM en datos no vistos:
  • T-PAS: MAE = 0.079, Pearson $r$ = 0.700.
  • T-SAS: MAE = 0.082, Pearson $r$ = 0.850.
• Validación Humana: En un estudio humano dirigido con 18 anotadores, los juicios de coherencia (evaluando la alineación perceptual y semántica conjuntamente) mostraron una alta fiabilidad ($\kappa = 0.882$, $\alpha = 0.882$). En contraste, los juicios perceptuales aislados fueron altamente poco fiables ($\kappa = 0.110$), mientras que los juicios semánticos mostraron una fiabilidad moderada ($\kappa = 0.483$). Esto respalda el diseño del marco de evaluar los ejes perceptual y semántico de forma conjunta.

Significancia y Reivindicaciones
El artículo afirma que la evaluación de EEG a imagen debe cambiar de la similitud visual genérica a la recuperabilidad perceptual-semántica. El marco propuesto ofrece:

1. Un Protocolo de Diagnóstico: Identifica y cuantifica explícitamente la "severidad" y los "puntos ciegos" de las métricas actuales.
2. Una Señal de Evaluación Robusta: El BCS proporciona un evaluador compacto y reutilizable que separa la degradación tolerable inducida por la señal de la pérdida semántica, alineándose más estrechamente con el juicio humano que las métricas existentes.
3. Validación de la Coherencia Conjunta: Los resultados de la validación humana sugieren que, si bien los humanos luchan por juzgar consistentemente la fidelidad visual de bajo nivel en reconstrucciones de EEG ruidosas, pueden juzgar de manera fiable la coherencia conjunta, validando el diseño de T-PAS/T-SAS.

Los autores concluyen que el BCS proporciona una señal de evaluación necesaria para futuros benchmarks, aunque señalan que extender este enfoque a fMRI y entornos de sujetos cruzados sigue siendo una dirección abierta.