SATTC: Structure-Aware Label-Free Test-Time Calibration for Cross-Subject EEG-to-Image Retrieval

Each language version is independently generated for its own context, not a direct translation.

Imagina que el cerebro es como una orquesta única y que cada persona es un músico diferente. Cuando intentamos "leer" lo que una persona está viendo (por ejemplo, una imagen de un perro) solo mirando sus ondas cerebrales (EEG), nos encontramos con un gran problema: cada músico toca un poco diferente.

Aunque todos estén tocando la misma canción (viendo la misma imagen), el sonido de cada cerebro es único. Además, en la "biblioteca" de todas las imágenes posibles, hay algunas canciones que son tan populares que todos los músicos las tocan mal (las llaman "hubs" o centros de atención), haciendo que el sistema confunda una imagen rara con una muy común.

Aquí es donde entra SATTC, la solución propuesta en este artículo. Vamos a explicarlo como si fuera un director de orquesta inteligente que arregla el sonido en tiempo real, sin necesidad de que los músicos le digan qué nota están tocando.

1. El Problema: El Caos en la Biblioteca

Imagina que tienes una biblioteca gigante de 200 imágenes (perros, coches, frutas, etc.). Quieres encontrar la imagen que una persona está viendo solo con su cerebro.

El cambio de sujeto: Si le pides a tu amigo que vea un perro y luego a tu hermana, sus cerebros "hablan" de forma distinta. Es como si tu amigo hablara en español y tu hermana en francés; el sistema de búsqueda se confunde.
El problema de los "Hubs": Algunas imágenes son tan "populares" (como un perro genérico) que aparecen en la lista de resultados para casi todo el mundo, incluso si la persona estaba viendo un gato. Esto hace que las listas de "mejores candidatos" sean poco fiables.

2. La Solución: SATTC (El Director de Orquesta)

Los autores proponen SATTC, que es como un filtro de sonido inteligente que se coloca justo antes de que el sistema busque la respuesta. Lo genial es que no necesita aprender nada nuevo ni pedirle al usuario que diga "esto es un perro". Solo mira las ondas cerebrales y las ajusta al vuelo.

SATTC tiene dos "expertos" que trabajan juntos:

Experto A: El Ajustador de Tono (Geometría)

Qué hace: Piensa en el cerebro de cada persona como un instrumento que está desafinado. Este experto escucha al músico (el sujeto) y ajusta el tono (la "blanqueado adaptativo") para que suene igual que el resto de la orquesta.
El truco: Además, sabe que algunos instrumentos suenan muy fuerte en ciertas notas (los "hubs"). En lugar de usar una regla fija para todos, ajusta el volumen dinámicamente: si una nota es muy común, le baja el volumen; si es rara, le sube el volumen para que se escuche. Esto se llama CSLS adaptativo.

Experto B: El Detective de Relaciones (Estructura)

Qué hace: Este experto mira la lista de candidatos y busca patrones de "amistad".
- Si la imagen A y el cerebro B se miran mutuamente y dicen "¡Eres tú!", el experto les da una medalla (los refuerza).
- Si una imagen aparece en la lista de todos los cerebros pero no encaja bien con este en particular, el experto le pone un "palo en la rueda" (la penaliza).
La analogía: Es como un detective que dice: "Oye, esta imagen aparece en la lista de 100 personas, pero solo 2 se parecen a ti. Probablemente sea un falso positivo. Vamos a bajarla en la lista".

3. El Gran Final: La Fusión

SATTC combina a estos dos expertos usando una regla simple: si ambos están de acuerdo en que una imagen es buena, la ponemos arriba. Si uno duda, la bajamos.

¿Por qué es importante esto?

Funciona sin etiquetas: No necesitas que el usuario diga "esto es un perro". El sistema se arregla solo mirando los datos.
Es universal: Funciona con cualquier tipo de "músico" (cualquier modelo de cerebro) y cualquier "biblioteca" de imágenes. Es como un adaptador universal de enchufes.
Resultados reales: En las pruebas, SATTC logró encontrar la imagen correcta mucho más rápido y con menos errores que los sistemas anteriores, especialmente cuando se trata de listas cortas (como decir "¿Es esta la imagen? Sí/No").

En resumen

Imagina que SATTC es un traductor y director de tráfico en tiempo real.

Traduce el "acento" único de cada cerebro para que todos se entiendan.
Limpia el tráfico de las imágenes "populares" que bloquean el camino.
Y todo esto lo hace sin pedirle al conductor (el usuario) que baje del coche y le diga a dónde va.

Es un paso gigante para que las máquinas puedan entender lo que vemos solo con mirarnos a la cabeza, haciendo que la tecnología sea más precisa y justa para todos, sin importar quién seas.

Each language version is independently generated for its own context, not a direct translation.

Aquí tienes un resumen técnico detallado del paper "SATTC: Structure-Aware Label-Free Test-Time Calibration for Cross-Subject EEG-to-Image Retrieval" en español:

1. Planteamiento del Problema

La recuperación de imágenes a partir de señales de electroencefalografía (EEG) en escenarios multisujeto (cross-subject) enfrenta dos desafíos principales que degradan el rendimiento en la inferencia:

Desplazamiento de Sujeto (Subject Shift): Las distribuciones de características EEG varían significativamente entre diferentes individuos, incluso cuando realizan la misma tarea, lo que distorsiona la geometría del espacio de incrustación (embedding space).
Hubness (Nodalidad): En espacios de alta dimensión, ciertos puntos (clases de imágenes) aparecen desproporcionadamente en las listas de los k vecinos más cercanos de muchas consultas. Esto crea "hubs" que dominan las clasificaciones, haciendo que las listas cortas (small-k shortlists) sean poco fiables y reduciendo la precisión en la identificación de clases raras.

Los métodos existentes suelen centrarse en el diseño de codificadores (encoders) o en la adaptación de dominios durante el entrenamiento, pero carecen de mecanismos de calibración en tiempo de prueba (test-time) que sean libres de etiquetas (label-free) y que corrijan directamente la estructura de similitud una vez que los codificadores están congelados.

2. Metodología: SATTC

Los autores proponen SATTC (Structure-Aware Test-Time Calibration), un módulo de calibración que opera directamente sobre la matriz de similitud generada por codificadores de EEG e imágenes congelados, sin requerir etiquetas de los sujetos de prueba.

El enfoque se divide en tres etapas principales:

A. Normalización Geométrica (Whitening Adaptativo al Sujeto - SAW)

Antes de calcular la similitud, se aplica una normalización específica para cada sujeto:

Se estima la media ( $\mu_s$ ) y la covarianza ( $\Sigma_s$ ) de las incrustaciones EEG no etiquetadas del sujeto actual.
Se aplica una transformación de blanqueamiento (whitening) regularizada para centrar las distribuciones y unificar la varianza, seguida de normalización $\ell_2$ .
Esto mapea a diferentes sujetos en una esfera compartida, mitigando el desplazamiento estadístico entre sujetos.

B. Experto Geométrico: CSLS Adaptativo

Para mitigar el hubness, se utiliza una variante adaptativa del algoritmo Cross-domain Similarity Local Scaling (CSLS):

A diferencia del CSLS estándar que usa un tamaño de vecindad fijo ( $k$ ), SATTC estima densidades locales tanto por filas (para la consulta EEG) como por columnas (para la clase de imagen candidata).
El tamaño de la vecindad ( $k$ ) se ajusta dinámicamente según la densidad local: consultas en regiones densas usan vecindades más grandes, y las dispersas usan más pequeñas.
Esto penaliza los candidatos "populares" globalmente sin penalizar en exceso las coincidencias correctas en regiones dispersas.

C. Experto Estructural y Fusión PoE

Se construye un experto estructural basado en patrones de la matriz de similitud antes de aplicar CSLS:

Utiliza Vecinos Mutuos Más Cercanos (MNN), rangos bidireccionales y patrones de popularidad de clases.
Asigna recompensas a pares que son vecinos mutuos estrictos (confianza alta) y penaliza a los candidatos que actúan como "hubs" (aparecen en muchas listas pero no son vecinos mutuos).
Fusión Product-of-Experts (PoE): Los scores del experto geométrico (CSLS adaptativo) y del experto estructural se combinan mediante una suma ponderada en el espacio de logits (equivalente a un PoE en espacio de probabilidad). Esto recalibra las puntuaciones finales para estabilizar las listas de top-k.

3. Contribuciones Clave

Formulación del Problema: Se define la recuperación EEG-Imagen multisujeto como un problema de calibración en tiempo de prueba libre de etiquetas, caracterizando empíricamente cómo el desplazamiento de sujeto y el hubness desestabilizan los rankings.
Experto Geométrico Adaptativo: Introducción de un esquema CSLS que deriva tamaños de vecindad dependientes de la consulta y la clase, eliminando la necesidad de ajustar un hiperparámetro $k$ global.
Experto Estructural y Fusión: Propuesta de un prior estructural basado en MNN y popularidad de clases, fusionado vía PoE, que mejora la identificación estricta (Top-1) sin sacrificar la cobertura general (Top-5).
Validación de Generalización: Demostración de que SATTC es agnóstico al codificador (encoder-agnostic), funcionando como una capa de calibración plug-and-play sobre diferentes arquitecturas de EEG.

4. Resultados Experimentales

Los experimentos se realizaron en el dataset THINGS-EEG bajo un protocolo estricto de Leave-One-Subject-Out (LOSO):

Línea Base Mejorada: Incluso sin SATTC, la normalización estándar (cosine similarity + whitening) superó al pipeline original (ATM), estableciendo una base sólida.
Rendimiento de SATTC:
- Sobre la línea base estandarizada, SATTC mejoró la precisión Top-1 de 9.2% a 14.8% y la Top-5 de 30.5% a 38.4%.
- Comparado con CSLS adaptativo puro, SATTC mantuvo la Top-5 pero mejoró significativamente la Top-1, demostrando que el componente estructural refina la identificación estricta.
Reducción de Hubness: SATTC logró la distribución más uniforme de popularidad de clases, reduciendo la dominancia de los "hubs" y mejorando la equidad entre clases raras y comunes.
Generalización: SATTC mejoró consistentemente el rendimiento en cuatro arquitecturas de codificadores diferentes (ATM, EEGNetV4, EEGConformer, ShallowFBCSPNet), con mejoras de Top-5 entre 8 y 16 puntos porcentuales.

5. Significado e Impacto

El trabajo de SATTC es significativo porque:

Cambia el Paradigma: Mueve el foco de la mejora de arquitecturas de entrenamiento a la calibración en tiempo de inferencia, una solución más práctica para despliegues reales donde no se tienen etiquetas de nuevos usuarios.
Robustez Multisujeto: Resuelve el problema crítico de la generalización entre sujetos sin necesidad de reentrenamiento o fine-tuning con datos etiquetados del nuevo usuario.
Fiabilidad en Listas Cortas: Al reducir el hubness, produce listas de candidatos (shortlists) más fiables para tareas de decodificación neural downstream, lo cual es crucial para aplicaciones prácticas como interfaces cerebro-computadora (BCI).
Eficiencia: Al ser un módulo ligero que opera sobre matrices de similitud, puede integrarse fácilmente en pipelines existentes sin modificar los modelos base.

En resumen, SATTC demuestra que la calibración inteligente del espacio de similitud es una vía práctica y efectiva para lograr una decodificación neural robusta y libre de etiquetas en escenarios de recuperación de imágenes EEG.