What Are We Actually Decoding? Source Attribution for Non-Invasive Brain-to-Language Retrieval

Resumen Técnico: Atribución de Origen para la Recuperación No Invasiva de Cerebro a Lenguaje

Enunciado del Problema
La decodificación no invasiva del lenguaje neuronal ha avanzado rápidamente con modelos de lenguaje y habla preentrenados, sin embargo, la precisión reportada a menudo confunde la evidencia neural genuina evocada por el estímulo con artefactos estructurales no neuronales. El artículo identifica tres fuentes principales de rendimiento inflado:

1. Priors del Decodificador y Atajos de Evaluación: Los modelos pueden explotar duraciones de entrada variables, límites de relleno o patrones de máscara en lugar del contenido neural.
2. Limitaciones de Métricas Basadas en Incrustaciones: Métricas como BERTScore recompensan la similitud semántica o la fluidez, permitiendo que salidas ciegas a la señal (por ejemplo, rellenos genéricos) parezcan exitosas incluso cuando no logran recuperar el contenido específico del estímulo.
3. Fuga de Datos: Divisiones inadecuadas de entrenamiento-prueba (por ejemplo, por sujeto en lugar de por identidad del estímulo) permiten que el contenido del estímulo repetido se filtre en los conjuntos de evaluación.

El desafío metodológico central es la atribución: distinguir si una mejora reportada proviene de información lingüística decodificable en la señal neural o de estos artefactos estructurales y de evaluación.

Metodología
Los autores replantean el problema utilizando un marco de recuperación de audio a MEG bloqueado por el estímulo como herramienta de auditoría. En lugar de la generación de texto abierta, la tarea implica recuperar una ventana de audio alineada en el tiempo de un conjunto explícito de candidatos para cada ventana neural. Esta configuración hace observables los niveles de azar, los conjuntos de candidatos y los errores de rango.

La metodología descompone el rendimiento en tres fuentes distintas:

1. Atajos Estructurales: Controlados al imponer ventanas de duración fija y divisiones por identidad del estímulo (asegurando que el mismo contenido de audio no aparezca tanto en los conjuntos de entrenamiento como de prueba).
2. Evidencia Bloqueada por el Estímulo a Nivel de Ventana: Medida mediante recuperación de ventana fija independiente, aislando la discriminabilidad de ventanas neuronales individuales frente al conjunto de audio.
3. Agregación Contextual Trans-Ventana: Abordada mediante una nueva intervención en tiempo de inferencia llamada Sesgo de Contexto de Grupo (GCB).

Contribuciones Clave

• Cuantificación de Ruidos Estructurales: Los autores demuestran que, bajo decodificación de longitud variable, reemplazar el MEG real con ruido gaussiano produce una precisión de 66,3% en Rango@1 (R@1) debido a atajos de longitud de secuencia. Imponer ventanas de duración fija y divisiones por identidad del estímulo colapsa esta línea base de ruido a niveles cercanos al azar, aislando efectivamente la fuga estructural no neural.
• Aislamiento de Evidencia Local: Bajo estos controles estrictos, la recuperación independiente de ventana fija recupera una discriminabilidad medible entre MEG y audio (por ejemplo, 44,4% R@1 en el conjunto de datos Gwilliams), demostrando que las señales neuronales a nivel de ventana son decodificables. Sin embargo, el análisis de errores revela que el 95,7% de los errores Top-1 implican seleccionar un candidato de la oración incorrecta, lo que indica un cuello de botella en la competencia a nivel de oración en lugar de ambigüedad dentro de la oración.
• Auditoría de la Agregación Contextual (GCB): El artículo introduce GCB, un sesgo de logits aditivo aplicado en tiempo de inferencia. GCB agrupa evidencia a través de ventanas que pertenecen a la misma oración de consulta para identificar los "cubos de oración" más respaldados y aplica un sesgo suave a los candidatos dentro de esos cubos. Crucialmente, GCB deja el codificador neural congelado, las incrustaciones de audio y el conjunto de candidatos sin cambios, permitiendo que la contribución contextual se mida independientemente de la evidencia local.
• Controles Diagnósticos: El estudio emplea controles rigurosos para validar la atribución:
  • Diagnóstico Oráculo: Restringir los candidatos a la oración de verdad fundamental eleva el R@1 del 44% al 88%, confirmando la existencia de "margen contextual".
  • Pruebas de Perturbación: Aleatorizar las agrupaciones de oraciones elimina la ganancia de GCB, demostrando que el efecto depende de una estructura de oración coherente.
  • Atenuación de Evidencia: Mezclar MEG real con ruido no coincidente con el estímulo muestra que las ganancias de GCB desaparecen a medida que la evidencia local bloqueada por el estímulo se acerca al azar, confirmando que GCB amplifica la evidencia existente en lugar de generarla.
  • Controles Negativos: En el conjunto de datos EEG de Brennan (donde la recuperación local está cerca del azar), GCB no produce ninguna ganancia positiva, apoyando aún más que la agregación contextual requiere evidencia local confiable.

Resultados Experimentales

• Fuga Estructural: La decodificación de longitud variable con ruido gaussiano alcanza un 66,3% de R@1; los controles de longitud fija reducen esto al 1,53% (cerca del azar).
• Rendimiento Local vs. Contextual:
  • Gwilliams (MEG): Línea base local R@1 = 44,4%. Con GCB, R@1 aumenta al 52,1% (+7,7 pp).
  • MOUS (MEG): Línea base local R@1 = 21,7%. Con GCB, R@1 aumenta al 28,6% (+6,9 pp).
  • Brennan (EEG): Línea base local R@1 < 1%. GCB no ofrece mejora, confirmando la dependencia del método de la calidad de la señal.
• Corrección de Errores: GCB corrige principalmente errores de "casi acierto" donde el cubo de oración correcto no fue seleccionado por el modelo local pero está respaldado por la consistencia trans-ventana. Recupera aproximadamente el 18% del margen teórico expuesto por el diagnóstico oráculo.
• Robustez: Las ganancias son estables a través de diferentes arquitecturas de columna vertebral temporal (Dense-TCNN frente a CNN con dilatación Exp) y se transfieren entre conjuntos de datos sin reajuste.

Significado y Afirmaciones
El artículo argumenta que la decodificación no invasiva del lenguaje neuronal debe tratarse como un problema de atribución en lugar de una simple métrica de rendimiento. Los autores afirman que:

1. El Rendimiento es Multi-Origen: Las puntuaciones reportadas a menudo reflejan una mezcla de atajos estructurales, evidencia neural local y agregación contextual.
2. Recuperación como Auditoría: La recuperación bloqueada por el estímulo proporciona un punto final controlado para separar estas fuentes, a diferencia de las pipelines generativas donde estos factores están entrelazados.
3. La Agregación Contextual es Medible: GCB demuestra que la información contextual trans-ventana puede aislarse y cuantificarse como una fuente distinta de ganancia de rendimiento, separada del aprendizaje del codificador.
4. Dependencia de la Evidencia: La agregación contextual no es una "bala mágica"; amplifica la evidencia local confiable y bloqueada por el estímulo. Cuando la evidencia local es débil (como en EEG o MEG atenuado), la agregación contextual falla en mejorar el rendimiento.

Los autores concluyen que una decodificación neural-lingüística convincente no debe mostrar solo qué salida se produjo, sino también en qué medida esa salida está respaldada por evidencia neural bloqueada por el estímulo frente a priores del decodificador o artefactos de evaluación. Abogan por sondas estilo recuperación y controles específicos de la tarea sobre la segmentación, el contexto y la estructura de candidatos para establecer esta atribución en trabajos futuros.