A 1000-hour EEG-EMG-audio dataset of Japanese speech production

Resumen Técnico: JapanEEG Dataset

Problema y Motivación
La electroencefalografía (EEG) de superficie es una modalidad ampliamente utilizada para la investigación en neurociencia y en interfaces cerebro-computadora (BCI). Sin embargo, el campo enfrenta desafíos significativos de generalización entre sujetos, sesiones y hardware de registro. Aunque existen corpus de EEG públicos de gran escala para el modelado clínico y el análisis visual, los conjuntos de datos públicos específicamente destinados al habla mediante EEG siguen siendo limitados. Los recursos existentes suelen centrarse en conjuntos de estímulos pequeños, habla imaginada (encubierta) en lugar de overt (proferida), grabaciones de un solo dispositivo o idiomas que no son el japonés. Además, el habla proferida presenta un desafío técnico único: la actividad de los músculos articulatorios contamina los registros de la superficie craneal. Para abordar estas brechas, los autores presentan JapanEEG, un conjunto de datos multimodal diseñado para apoyar la decodificación del habla y, al mismo tiempo, permitir una investigación más amplia en procesamiento de señales, modelado de artefactos y adaptación entre dispositivos.

Metodología
El conjunto de datos comprende 1,020 horas de datos registrados simultáneamente de tres participantes masculinos sanos, hablantes nativos de japonés (de 22 a 44 años). Las grabaciones se recolectaron durante varios meses utilizando tres sistemas de EEG distintos, proporcionando una comparación entre dispositivos:

• g.Pangolin (g.tec): Un sistema de ultra alta densidad con 128 canales (seleccionados de una rejilla de 1024 canales), con una frecuencia de muestreo de 1200 Hz.
• g.SCARABelio (g.tec): Un sistema de cerebro completo con 62 canales, con una frecuencia de muestreo de 1200 Hz.
• eego™sports (ANT Neuro): Un sistema de cerebro completo con 63 canales (electrodos de Ag/AgCl, sistema 10–1), con una frecuencia de muestreo de 1024 Hz.

Paradigma Experimental y Modalidades
Los participantes realizaron tareas de habla proferida de vocabulario abierto (leer en voz alta de libros, corpus de habla, juegos basados en texto y cómics) y tareas de habla encubierta (imaginada) (repetir mentalmente segmentos grabados de su propia voz). El estudio también incluyó sesiones de escucha pasiva.
Crucialmente, el conjunto de datos incluye señales auxiliares sincronizadas:

• EMG Facial: Registrada mediante electrodos bipolares en el labio superior, el labio inferior y el ojo (EOG) para monitorear la cinemática articulatoria y los movimientos oculares.
• Audio: Registrado mediante micrófonos de solapa, sincronizado con el EEG y el EMG a través de un amplificador de bioseñales.
• Anotaciones: Los eventos de habla se detectaron utilizando el modelo de Detección de Actividad de Voz (VAD) Silero, con flujos de trabajo específicos para el habla proferida, la escucha y el habla encubierta. Las transcripciones se generaron utilizando faster_whisper.

Los datos están organizados en el formato Brain Imaging Data Structure (BIDS) y están disponibles públicamente a través de OpenNeuro bajo una exención CC0.

Validación Técnica y Resultados
Los autores realizaron una validación técnica para verificar la calidad de la señal y la correspondencia multimodal, en lugar de evaluar el rendimiento de la decodificación posterior.

1. Densidad Espectral de Potencia (PSD): El análisis de los datos brutos y preprocesados reveló el perfil espectral 1/f esperado, característico de las señales electrofisiológicas. El preprocesamiento atenuó con éxito el ruido de la línea y los artefactos no neurales. En la banda alfa de 8–13 Hz, los espectros mostraron un perfil aplanado consistente con la atenuación de potencia relacionada con la tarea durante el habla activa y la escucha, en lugar de los picos agudos observados en estados de reposo.
2. Potenciales Evocados Relacionados con Eventos (ERPs): Los análisis vinculados al tiempo demostraron líneas base pre-estímulo estables y dinámicas espaciotemporales organizadas.
   • Escucha: Mostró componentes sensoriales tempranos (N1 auditivo ~100 ms) y deflexiones negativas subsiguientes (200–300 ms) sobre regiones centro- parietales, consistentes con el procesamiento acústico-fonológico.
   • Habla Proferida/Encubierta: Ambas modalidades exhibieron un cambio de dirección negativa (potencial de preparación) 100–50 ms antes del inicio del habla con topografía fronto-central, seguido de actividad sobre el giro frontal inferior izquierdo y las regiones sensoriomotoras ventrales (100–300 ms post-inicio).
   • Consistencia entre Dispositivos: El sistema de ultra alta densidad g.Pangolin proporcionó un mayor muestreo espacial, mientras que los sistemas de cabeza completa (g.SCARABEO y eego™sports) produjeron campos dipolares globales similares. El sistema eego™sports mostró una actividad temporal periférica más pronunciada durante el habla proferida, probablemente reflejando componentes miogénicos; sin embargo, los gradientes centrales se mantuvieron concordantes entre los dispositivos.

Contribuciones Clave y Significado
El artículo afirma que JapanEEG expande sustancialmente la escala de los datos de habla disponibles en EEG, creciendo de los 175 horas del conjunto de datos previo de los autores a más de 1,000 horas. Su principal importancia radica en su naturaleza multimodal, longitudinal y entre dispositivos. Al incluir EMG facial sincronizado y audio junto con EEG de alta densidad de múltiples sistemas de hardware, el conjunto de datos soporta:

• Caracterización de Artefactos: Permitiendo el modelado y la eliminación de artefactos musculares relacionados con el habla.
• Alineación Multimodal: Facilitando la investigación sobre la alineación de señales neurales con la estructura temporal del habla.
• Aprendizaje de Representación y Adaptación: Proporcionando una base para entrenar modelos que se generalicen a través de diferentes sujetos, sesiones y dispositivos de registro.

Los autores posicionan el conjunto de datos como un recurso para apoyar tanto las aplicaciones de decodificación específicas del habla como la investigación de EEG más amplia, incluyendo el preprocesamiento, la transferencia de aprendizaje y los análisis de robustez. La validación técnica confirma que los registros contienen actividad neural continua y modulada por la tarea, con características fisiológicas consistentes con la literatura establecida.