Stimulus identity rather than emotion drives EEG classification on the FACED dataset

Resumen Técnico: La identidad del estímulo, en lugar de la emoción, es lo que impulsa la clasificación de EEG en el conjunto de datos FACED

Planteamiento del problema
Los conjuntos de datos de referencia fiables son fundamentales para el avance del reconocimiento de emociones basado en EEG. El Conjunto de Datos de EEG de Computación Afectiva de Grano Fino (FACeld, por sus siglas en inglés), que actualmente es el mayor conjunto de datos de emociones de EEG disponible públicamente, compuesto por 123 sujetos y nueve categorías de emociones, se ha convertido en un referente ampliamente adoptado. Sin embargo, este artículo identifica un fallo crítico en la utilidad del conjunto de datos: el rendimiento de la clasificación en FACED parece reflejar la identidad del estímulo en lugar de la emoción genuina. El estudio sostiene que los protocolos de evaluación actuales en FACED son susceptibles a factores de confusión derivados de decisiones de diseño específicas, lo que conduce a métricas de precisión infladas o engañosas que no se generalizan a la verdadera decodificación emocional.

Metodología
Los autores emplearon un análisis comparativo utilizando dos enfoques de clasificación distintos: un clasificador lineal (LinearSVC) y un modelo de aprendizaje profundo (CLISA). Para aislar los factores que impulsan el rendimiento de la clasificación, el estudio llevó a cabo tres manipulaciones experimentales específicas en los datos de FACED:

1. Análisis de Sentir vs. No Sentir: Los autores compararon el rendimiento de la clasificación en los ensayos donde los sujetos reportaron explícitamente sentir la emoción asignada frente a aquellos donde no la sintieron.
2. Reemplazo de Etiquetas: El estudio reemplazó las etiquetas originales asignadas al estímulo (la emoción que se pretendía evocar con el video) por los informes individuales de la emoción realmente sentida por el sujeto, y luego reevaluó la precisión de la clasificación.
3. Reducción de Estímulos: Los autores redujeron el conjunto de datos a un solo video por categoría de emoción, descartando efectivamente dos tercios de los datos, para probar si la precisión persistía cuando se minimizaba la variabilidad del estímulo.

Resultados Clave
Los resultados experimentales arrojaron tres hallazgos principales que cuestionan la validez de FACED como referente de reconocimiento de emociones:

• Rendimiento Indistinguible: El rendimiento de la clasificación se mantuvo comparable independientemente de si los sujetos reportaron sentir la emoción objetivo o no, lo que sugiere que el modelo no está aprendiendo estados emocionales, sino características del estímulo.
• Degradación del Rendimiento con Informes de Autoreporte: Cuando las etiquetas asignadas al estímulo fueron reemplazadas por los informes individuales de los sujetos, la precisión de la clasificación disminuyó significativamente. Esto indica que los modelos entrenados con las etiquetas originales están fallando en capturar la experiencia emocional subjetiva de los participantes.
• Aumento de la Precisión mediante la Reducción de Estímulos: Contrario a la expectativa de que menos datos perjudicarían el rendimiento, la precisión aumentó cuando el conjunto de datos se redujo a un video por emoción. Este resultado contraintuitivo confirma que los modelos están aprovechando la identidad del estímulo (características visuales o auditivas específicas y únicas de un video) en lugar de la categoría emocional en sí.

Análisis de la Causa Raíz
El artículo atribuye estos hallazgos a tres decisiones de diseño específicas inherentes a FACED:

1. Pocos Estímulos por Categoría: El número limitado de videos únicos por categoría de emoción crea una fuerte correlación entre el estímulo y la etiqueta.
2. Etiquetas Asignadas al Estímulo: La dependencia de la emoción pretendida del video, en lugar del sentimiento real reportado por el sujeto, introduce un problema de ruido en las etiquetas.
3. Divisiones Temporales Dentro del Video: El uso de divisiones temporales para la validación cruzada (dividir los datos del mismo video entre los conjuntos de entrenamiento y prueba) permite que el modelo aprenda la autocorrelación temporal y las características específicas del estímulo, las cuales luego se generalizan perfectamente al conjunto de prueba sin aprender la emoción subyacente.

Significancia y Recomendaciones
El artículo concluye que los referentes actuales en FACED probablemente están midiendo la capacidad de reconocer clips de video específicos en lugar de decodificar estados emocionales. Para guiar la investigación futura y prevenir estos factores de confusión, los autores proponen cinco recomendaciones específicas para los diseños de estudios de decodificación de emociones:

• Mejorar la diversidad de estímulos para asegurar múltiples estímulos únicos por categoría de emoción.
• Implementar la independencia temporal en la división de datos para evitar la filtración de características específicas del estímulo.
• Priorizar la validación de etiquetas mediante autorreportes en lugar de depender únicamente de las etiquetas asignadas al estímulo.
• (Implícitamente) Diseñar experimentos que prueben y mitiguen explícitamente los factores de confusión por identidad del estímulo.

La importancia de este trabajo radica en su llamado a reevaluar la validez de los referentes ampliamente utilizados. Al exponer la susceptibilidad de FACED a los factores de confusión por identidad del estímulo, el artículo pretende orientar a la comunidad hacia diseños experimentales más rigurosos que avancen genuinamente en el campo del reconocimiento de emociones basado en EEG.