Resumen Técnico: Reconocimiento de Emociones en Conversación en Lengua de Señas

Enunciado del Problema

La investigación actual en Reconocimiento de Emociones en Conversación (REC) y análisis de lengua de señas enfrenta una limitación estructural crítica: los recursos existentes consisten principalmente en oraciones aisladas o expresiones unidireccionales (por ejemplo, eJSL Solo, EmoSign). Estos conjuntos de datos carecen de contexto conversacional, lo que impide que los modelos utilicen el flujo histórico del diálogo para comprender la dinámica emocional. En consecuencia, los modelos entrenados con enunciados aislados muestran un rendimiento degradado en escenarios del mundo real, donde el significado emocional depende de la interacción continua y de las respuestas del interlocutor. Además, la lengua de señas presenta un desafío único donde las expresiones faciales y los movimientos del torso superior cumplen una doble función: codificar simultáneamente estructuras gramaticales (por ejemplo, preguntas) y estados afectivos. Esta superposición genera una ambigüedad significativa para los sistemas de reconocimiento automático, especialmente al aplicar modelos genéricos multimodales de REC diseñados para lenguas habladas a datos de lengua de señas.

Metodología

Construcción del Conjunto de Datos: eJSL Dialog

Para abordar la falta de datos conversacionales, los autores construyeron el conjunto de datos eJSL Dialog.

• Fuente: Los guiones se derivaron del Corpus de Voz de Diálogo Empático Japonés STUDIES, específicamente de un subconjunto de 480 diálogos únicos que involucran interacciones entre profesores y estudiantes.
• Escala: El conjunto de datos comprende 1.920 muestras de video (4 enunciados por diálogo).
• Participantes: Dos señantes nativos de la Lengua de Señas Japonesa (JSL) (un hombre y una mujer) actuaron como profesores y estudiantes.
• Grabación: Los videos se grabaron en un entorno interior controlado con fondo blanco utilizando una sola cámara RGB (resolución 1440 × 1080, 30 fps). Se proporcionó a los actores texto y etiquetas de emoción en pantalla para garantizar un rendimiento consistente.
• Anotaciones: Cada enunciado está anotado con una de cuatro categorías de emoción: Neutral, Feliz, Triste y Enfadado. El conjunto de datos está equilibrado entre estas categorías e incluye el historial explícito del diálogo.
• Propósito: El conjunto de datos está diseñado estrictamente como un punto de referencia para evaluación y prueba, no para entrenamiento, para servir como estándar de oro para evaluar la generalización del modelo.

Marco de Evaluación de Línea Base

Los autores establecieron un punto de referencia objetivo evaluando cinco modelos distintos en el conjunto de datos eJSL Dialog para aislar las contribuciones de la modalidad y el contexto:

1. Modelos Visuales:
   • EmoAffectNet: Procesa características faciales a nivel de cuadro.
   • EANwH: Extiende EmoAffectNet concatenando características faciales y esqueléticas de las manos, utilizando una LSTM para capturar la dinámica temporal. Ambos se preentrenaron en el conjunto de datos BOBSL (Lengua de Señas Británica) para aprender características visuales genéricas antes de la fine-tuning.
2. Modelos Basados en Texto:
   • EmoTrans: Un modelo de REC que opera exclusivamente sobre entrada textual (transcripciones japonesas traducidas al inglés), concatenando enunciados recientes para capturar cambios de estado.
3. Modelos Conversacionales Multimodales:
   • TelME: Utiliza destilación de conocimiento intermodal y fusión desplazada para combinar características textuales y no verbales.
   • MMGCN: Una red de convolución de gráficos fusionada multimodal que modela dependencias inter e intra hablantes.
   • Nota: Las modalidades de audio se excluyeron de estos modelos multimodales para alinearse con la naturaleza visual/textual del conjunto de datos.

Resultados Clave

La evaluación reveló disparidades significativas en el rendimiento y una brecha de dominio distinta:

• Modelos Visuales: EANwH (33,31 F1 ponderado) superó a EmoAffectNet (29,06 F1 ponderado), confirmando que las características esqueléticas de las manos y el modelado temporal proporcionan información afectiva explícita. Sin embargo, ambos lucharon con la categoría "Triste" (puntuaciones F1 de 13,24 y 17,03, respectivamente).
• Modelo Solo de Texto: EmoTrans logró el mejor rendimiento general (55,40 F1 ponderado), demostrando que los semánticos textuales proporcionan pistas emocionales directas y generalizables, especialmente dada la alta correlación entre el texto del guion y las etiquetas de emoción asignadas en el corpus fuente.
• Modelos Conversacionales Multimodales: Los modelos multimodales genéricos (TelME y MMGCN) mostraron una degradación severa del rendimiento, alcanzando puntuaciones F1 ponderadas de 10,46 y 8,50, respectivamente.
  • Análisis: Los autores atribuyen este fracaso a una brecha de dominio. Los modelos genéricos entrenados en poblaciones no señantes luchan por distinguir entre marcadores lingüísticos (expresiones faciales gramaticales) y transiciones emocionales en la lengua de señas. Las características visuales en la lengua de señas interfieren con la modalidad de texto durante la fusión, degradando el rendimiento general.

Estudios de Caso

Dos casos destacaron la naturaleza complementaria de las modalidades:

1. Dependencia del Contexto: En un escenario donde la expresión visual de un estudiante estaba contenida pero el contexto era positivo, los modelos basados en texto y multimodales identificaron correctamente "Alegría", mientras que el modelo solo visual falló, prediciendo "Neutral".
2. Necesidad Visual: En un escenario donde el texto describía un evento factual sin modificadores emocionales explícitos, los modelos solo de texto fallaron, mientras que los modelos conscientes de lo visual identificaron correctamente "Alegría" basándose en pistas faciales.

Contribuciones

El artículo hace tres contribuciones principales:

1. Definición de la Tarea: Define formalmente la tarea de Reconocimiento de Emociones en Conversación (REC) específicamente para el análisis de video en lengua de señas, estableciendo un punto de referencia para escenarios de interacción bidireccional.
2. Lanzamiento del Conjunto de Datos: Presenta el conjunto de datos eJSL Dialog, el primer recurso que proporciona muestras de video en lengua de señas con contexto explícito de diálogo multi-turno y anotaciones de emoción, abordando las limitaciones estructurales de los conjuntos de datos de enunciados aislados.
3. Hallazgos Empíricos: Mediante una evaluación sistemática, el estudio demuestra las limitaciones de los modelos visuales aislados y las arquitecturas conversacionales multimodales genéricas. Confirma la necesidad explícita de extractores visuales conscientes del contexto específicos para la lengua de señas en lugar de depender de arquitecturas genéricas.

Significado y Direcciones Futuras

El artículo concluye que expandir la escala de los conjuntos de datos de lengua de señas conversacional es el siguiente paso necesario para apoyar el preentrenamiento a gran escala. Los hallazgos indican que los modelos multimodales genéricos actuales no pueden simplemente transferirse a tareas de lengua de señas debido a la naturaleza única de doble función de las características visuales en la lengua de señas. El trabajo futuro tiene como objetivo abordar las limitaciones actuales (como el entorno controlado y el número limitado de señantes) recopilando conversaciones espontáneas, expandiendo la escala del conjunto de datos e integrando modelos de lenguaje grandes para procesar mejor el historial de diálogo multi-turno. Esta investigación sienta las bases para desarrollar sistemas de diálogo empáticos capaces de rastrear y responder a la historia emocional de los usuarios sordos en interacciones naturales entre humanos y computadoras.