Resumo Técnico: Reconhecimento de Emoções em Conversação em Língua de Sinais

Declaração do Problema

A pesquisa atual em Reconhecimento de Emoções em Conversação (ERC) e análise de língua de sinais enfrenta uma limitação estrutural crítica: os recursos existentes consistem principalmente em frases isoladas ou expressões unidirecionais (por exemplo, eJSL Solo, EmoSign). Esses conjuntos de dados carecem de contexto conversacional, impedindo que os modelos utilizem o fluxo histórico do diálogo para compreender a dinâmica emocional. Consequentemente, modelos treinados em enunciados isolados demonstram desempenho degradado em cenários do mundo real, onde o significado emocional é contingente à interação contínua e às respostas do interlocutor. Além disso, a língua de sinais apresenta um desafio único, onde expressões faciais e movimentos do tronco superior servem a propósitos duplos: codificar estruturas gramaticais (por exemplo, perguntas) e estados afetivos simultaneamente. Essa sobreposição cria ambiguidade significativa para sistemas de reconhecimento automático, particularmente ao aplicar modelos ERC multimodais genéricos, projetados para línguas faladas, a dados de língua de sinais.

Metodologia

Construção do Conjunto de Dados: eJSL Dialog

Para abordar a falta de dados conversacionais, os autores construíram o conjunto de dados eJSL Dialog.

• Fonte: Os roteiros foram derivados do Corpus de Fala de Diálogo Empático STUDIES Japonês, especificamente um subconjunto de 480 diálogos únicos envolvendo interações professor-aluno.
• Escala: O conjunto de dados compreende 1.920 amostras de vídeo (4 enunciados por diálogo).
• Participantes: Dois sinalizadores nativos de Língua de Sinais Japonesa (JSL) (um homem e uma mulher) atuaram como professores e alunos.
• Gravação: Os vídeos foram gravados em um ambiente interno controlado com fundo branco, utilizando uma única câmera RGB (resolução 1440 × 1080, 30 fps). Os atores receberam texto e rótulos de emoção na tela para garantir desempenho consistente.
• Anotações: Cada enunciado é anotado com uma das quatro categorias de emoção: Neutro, Feliz, Triste e Com Raiva. O conjunto de dados está balanceado entre essas categorias e inclui histórico de diálogo explícito.
• Propósito: O conjunto de dados foi projetado estritamente como um benchmark para avaliação e teste, não para treinamento, para servir como padrão ouro na avaliação da generalização do modelo.

Framework de Avaliação de Baseline

Os autores estabeleceram um benchmark objetivo avaliando cinco modelos distintos no conjunto de dados eJSL Dialog para isolar as contribuições da modalidade e do contexto:

1. Modelos Visuais:
   • EmoAffectNet: Processa características faciais em nível de quadro.
   • EANwH: Estende o EmoAffectNet concatenando características faciais e esqueléticas das mãos, utilizando um LSTM para capturar dinâmicas temporais. Ambos foram pré-treinados no conjunto de dados BOBSL (Língua de Sinais Britânica) para aprender características visuais genéricas antes do ajuste fino.
2. Modelos Baseados em Texto:
   • EmoTrans: Um modelo ERC operando exclusivamente em entrada textual (transcrições em japonês traduzidas para inglês), concatenando enunciados recentes para capturar mudanças de estado.
3. Modelos Conversacionais Multimodais:
   • TelME: Utiliza destilação de conhecimento cross-modal e fusão de deslocamento para combinar características textuais e não verbais.
   • MMGCN: Uma rede de convolução de grafos fundida multimodal que modela dependências inter e intra-falantes.
   • Nota: Modalidades de áudio foram excluídas desses modelos multimodais para alinhar com a natureza visual/textual do conjunto de dados.

Resultados Chave

A avaliação revelou disparidades significativas de desempenho e uma lacuna de domínio distinta:

• Modelos Visuais: O EANwH (33,31 F1 ponderado) superou o EmoAffectNet (29,06 F1 ponderado), confirmando que características esqueléticas das mãos e modelagem temporal fornecem informações afetivas explícitas. No entanto, ambos lutaram com a categoria "Triste" (pontuações F1 de 13,24 e 17,03, respectivamente).
• Modelo Apenas de Texto: O EmoTrans alcançou o melhor desempenho geral (55,40 F1 ponderado), demonstrando que semânticas textuais fornecem pistas emocionais diretas e generalizáveis, especialmente dada a alta correlação entre o texto do roteiro e os rótulos de emoção atribuídos no corpus de origem.
• Modelos Conversacionais Multimodais: Modelos multimodais genéricos (TelME e MMGCN) exibiram degradação severa de desempenho, alcançando pontuações F1 ponderadas de 10,46 e 8,50, respectivamente.
  • Análise: Os autores atribuem essa falha a uma lacuna de domínio. Modelos genéricos treinados em populações não sinalizadoras lutam para distinguir entre marcadores linguísticos (expressões faciais gramaticais) e transições emocionais na língua de sinais. As características visuais na língua de sinais interferem na modalidade de texto durante a fusão, degradando o desempenho geral.

Estudos de Caso

Dois casos destacaram a natureza complementar das modalidades:

1. Dependência de Contexto: Em um cenário onde a expressão visual de um aluno era contida, mas o contexto era positivo, modelos baseados em texto e multimodais identificaram corretamente "Alegria", enquanto o modelo apenas visual falhou, prevendo "Neutro".
2. Necessidade Visual: Em um cenário onde o texto descrevia um evento factual sem modificadores emocionais explícitos, modelos apenas de texto falharam, enquanto modelos conscientes de visual identificaram corretamente "Alegria" com base em pistas faciais.

Contribuições

O artigo faz três contribuições principais:

1. Definição da Tarefa: Define formalmente a tarefa de Reconhecimento de Emoções em Conversação (ERC) especificamente para análise de vídeo em língua de sinais, estabelecendo um benchmark para cenários de interação bidirecional.
2. Lançamento do Conjunto de Dados: Introduz o conjunto de dados eJSL Dialog, o primeiro recurso fornecendo amostras de vídeo em língua de sinais com contexto de diálogo multi-turno explícito e anotações de emoção, abordando as limitações estruturais de conjuntos de dados de enunciados isolados.
3. Descobertas Empíricas: Através de benchmarking sistemático, o estudo demonstra as limitações de modelos visuais isolados e arquiteturas conversacionais multimodais genéricas. Confirma a necessidade explícita de extratores visuais conscientes de contexto específicos para língua de sinais, em vez de depender de arquiteturas genéricas.

Significância e Direções Futuras

O artigo conclui que expandir a escala de conjuntos de dados de língua de sinais conversacionais é um próximo passo necessário para suportar pré-treinamento em grande escala. As descobertas indicam que modelos multimodais genéricos atuais não podem simplesmente ser transferidos para tarefas de língua de sinais devido à natureza única de dupla função das características visuais na língua de sinais. O trabalho futuro visa abordar limitações atuais (como o ambiente controlado e o número limitado de sinalizadores) coletando conversas espontâneas, expandindo a escala do conjunto de dados e integrando grandes modelos de linguagem para processar melhor o histórico de diálogo multi-turno. Esta pesquisa estabelece as bases para o desenvolvimento de sistemas de diálogo empáticos capazes de rastrear e responder à história emocional de usuários surdos em interações naturais entre humanos e computadores.