Evaluation of Conversational Agents: Understanding Culture, Context and Environment in Emotion Detection

Resumo Técnico: Avaliação de Agentes Conversacionais – Compreensão de Cultura, Contexto e Ambiente na Detecção de Emoções

Declaração do Problema
O artigo aborda uma lacuna crítica na interação Humano-IA, especificamente no que diz respeito à implantação de agentes conversacionais e sistemas de reconhecimento de emoções dentro das sociedades africanas negras. Embora existam soluções generalizadas para mimetizar emoções humanas (incluindo sarcasmo), elas frequentemente falham em levar em conta a localização geográfica e as diferenças culturais. Os autores destacam que as tecnologias atuais, como a biometria facial, frequentemente apresentam desempenho inferior em demografias minoritárias, particularmente em populações negras. Essa falta de especificidade cultural cria riscos éticos e reduz a credibilidade dos sistemas de IA em contextos globais diversos. O problema central é a incapacidade dos modelos existentes de detectar com precisão microexpressões, sarcasmo e pistas emocionais culturalmente específicas nas comunidades africanas, devido a vieses nos dados e à falta de processamento consciente do contexto.

Metodologia
Para abordar esses desafios, os autores desenvolveram um modelo híbrido de previsão de emoções que integra dados de fala (áudio) e imagem (visual). A metodologia abrange os seguintes componentes técnicos:

• Construção do Conjunto de Dados: O estudo utilizou conjuntos de dados de código aberto padrão (FER-2013, CREMA-D, RAVDESS, SAVEE, TESS) e os aumentou com 1.000 imagens geradas localmente em Gana. Este conjunto de dados local incluiu contagens específicas para sete emoções (Alegria, Surpresa, Medo, Raiva, Tristeza, Neutro, Nojo) para garantir a representação da comunidade africana (ganesa).
• Pré-processamento:
  • Visual: As imagens foram convertidas de RGB para escala de cinza usando um método de luminância para otimizar o desempenho da Rede Neural Convolucional (CNN). Marcadores faciais (68 pontos) foram extraídos usando a biblioteca Dlib para isolar características como olhos, boca e linhas da mandíbula.
  • Áudio: Os arquivos de áudio foram convertidos para o formato .wav e analisados quanto a transformações frequência-tempo. As características extraídas incluíram Taxa de Cruzamento por Zero (ZCR), Vetor Cromático, Desvio Cromático, Coeficientes Cepstrais de Frequência Mel (MFCC), Raiz Quadrada Média (RMS) e Mel-espectrogramas.
• Arquitetura do Modelo:
  • O sistema emprega uma Rede Neural Convolucional (CNN) de 3 camadas para classificação tanto de imagem quanto de áudio. A arquitetura inclui blocos convolucionais 2D, normalização de lote, ativação ReLU, max-pooling (tamanho 2) e camadas de dropout para prevenir overfitting.
  • O modelo foi treinado usando o otimizador Adam com uma taxa de aprendizado de 0,001.
• Algoritmo Inovador (AFME): Uma contribuição metodológica chave é o algoritmo Média de Expressão de Quadro de Áudio (AFME). Esta abordagem matemática valida as saídas da rede neural analisando sub-vídeos (5–8 segundos) para capturar microexpressões. Trata as emoções detectadas como variáveis aleatórias discretas de ambos os fluxos de áudio e imagem. Ao mapear essas emoções para a roda das emoções de Plutchik, o algoritmo atribui pesos para detectar "valores próximos" (emoções que se situam entre duas emoções primárias) e identifica o sarcasmo quando as pistas de áudio e visual estão em extremos contrastantes do espectro emocional.

Principais Contribuições

1. Aumento de Dados Culturais: A criação e integração de um conjunto de dados de imagens ganesas de fonte local para mitigar a sub-representação de demografias negras nos conjuntos de dados existentes de reconhecimento de emoções.
2. Modalidade Híbrida: A implementação de uma abordagem de fluxo duplo (fala e imagem) para melhorar a precisão da detecção, reconhecendo que pistas não verbais e tom são cruciais para a compreensão do contexto e do sarcasmo.
3. Algoritmo AFME: A introdução do algoritmo de Média de Expressão de Quadro de Áudio, que serve como uma camada de validação de pós-processamento para reduzir classificações incorretas (falsos positivos/negativos) e detectar especificamente o sarcasmo analisando a divergência entre sinais emocionais de áudio e visual.
4. Mitigação de Viés: Um foco nas etapas de pré-processamento e pós-processamento para abordar o viés algorítmico, indo além do treinamento simples do modelo para incluir técnicas de balanceamento e reponderação de dados.

Resultados
O modelo proposto alcançou taxas de precisão variando entre 85% e 96%.

• Desempenho de Linha de Base: Testes iniciais da CNN sem o algoritmo AFME mostraram precisões variadas, com "Alegria" alcançando 98% e "Raiva" 83,18% no conjunto de teste.
• Desempenho Pós-AFME: Após a aplicação do algoritmo AFME, as métricas de desempenho geral melhoraram significativamente. Por exemplo, a precisão para "Nojo" aumentou de 89,64% para 94,64%, e "Tristeza" melhorou de 88,38% para 97,34%. A classe "Alegria" atingiu 100% de precisão.
• Detecção de Sarcasmo: O sistema identificou com sucesso o sarcasmo em casos de teste onde expressões visuais (por exemplo, sorrindo) contradiziam o conteúdo de áudio (por exemplo, tom de raiva), uma capacidade que modelos padrão frequentemente carecem.
• Comparação: O modelo final (CNN + AFME) alcançou uma precisão geral de 95,7%, superando vários modelos existentes citados na literatura (por exemplo, Syed [32] com 95,6%, Giannopoulos [20] com 83%).

Significado e Alegações
O artigo afirma que seu principal significado reside na manutenção da credibilidade dos sistemas de reconhecimento de emoções dentro de IAs conversacionais, particularmente para sociedades africanas negras. Os autores argumentam que modelos de imagem ou fala isolados são insuficientes para previsão precisa de emoções em rostos negros e que o contexto cultural é essencial para a implantação ética da IA.

O estudo enfatiza que:

• Necessidade Ética: Ignorar fatores culturais e geográficos no desenvolvimento de IA exacerba riscos e limita a utilidade da tecnologia em sociedades diversas.
• Melhoria Técnica: A integração do algoritmo AFME e o uso de dados localizados reduzem significativamente o viés e melhoram a detecção de estados emocionais complexos, como sarcasmo e microexpressões.
• Direção Futura: Os autores sugerem que, embora seu modelo melhore a precisão, é necessário mais trabalho para acessar conjuntos de dados africanos maiores e bem estruturados e para aplicar estruturas formais de mitigação de viés (como o AI Fairness 360 da IBM) para validar e refinar ainda mais os resultados.

O artigo conclui que, ao equilibrar conjuntos de dados e incorporar a abordagem AFME, é possível projetar agentes conversacionais mais competentes e confiáveis que possam perceber e responder a emoções de maneira culturalmente consciente.