Resumo Técnico: EmoAra – Transcrição de Fala em Inglês e Tradução Cross-Lingual com Preservação de Emoção e Text-to-Speech em Árabe

1. Declaração do Problema

O projeto aborda desafios críticos na comunicação cross-linguística dentro do setor bancário, especificamente a incapacidade dos sistemas automatizados de atendimento ao cliente de interpretar efetivamente o contexto emocional através de barreiras linguísticas. Embora as emoções dos clientes (ex: urgência, satisfação ou insatisfação) sejam vitais para a qualidade do serviço, os sistemas existentes frequentemente falham em detectar essas nuances na fala, particularmente ao traduzir entre inglês e árabe. Essa lacuna leva a mal-entendidos, redução na satisfação do cliente e falta de uma resposta empática. O objetivo é desenvolver um sistema de ponta a ponta que não apenas transcreva e traduza a linguagem falada, mas também preserve a integridade emocional da interação original, permitindo que os representantes bancários respondam adequadamente, independentemente das diferenças de idioma.

2. Metodologia

O sistema proposto, EmoAra, integra quatro componentes distintos em um pipeline coerente: Reconhecimento de Emoção na Fala (SER), Reconhecimento Automático de Fala (ASR), Tradução de Máquina (MT) e Text-to-Speech (TTS).

2.1 Reconhecimento de Emoção na Fala (SER)

• Arquitetura do Modelo: Uma Rede Neural Convolucional (CNN) implementada em TensorFlow/Keres foi selecionada como o modelo primário para detecção de emoção. Embora LSTM e ResNet50 tenham sido testadas, a CNN demonstrou desempenho superior.
• Pré-processamento de Dados: O sistema utiliza o conjunto de dados RAVDESS (1.440 arquivos de áudio, 8 classes de emoção). Para aumentar a generalização, técnicas de aumento de dados foram aplicadas, incluindo adição de ruído Gaussiano, alteração de tom (pitch shifting), expansão temporal (time stretching) e deslocamento temporal (time shifting).
• Extração de Características: As formas de onda de áudio foram convertidas em representações numéricas usando:
  • Taxa de Cruzamento de Zero (ZCR)
  • Energia de Raiz Quadrada Média (RMSE)
  • Coeficientes Cepstrais de Frequência Mel (MFCCs)
• Treinamento: A CNN emprega camadas convolucionais 1D com ativações ReLU, normalização de lote (batch normalization), max pooling e camadas de dropout para evitar overfitting. O modelo utiliza o otimizador Adam e perda de entropia cruzada categórica.

2.2 Reconhecimento Automático de Fala (ASR)

• Modelo: O sistema utiliza o Whisper (variante Base), um modelo codificador-decodificador baseado em transformer pré-treinado pela OpenAI.
• Função: Ele transcreve o áudio em inglês falado para texto, escolhido por sua robustez contra sotaques, ruídos e distúrbios de fundo.

2.3 Tradução de Máquina (MT)

• Modelo: O sistema utiliza o MarianMT, um modelo de tradução neural de máquina pré-treinado pela Helsinki-NLP, ajustado (fine-tuned) para a tradução Inglês-Árabe.
• Estratégia de Conjunto de Dados: Para superar as limitações de pequenos conjuntos de dados para treinamento de Transformers customizados, os autores realizaram o ajuste fino do MarianMT em uma combinação de:
  1. Um conjunto de dados de tradução geral Inglês-Árabe (mais de 24.000 amostras).
  2. Um conjunto de dados customizado Banking 77 (10.000 sentenças), originalmente em inglês e traduzido para o árabe usando Google Translator e MyMemoryTranslator, posteriormente verificado quanto à precisão.
• Otimização: Hiperparâmetros como taxa de aprendizado, tamanho do lote (batch size) e largura de busca de feixe (beam search width) foram otimizados. O modelo utiliza acumulação de gradiente e precisão mista (FP16) para eficiência.

2.4 Text-to-Speech (TTS)

• Modelo: A etapa final utiliza o MMS-TTS-Ara, um modelo pré-treinado otimizado para o árabe.
• Pipeline: Ele converte o texto traduzido em árabe em fala natural usando um codificador de texto (baseado em Transformer), um gerador de sequência (mapeando para espectrogramas mel) e um vocoder neural (HiFi-GAN).
• Preservação de Emoção: O sistema visa reter o contexto emocional detectado na etapa inicial de SER durante a síntese da resposta em árabe.

3. Principais Contribuições

O artigo destaca três contribuições primárias:

1. Emoção em Interações Cross-Linguísticas: Ao contrário de muitos sistemas de tradução existentes que ignoram o tom emocional, este projeto integra explicitamente a detecção de emoção para garantir que a língua de destino (árabe) reflita a nuance emocional da origem (inglês), promovendo a empatia no atendimento.
2. Aplicação Prática no Setor Bancário: O sistema é especificamente adaptado para a indústria bancária e financeira, abordando a necessidade única de compreender as emoções dos clientes (urgência, satisfação) através de barreiras linguísticas para melhorar a responsividade do serviço.
3. Integração End-to-End: O projeto une com sucesso SER, ASR, MT e TTS em um único pipeline, aproveitando o aprendizado por transferência (transfer learning) e modelos pré-treinados para criar um sistema de comunicação multilingue orientado à emoção.

4. Resultados Experimentais

O sistema foi avaliado utilizando métricas padrão e avaliação humana:

• Detecção de Emoção (SER):
  • A CNN implementada alcançou um F1-score médio de 94%, superando significativamente a CNN baseline (53%) e outros modelos testados (LSTM: 87%, ResNet50: 89%).
  • A classe "Angry" (Raiva) obteve o maior F1-score (0.97), enquanto as classes "Calm" (Calma), "Fearful" (Medo) e "Sad" (Tristeza) mostraram performance ligeiramente inferior, porém ainda alta (0.92).
• Qualidade de Tradução (MT):
  • Pontuação BLEU: O modelo MarianMT ajustado alcançou uma pontuação de 56, uma melhoria significativa sobre o Transformer treinado do zero (23.78) e o baseline pré-treinado (25.48).
  • BERTScore F1: O modelo ajustado atingiu 88.7%.
  • Avaliação Humana: Em uma escala de 1 a 3 (baseada em precisão, fluidez e terminologia de domínio), o sistema alcançou uma média de 81% (aprox. 2.43/3) em 100 amostras de teste do domínio bancário.
• Limitações Observadas: Os autores reconhecem que o modelo pode ter dificuldades com sentenças muito longas (mais de 20 palavras) devido a restrições do conjunto de dados, o que pode levar a truncamento ou má interpretação do contexto.

5. Significância e Alegações

O artigo afirma que o EmoAra demonstra a viabilidade prática de preservar o contexto emocional em comunicações bancárias cross-linguais. Ao integrar com sucesso a detecção de emoção com tradução e síntese, o sistema oferece um caminho para que as equipes de atendimento ao cliente respondam de forma mais empática e precisa às necessidades dos clientes, independentemente das diferenças de idioma.

Os autores mantêm uma postura modesta quanto às implicações futuras, observando que, embora o sistema atual seja eficaz, trabalhos futuros devem focar na expansão do conjunto de dados do domínio bancário (ex: via retro-tradução ou paráfrase) e na exploração de técnicas avançadas de ajuste fino (como camadas de adaptador ou LoRA) para refinar ainda mais a precisão e a fluidez. O projeto ressalta o valor de combinar dados de domínios específicos com modelos pré-treinados para resolver barreiras de comunicação complexas e do mundo real.