Resumen Técnico: EmoAra – Transcripción de Voz en Inglés con Preservación de Emociones y Traducción Multilingüe con Texto a Voz en Árabe

1. Planteamiento del Problema

El proyecto aborda desafíos críticos en la comunicación translingüística dentro del sector bancario, específicamente la incapacidad de los sistemas automatizados de atención al cliente para interpretar eficazmente el contexto emocional a través de las barreras lingüísticas. Si bien las emociones de los clientes (por ejemplo, urgencia, satisfacción o insatisfacción) son vitales para la calidad del servicio, los sistemas existentes a menudo fallan al detectar estos matices en el habla, particularmente cuando se traduce entre el inglés y el árabe. Esta brecha conduce a la mala comunicación, la reducción de la satisfacción del cliente y la falta de una respuesta empática. El objetivo es desarrollar un sistema de extremo a extremo que no solo transcriba y traduzca el lenguaje hablado, sino que también preserve la integridad emocional de la interacción original, permitiendo a los representantes bancarios responder de manera apropiada independientemente de las diferencias de idioma.

2. Metodología

El sistema propuesto, EmoAra, integra cuatro componentes distintos en un flujo de trabajo coherente: Reconocimiento de Emociones en el Habla (SER), Reconocimiento Automático del Habla (ASR), Traducción Automática (MT) y Texto a Voz (TTS).

2.1 Reconocimiento de Emociones en el Habla (SER)

• Arquitectura del Modelo: Se seleccionó una Red Neuronal Convolucional (CNN) implementada en TensorFlow/Keras como el modelo principal para la detección de emociones. Aunque se probaron LSTM y ResNet50, la CNN demostró un rendimiento superior.
• Preprocesamiento de Datos: El sistema utiliza el conjunto de datos RAVDESS (1,440 archivos de audio, 8 clases de emociones). Para mejorar la generalización, se aplicaron técnicas de aumento de datos, incluyendo la adición de ruido gaussiano, desplazamiento de tono (pitch shifting), estiramiento temporal (time stretching) y desplazamiento temporal (time shifting).
• Extracción de Características: Las formas de onda de audio se convirtieron en representaciones numéricas utilizando:
  • Tasa de Cruce por Cero (ZCR)
  • Energía de Raíz Cuadrática Media (RMSE)
  • Coeficientes Cepstrales en la Escala Mel (MFCCs)
• Entrenamiento: La CNN emplea capas convolucionales 1D con activaciones ReLU, normalización por lotes (batch normalization), max pooling y capas de dropout para prevenir el sobreajuste. El modelo utiliza el optimizador Adam y la pérdida de entropía cruzada categórica.

2.2 Reconocimiento Automático del Habla (ASR)

• Modelo: El sistema utiliza Whisper (variante Base), un modelo codificador-decodificador basado en transformadores preentrenado de OpenAI.
• Función: Transcribe el audio hablado en inglés a texto, habiendo sido elegido por su robustez contra acentos, ruido y perturbaciones de fondo.

2.3 Traducción Automática (MT)

• Modelo: El sistema emplea MarianMT, un modelo de traducción automática neuronal preentrenado por Helsinki-NLP, ajustado (fine-tuned) para la traducción de inglés a árabe.
• Estrategia de Conjunto de Datos: Para superar las limitaciones de los conjuntos de datos pequeños para el entrenamiento de Transformers personalizados, los autores ajustaron MarianMT utilizando una combinación de:
  1. Un conjunto de datos de traducción inglés-árabe general (más de 24,000 muestras).
  2. Un conjunto de datos personalizado Banking 77 (10,000 oraciones), originalmente en inglés y traducido al árabe utilizando Google Translator y MyMemoryTranslator, posteriormente verificado para asegurar su exactitud.
• Optimización: Los hiperparámetros como la tasa de aprendizaje, el tamaño del lote (batch size) y el ancho de búsqueda de haz (beam search width) fueron optimizados. El modelo utiliza acumulación de gradientes y precisión mixta (FP16) para mayor eficiencia.

2.4 Texto a Voz (TTS)

• Modelo: La etapa final utiliza MMS-TTS-Ara, un modelo preentrenado optimizado para el árabe.
• Flujo de Trabajo: Convierte el texto traducido al árabe en habla natural utilizando un codificador de texto (basado en Transformer), un generador de secuencias (mapeo a espectrogramas mel) y un vocoder neuronal (HiFi-GAN).
• Preservación de la Emoción: El sistema busca retener el contexto emocional detectado en la etapa inicial de SER durante la síntesis de la respuesta en árabe.

3. Contribuciones Clave

El documento destaca tres contribuciones primarias:

1. Emoción en Interacciones Translingüísticas: A diferencia de muchos sistemas de traducción existentes que ignoran el tono emocional, este proyecto integra explícitamente la detección de emociones para asegurar que el idioma de destino (árabe) refleje el matiz emocional del origen (inglés), fomentando la empatía en la prestación del servicio.
2. Aplicación Práctica en la Banca: El sistema está diseñado específicamente para la industria bancaria y financiera, abordando la necesidad única de comprender las emociones del cliente (urgencia, satisfacción) a través de las barreras del idioma para mejorar la capacidad de respuesta del servicio.
3. Integración de Extremo a Extremo: El proyecto unifica con éxito SER, ASR, MT y TTS en un solo flujo de trabajo, aprovechando el aprendizaje por transferencia (transfer learning) y modelos preentrenados para crear un sistema de comunicación multilingüe orientado a la emoción.

4. Resultados Experimentales

El sistema fue evaluado mediante métricas estándar y evaluación humana:

• Detección de Emociones (SER):
  • La CNN implementada logró un F1-score promedio del 94%, superando significativamente a la CNN base (53%) y a otros modelos probados (LSTM: 87%, ResNet50: 89%).
  • La clase "Enojo" (Angry) alcanzó el F1-score más alto (0.97), mientras que las clases "Calma", "Miedo" y "Tristeza" mostraron un desempeño ligeramente inferior pero aún elevado (0.92).
• Calidad de la Traducción (MT):
  • Puntuación BLEU: El modelo MarianMT ajustado alcanzó una puntuación de 56, lo que representa una mejora significativa respecto al Transformer entrenado desde cero (23.78) y la base preentrenada (25.48).
  • BERTScore F1: El modelo ajustado alcanzó un 88.7%.
  • Evaluación Humana: En una escala de 1 a 3 (basada en precisión, fluidez y terminología del dominio), el sistema obtuvo un promedio del 81% (aprox. 2.43/3) en 100 muestras de prueba del dominio bancario.
• Limitaciones Notadas: Los autores reconocen que el modelo puede tener dificultades con oraciones muy largas (más de 20 palabras) debido a las restricciones del conjunto de datos, lo que podría derivar en truncamientos o interpretaciones erróneas del contexto.

5. Significado y Reivindicaciones

El documento afirma que EmoAra demuestra la viabilidad práctica de preservar el contexto emocional en las comunicaciones bancarias translingües. Al integrar con éxito la detección de emociones con la traducción y la síntesis, el sistema ofrece una vía para que los equipos de atención al cliente respondan de manera más empática y precisa a las necesidades de sus clientes, independientemente de las diferencias de idioma.

Los autores mantienen una postura modesta respecto a implicaciones futuras, señalando que, si bien el sistema actual es efectivo, el trabajo futuro debería centrarse en expandir el conjunto de datos del dominio bancario (por ejemplo, mediante retro-traducción o paráfrasis) y explorar técnicas avanzadas de ajuste fino (como capas de adaptadores o LoRA) para refinar aún más la precisión y la fluidez. El proyecto subraya el valor de combinar datos de dominios específicos con modelos preentrenados para resolver barreras de comunicación complejas y del mundo real.