Resumo Técnico: Sistemas de Tradução de Fala de Baixo Recurso do KIT para o IWSLT2025

Declaração do Problema

O artigo aborda os desafios da construção de sistemas de Tradução de Fala (ST - Speech Translation) para línguas de baixo recurso, focando especificamente em três pares linguísticos: Bemba, Árabe Levantino do Norte e Árabe Tunisiano para o Inglês. Um obstáculo primário neste domínio é a escassez de dados de treinamento de ST ponta a ponta (E2E - end-to-end) paralelos. Embora os recursos de Reconhecimento Automático de Fala (ASR) e Tradução Automática (MT) sejam mais acessíveis, a falta de dados diretos de ST dificulta o treinamento de modelos E2E robustos. Além disso, o artigo observa que os sistemas de ST de baixo recurso frequentemente sofem com o uso desequilibrado de parâmetros, necessitando de estratégias de regularização eficazes para melhorar a generalização sem depender de recursos externos adicionais.

Metodologia

Os autores propõem uma estrutura abrangente combinando aumento de dados sintéticos, regularização de modelo e estratégias de combinação de sistemas, construída sobre modelos pré-treinados multilingues.

1. Aumento de Dados Sintéticos

Para mitigar a escassez de dados, os autores exploram duas modalidades distintas de aumento:

• ST aumentada por MT: Traduções são geradas a partir de conjuntos de dados de ASR existentes usando modelos de MT treinados para criar pares de ST sintéticos. Esta abordagem foi aplicada particularmente ao Árabe Levantino do Norte, que carece de dados de treinamento de ST paralelos.
• ST aumentada por TTS: Modelos de Texto-para-Fala (TTS - Text-to-Speech) (especificamente E2TTS e VITS) são treinados em dados de ASR para sintetizar fala a partir de conjuntos de dados de MT. Isso gera pares fala-texto sintéticos para aumentar os dados de treinamento de ST, testados primordialmente no Bemba.

2. Regularização de Modelo (Intra-Destilação)

O estudo estende a aplicação da Intra-Destilação (ID), uma técnica anteriormente bem-sucedida em MT de baixo recurso, para as tarefas de ASR, MT e ST. Diferente de trabalhos anteriores que combinam objetivos de tarefa e perda de ID durante um único estágio de ajuste fino (fine-tuning), os autores empregam uma abordagem de dois estágios:

1. Ajuste Fino Vanilla: Adaptando o modelo pré-treinado para a tarefa subsequente.
2. Ajuste Fino de ID: Regularizando o modelo adaptado usando suas próprias previsões intermediárias.
   Esta estratégia visa manter os benefícios da adaptação específica da tarefa enquanto desbloqueia a robustez através da regularização.

3. Combinação de Sistemas

Os autores combinam sistemas em cascata (ASR + MT) e sistemas de ST ponta a ponta (E2E) usando decodificação de Risco Bayesiano Mínimo (MBR - Minimum Bayes Risk). Ao tratar as hipóteses de ambos os tipos de sistema como pseudo-referências e usar o BLEU como função de utilidade, eles visam aproveitar os pontos fortes de ambas as arquiteturas.

4. Modelos Pré-treinados e Recursos

Os experimentos utilizam diversos modelos pré-treinados de última geração:

• SeamlessM4T: Um modelo altamente multilingue e multimodal (v2 large).
• NLLB: Um modelo de MT multilingue (1.3B de parâmetros).
• MMS e XEUS: Modelos de ASR multilingues.
  Os autores aproveitam tanto dados de conjuntos de desenvolvimento quanto extensos recursos externos (incluindo conjuntos de dados LDC, Tatoeba, UFAL e dados conversacionais desenvolvidos internamente) sob as condições de trilha não restringida.

Principais Resultados

Os resultados experimentais através dos três pares linguísticos produzem várias descobertas significativas:

• Eficácia de Dados Sintéticos:
  • Para o Árabe Levantino do Norte, um sistema treinado exclusivamente em dados sintéticos (gerados via aumentoção por MT) superou ligeiramente o sistema em cascata treinado em dados reais, alcançando uma melhoria de aproximadamente 1 ponto BLEU.
  • Para o Bemba, dados aumentados por TTS melhoraram o desempenho de ST em até 1 ponto BLEU. No entanto, para o Árabe Levantino do Norte, depender exclusivamente de dados gerados por TTS resultou em um desempenho inferior em comparação ao sistema em cascata, atribuído ao estado subdesenvolvido do modelo de TTS para aquele dialeto específico.
• Regularização de Modelo: A intra-destilação (ID) consistentemente melhorou o desempenho nas tarefas de ASR, MT e ST para a maioria dos modelos, resultando em uma redução de aproximadamente 1 ponto na Taxa de Erro de Palavra (WER) para ASR e um ganho de 1 ponto BLEU para MT e ST. Uma exceção foi observada onde a ID impactou negativamente o desempenho de ASR para dialetos árabes.
• Combinação de Sistemas: Aplicar a decodificação MBR a sistemas individuais resultou em melhoria mínima ou nula. No entanto, combinar os sistemas em cascata e E2E via decodificação MBR resultou consistentemente em uma melhoria de aproximadamente 1.5 pontos BLEU.
• Variância Específica da Língua: A eficácia dos modelos pré-treinados e das estratégias de treinamento variou significamente entre as línguas. Por exemplo, o NLLB superou o SeamlessM4T no Bemba, enquanto o inverso não foi necessariamente verdadeiro para os dialetos árabes sem estratégias de ajuste fino específicas.

Significância e Alegações

O artigo alega que sua principal significância reside em demonstrar que o aumento de dados sintéticos e a regularização de modelo são estratégias eficazes para melhorar a tradução de fala de baixo recurso sem exigir recursos adicionais do mundo real.

Especificamente, os autores concluem que:

1. Dados sintéticos são promissores para melhorar o desempenho do modelo, desde que os dados gerados tenham uma qualidade razoável.
2. A regularização de modelo (especificamente a Intra-Destilação) é uma abordagem generalizável que aumenta o desempenho em diferentes tarefas (ASR, MT, ST) e modelos pré-treinados.
3. Abordagens específicas para cada língua são críticas. As descobertas divergentes entre o Bemba e os dialetos árabes destacam que uma estratégia de "tamanho único" é insuficiente; a escolha de modelos pré-treinados e estratégias de treinamento deve ser adaptada às características específicas da língua e do corpus.

O trabalho reforça a viabilidade prática de aproveitar componentes separados de ASR e MT para construir sistemas em cascata e o potencial de dados sintéticos para preencher lacunas onde dados de ST paralelos não existem.