Resumo Técnico: Transferência de Robustez Cross-Modal (CMRT)

Definição do Problema

Modelos de Tradução de Fala de Ponta a Ponta (E2E-ST) alcançaram um desempenho significativo, muitas vezes superando os pipelines cascata de Reconhecimento Automático de Fala (ASR) e Tradução Automática (MT). No entanto, os modelos atuais são avaliados principalmente em conjuntos de dados curados e "limpos" (ex: MuST-C, CoVoST 2), que não conseguem capturar a complexidade da fala não nativa e dialetal do mundo real. Especificamente, esses modelos carecem de robustez a variações morfológicas inflexionais (ex: conjugações verbais incorretas ou declinações nominais) comuns na fala espontânea de não nativos.

Embora o treinamento adversarial usando dados de texto sintéticos tenha melhorado a robustez na Tradução Automática Neural (NMT), a aplicação de técnicas semelhantes ao E2E-ST é dificultada pelo custo computacional proibitivo e pela dificuldade técnica de gerar dados de fala adversariais de alta qualidade. Sintetizar áudio adversarial via Text-to-Speech (TTS) introduz artefatos acústicos e requer modelos de TTS de alta fidelidade para cada língua de origem, criando uma barreira significativa para o treinamento de sistemas de fala robustos.

Metodologia

Os autores propõem a Transferência de Robustez Cross-Modal (CMRT), um framework projetado para transferir a robustez adversarial do domínio do texto para o domínio da fala, eliminando a necessidade de dados de fala adversariais durante o treinamento. O método opera sob a hipótese de que, se as representações de fala e texto estiverem suficientemente alinhadas em um espaço semântico compartilhado, a sensibilidade do modelo a perturbações em uma modalidade pode ser mitigada usando a outra.

A abordagem consiste em duas etapas primárias:

1. Alinhamento Semântico (CMRT-TR)

A primeira etapa foca em reduzir a lacuna de modalidade para criar um espaço latente compartilhado onde os embeddings de fala e texto sejam altamente correlacionados. Isso envolve:

• Arquitetura: Um modelo E2E-ST padrão composto por um codificador de fala (HuBERT ou mHuBERT), uma camada de embedding de texto e um codificador-decodificador de tradução.
• Aprendizado Contrastivo com Alinhamento de Palavras (WACO): Utilizando o alinhamento forçado entre fala e texto, o modelo maximiza a similaridade de cosseno entre os embeddings de palavra de fala e texto correspondentes.
• Treinamento Mixup: O modelo é treinado em uma mistura de embeddings de fala e texto para palavras individuais. Isso familiariza o codificador-decodificador de tradução com o recebimento de entradas de modalidades mistas, um pré-requisito para a subsequente transferência de robustez.
• Funções de Perda: O objetivo de treinamento combina perda de Tradução de Fala (ST), perda de Tradução Automática (MT), Perda Contrastiva (WACO) e Cross-Entropy em entradas de mixup, regularizadas por divergência Kullback-Leibler (KL) simétrica para alinhar as distribuições de saída.

2. Ajuste Fino de Robustez (CMRT-FN)

Na segunda etapa, o modelo é ajustado para lidar com perturbações adversariais sem gerar novos áudios.

• Speech-MORPHEUS: Os autores adaptam o framework MORPHEUS (originalmente para texto) para gerar exemplos adversariais inflexionais. Esta ferramenta substitui palavras por alternativas morfologicamente incorretas, mas semanticamente plausíveis (ex: mudar "felicidade" para "feliz" em um contexto que exige um substantivo).
• Adversarial Mixup: Em vez de sintetizar fala adversarial, o método injeta embeddings de texto adversariais diretamente no manifold de fala. O codificador de fala é congelado para preservar o alinhamento aprendido na Etapa 1.
• Estratégia de Treinamento: Durante o ajuste fino, o modelo recebe entradas de fala limpas, mas é forçado a processar embeddings de texto adversariais para palavras específicas identificadas pelo ataque. O modelo aprende a mapear essas representações de texto adversariais para a tradução correta.
• Divergência KL Assimétrica: A função de perda utiliza divergência KL assimétrica para minimizar a diferença entre a distribuição de saída do mixup adversarial e as distribções de entrada limpas (tanto de fala quanto de texto), treinando efetivamente o modelo para ser invariante ao ruído.

Principais Contribuições

1. Speech-MORPHEUS: Uma adaptação da técnica adversarial MORPHEUS para o domínio da fala. Os autores demonstram que modelos E2E-ST de última geração são altamente vulneráveis a variações inflexionais, com o desempenho caindo significativamente quando testados nesses exemplos adversariais.
2. Transferência de Robustez Cross-Modal (CMRT): Um novo paradigma de ajuste fino que transfere a robustez do texto para a fala. Ao injetar perturbações de texto adversariais em um espaço latente compartilhado, o método melhora significativamente o desempenho do E2E-ST em entradas não padronizadas sem exigir dados de fala adversariais.
3. Alinhamento de Modalidade para Robustez: O trabalho estabelece que a combinação de aprendizado contrastivo (WACO) e treinamento mixup cria o alinhamento semântico mais forte entre fala e texto, o que é um pré-requisito crítico para uma transferência de robustez cross-modal bem-sucedida.

Resultados Experimentais

Os autores avaliaram o CMRT em quatro pares de idiomas: Inglês-Alemão (En-De), Inglês-Catalão (En-Ca), Inglês-Árabe (En-Ar) e Francês-Inglês (Fr-En) utilizando o dataset CoVoST 2.

• Melhoria de Robustez: O CMRT-FN melhorou a robustez adversarial em uma média de 3,4 pontos BLEU comparado ao baseline HuBERT-Transformer, e 3,1 pontos BLEU comparado ao modelo alinhado CMRT-TR.
• Comparação com Fala Sintética: Embora o ajuste fino em 50 mil exemplos de fala adversarial sintética (TTS-Morpheus-FN) tenha gerado uma robustez ligeiramente maior (aprox. 1,4 pontos BLEU melhor que o CMRT-FN), resultou em uma queda significativa de desempenho (aprox. 3,6 pontos BLEU) no conjunto de teste original limpo. Em contraste, o CMRT-FN manteve um desempenho competitivo no conjunto de teste limpo, com apenas uma queda marginal (0,6 pontos BLEU) em relação ao seu baseline alinhado.
• Eficiência: A abordagem CMRT evita o overhead computacional de gerar áudio adversarial em larga escala. A etapa de ajuste fino (CMRT-FN) exigiu apenas 1/8 do tempo da etapa de treinamento inicial, enquanto a geração de dados equivalentes via TTS era significativamente mais demorada.
• Análise de Representação: A análise de Alinhamento de Kernel Centrado (CKA) revelou que as representações internas do modelo CMRT-FN convergem para as de modelos treinados em fala adversarial real, confirmando que a robustez é efetivamente transferida através do espaço latente compartilhado.

Significância e Alegações

O artigo afirma que o CMRT estabelece um novo baseline para E2E-ST robusto ao superar o "trade-off robustez-precisão" frequentemente visto ao treinar com dados sintéticos. Os autores asseguram que seu método aborda efetivamente a vulnerabilidade dos modelos de tradução de fala a erros morfológicos sem os custos proibitivos associados à geração de áudio adversarial.

A significância reside em demonstrar que a robustez adversarial pode ser transferida entre modalidades através de espaços latentes compartilhados. Ao aproveitar a relativa facilidade de gerar texto adversarial e o poder do alinhamento semântico, o método fornece uma solução escalável para melhorar a confiabilidade do mundo real dos sistemas de tradução de fala, particularmente para falantes não nativos.

Limitações

Os autores reconhecem duas limitações principais:

1. Complexidade de Treinamento: O método requer um processo de treinamento de duas etapas (alinhamento seguido de ajuste fino), o que aumenta a complexidade do pipeline de treinamento em comparação com abordagens de etapa única.
2. Trade-off de Alinhamento: Em algumas direções linguísticas (En-X), a etapa inicial de alinhamento (CMRT-TR) resultou em um desempenho ligeiramente inferior no conjunto de teste limpo do CoVoST 2 em comparação com o baseline padrão HuBERT-Transformer. Os autores planejam investigar este efeito negativo em trabalhos futuros.