💬 NLP

PROST-LLM: Progressively Enhancing the Speech-to-Speech Translation Capability in LLMs

O artigo propõe o PROST-LLM, uma estrutura progressiva que aprimora as capacidades de tradução de fala para fala de Grandes Modelos de Linguagem ao combinar o ajuste fino de três tarefas no corpus CVSS com a otimização de preferência autogerada, superando efetivamente os desafios de escassez de dados.

Autores originais: Jing Xu, Jiaqi Wang, Daxin Tan, Xiao Chen

Publicado 2026-01-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jing Xu, Jiaqi Wang, Daxin Tan, Xiao Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um bibliotecário brilhante e multilíngue (um Grande Modelo de Linguagem, ou LLM) que consegue ler e escrever textos em quase qualquer idioma. No entanto, se você pedir para ele ouvir uma frase falada em francês e imediatamente falar uma tradução em inglês, ele tropeça. Ele não praticou essa "dança de ouvir-para-falar" o suficiente, principalmente porque não há muitas fitas de prática disponíveis para ele estudar.

O artigo apresenta o PROST-LLM, um método de treinamento projetado para ensinar esse bibliotecário a dominar essa dança sem precisar de uma montanha de fitas de prática caras e pré-gravadas ou de um professor humano para avaliar cada tentativa.

Aqui está como o PROST-LLM funciona, dividido em três etapas simples usando analogias do cotidiano:

Passo 1: A "Peça de Três Atos" (Ajuste Fino Supervisionado)

Primeiro, os pesquisadores dão ao bibliotecário um conjunto específico de exercícios usando o corpus CVSS (uma coleção de dados de fala). Em vez de apenas praticar o objetivo final (fala em francês → fala em inglês), eles usam dois truques inteligentes para construir uma base mais forte:

A Peça de Três Atos: Imagine que o bibliotecário é solicitado a realizar três atos relacionados em um único espetáculo:
1. Transcrever: Ouvir a fala em francês e escrevê-la.
2. Traduzir: Ler o texto em francês e escrevê-lo em inglês.
3. Traduzir Fala: Ouvir a fala em francês e falar em inglês.
  Ao praticar os três ao mesmo tempo, o bibliotecário aprende como as peças se encaixam. Compreender o texto ajuda a entender a fala, e vice-versa.
A Estratégia da "Ponte" (Cadeia de Modalidade): Em vez de tentar saltar diretamente de "Ouvido Francês" para "Boca Inglesa" (o que é difícil), o bibliotecário é ensinado a fazer uma pequena pausa no meio. Ele ouve o francês, pensa nas palavras em inglês primeiro e, então, as fala. Essa "ponte" torna a transição mais suave e estável.

Passo 2: O "Espelho de Autorreflexão" (Construção de Dados de Preferência)

Agora o bibliotecário tem algumas habilidades básicas, mas ele ainda precisa aprender quais respostas são melhores do que outras. Geralmente, você precisaria de um especialista humano para ouvir duas traduções e dizer: "A é melhor que B". Mas isso é lento e caro.

O PROST-LLM usa um Espelho de Retrotradução para fazer isso automaticamente:

O bibliotecário gera duas traduções diferentes para uma frase em francês.
O bibliotecário então pega essas traduções em inglês e as traduz de volta para o francês.
A Comparação: O sistema compara o francês "retraduzido" com o francês original.
- Se a tradução em inglês do bibliotecário foi boa, traduzi-la de volta soará muito próximo do francês original.
- Se a tradução foi ruim, o "espelho" mostrará uma frase em francês distorcida e diferente.

O sistema escolhe automaticamente o "vencedor" (aquele que se pareceu mais com o original quando refletido de volta) e o "perdedor". Isso cria uma lista de exemplos de "Bom vs. Ruim" sem que um único humano precise sequer ouvir as falas.

Passo 3: O "Teste de Gosto" (Otimização de Preferência)

Finalmente, o bibliotecário estuda esta lista de vencedores e perdedores. Usando uma técnica chamada Otimização de Preferência (como o DPO), o bibliotecário aprende a preferir o estilo de fala que leva ao resultado "vencedor".

Pense nisso como um chef provando sua própria comida. Em vez de esperar que um crítico gastronômico diga se a sopa está salgada demais, ele a prova, compara com uma receita perfeita e ajusta o tempero para a próxima vez. Este passo refina o modelo para que ele fale de forma mais natural e precisa.

Os Resultados: O Que Eles Descobriram?

O artigo afirma que este método funciona muito bem:

Fechando a Lacuna: Antes deste método, sistemas "End-to-End" (um cérebro fazendo tudo) eram muito piores do que sistemas "Cascata" (um cérebro para ouvir, outro para traduzir e outro para falar). O PROST-LLM reduz significamente essa lacuna de desempenho, tornando o sistema de um único cérebro quase tão bom quanto o sistema complexo de três cérebros.
Menos Dados Necessários: Como o sistema pode usar o truque do "espelho" em dados monolíngues (apenas fala em francês ou apenas fala em inglês), ele não precisa de tantos pares caros e perfeitamente combinados de francês para inglês para aprender.
Melhor Qualidade: As traduções soam mais naturais aos ouvidos humanos (medido por uma pontuação chamada UTMOS) e são mais precisas (medido por pontuações BLEU).

Em resumo: O PROST-LLM ensina um IA inteligente em texto a falar e ouvir ao fazê-la praticar tarefas relacionadas, usando um "espelho" para avaliar seu próprio trabalho e, em seguida, refinar suas habilidades com base nessas autoavaliações. Isso permite que a IA se torne uma ótima tradutora sem precisar de uma enorme biblioteca de exemplos avaliados por humanos.

Resumo Técnico: PROST-LLM

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado um potencial notável em vários domínios, sua aplicação à Tradução Fala-para-Fala (S2ST) permanece subexplorada. A principal barreira é a escassez de dados pareados para S2ST. Os sistemas S2ST convencionais geralmente dependem de pipelines em cascata (ASR + MT + TTS) ou arquiteturas end-to-end complexas que escalam mal. Embora a Otimização de Preferência (PO) tenha se mostrado eficaz para alinhar LLMs em tarefas de Processamento de Linguagem Natural (NLP), seu potencial para melhorar o desempenho de S2ST ainda não foi estudado. Além disso, os métodos de PO existentes frequentemente dependem de feedback humano custoso ou pares de preferência de alta qualidade, que são difíceis de obter para tarefas de S2ST.

Metodologia: PROST-LLM

Os autores propõem o PROST-LLM (PROgressive Speech-to-speech Translation), um framework projetado para aprimorar progressivamente as capacidades de S2ST em LLMs através de três estágios distintos:

1. Ajuste Fino Supervisionado (SFT)

O LLM pré-treinado é primeiro ajustado no corpus CVSS para adquirir habilidades iniciais de S2ST. Para lidar com a escassez de dados e melhorar a compreensão da tarefa, duas estratégias específicas são empregadas:

Aprendizado Tri-tarefa: O corpus S2ST é convertido em dados paralelos de Reconhecimento Automático de Fala (ASR) e Fala-para-Texto (S2T). O modelo é treinado conjuntamente nas tarefas ASR, S2T e S2ST usando instruções específicas para cada tarefa para incentivar a transferência de conhecimento entre tarefas.
Cadeia de Modalidade (Chain of Modality): Para simplificar a geração direta de fala-para-fala, o modelo é instruído a primeiro gerar o texto alvo e, em seguida, produzir as unidades de fala alvo dentro de uma única passagem direta (forward pass). Essa estrutura sequencial facilita o aprendizado cross-modal e melhora a estabilidade da geração.
Arquitetura: O sistema utiliza um tokenizador de fala (discretizando características extraídas via SSL através de K-means), um backbone de LLM (LLaMA 3.2-3B) e um destokenizador de fala (HiFi-GAN).

2. Construção de Dados de Preferência

Para eliminar a necessidade de anotações humanas custosas e dados pareados em larga escala, os autores introduzem um método automatizado de construção de pares de preferência:

Auto-Amostragem e Retrotradução (Back-Translation): O modelo ajustado gera múltiplos candidatos de tradução para uma entrada de fala de origem. Esses candidatos são então retrotraduzidos para a fala da língua de origem usando o mesmo modelo.
Avaliação Automática: A qualidade da tradução é avaliada comparando a fala retrotraduzida com a fala original de origem. As métricas incluem medidas acústicas (Distorção de Cepstral de Mel - MCD), métricas baseadas em texto (Taxa de Erro de Palavra - WER) e métricas de tradução (BLEU, METEOR).
Geração de Pares: Os candidatos são pontuados, e os pares são formados onde um candidato "preferido" ( $S^p_B$ ) supera significativamente um candidato "rejeitado" ( $S^r_B$ ) com base em um hiperparâmetro de margem ( $\delta$ ). Este processo permite o uso de corpora de fala monolíngue para construir pares de preferência.

3. Otimização de Preferência (PO)

Os pares de preferência construídos são usados para refinar ainda mais o modelo via Otimização de Preferência Direta (DPO). A função objetivo maximiza a margem entre as traduções preferidas e rejeitadas, aumentando a capacidade do modelo de distinguir e gerar traduções de fala de alta qualidade sem exigir feedback humano.

Principais Contribuições

O artigo reivindica as seguintes contribuições:

Primeiro Framework para S2ST baseado em LLM: Apresenta o primeiro framework para equipar LLMs com capacidades de S2ST usando aprendizado tri-tarefa e estratégias de cadeia de modalidade.
Nova Aplicação de PO em S2ST: É o primeiro trabalho a aplicar a otimização de preferência para melhorar as capacidades de S2ST usando pares de preferência construídos via retrotradução, removendo a dependência de avaliação humana.
Redução da Dependência de Dados: Ao utilizar corpora de fala monolíngue para construir pares de preferência, o método reduz significativamente a dependência dos LLMs de dados escassos de S2ST pareados.
Validação de Desempenho: Experimentos demonstram que o PROST-LLM melhora efetivamente a qualidade do S2ST, diminuindo a lacuna de desempenho entre sistemas end-to-end e baselines em cascata.

Resultados Experimentais

Experimentos foram conduzidos no corpus CVSS (tradução Inglês-Francês) utilizando o backbone LLaMA 3.2-3B.

Comparação com Baseline: Tanto as estratégias de aprendizado tri-tarefa quanto a de cadeia de modalidade superaram um baseline de S2ST baseado em "Vanilla" LLM. A abordagem de Cadeia de Modalidade gerou os ganhos mais significativos, preenchendo efetivamente a lacuna de modalidade entre fala e texto.
Impacto da Otimização de Preferência: A aplicação de PO (DPO) proporcionou aumentos adicionais de desempenho.
- No dataset CVSS-C, a lacuna de BLEU entre o PROST-LLM (Cadeia de Modalidade) e o sistema em cascata diminuiu de 14,38 para 3,15 (en2fra) e de 8,83 para 1,04 (fra2en).
- O sistema também alcançou pontuações UTMOS mais altas (indicando fala mais natural) em comparação ao baseline em cascata.
Monolíngue vs. Dados Pareados: Modelos treinados em pares de preferência derivados de corpora monolíngues (Commonvoice) superaram aqueles treinados em dados de S2ST pareados, reduzindo ainda mais a lacuna de BLEU para 1,65 (en2fra) e 1,2 (fra2en).
Robustez: A abordagem permaneceu eficaz através de diferentes métricas de retrotradução (WER, MCD, BLEU, METEOR) e diferentes algoritmos de PO (DPO e SimPO).
Eficiência: O sistema mostrou forte desempenho mesmo com dados limitados (ex: 2.500 amostras) e treinamento de iteração única, sugerindo alta eficiência.

Significância

O artigo afirma que o PROST-LLM oferece uma solução escalável e eficaz para S2ST em LLMs. Ao alavancar a retrotradução para construção automática de preferência, o framework supera o gargalo crítico da escassez de dados e o alto custo da anotação humana. Os resultados validam que os LLMs podem ser efetivamente adaptados para tarefas de S2ST através de aprimoramento progressivo, alcançando níveis de desempenho que se aproximam dos sistemas tradicionais em cascata, enquanto utilizam uma arquitetura mais simples e menos dados pareados. O trabalho futuro visa estender este framework para mais idiomas e mais recursos monolíngues.