NaturalFlow: Reducing Disruptive Pauses for Natural Speech Flow in Simultaneous Speech-to-Speech Translation

Resumo Técnico: NaturalFlow

Problema
A tradução simultânea de fala para fala (Simul-S2ST) visa facilitar a comunicação quase em tempo real ao minimizar a latência, oferecendo uma alternativa ao paradigma de alta latência da tradução consecutiva. No entanto, a busca pela latência mínima frequentemente força os sistemas a adotar políticas de processamento por blocos (chunks) rígidas. Isso resulta em saídas fragmentadas, caracterizadas por pausas frequentes e disruptivas entre os blocos de fala. Embora a pesquisa atual se concentre predominantemente no tradicional equilíbrio entre qualidade de tradução (ex: pontuações BLEU) e métricas de latência, ela tem explorado pouco a otimização do fluxo acústico. Como observado na literatura de interpretação, tal entrega fragmentada aumenta a carga cognitiva para os ouvintes e impacta negativamente a precisão e inteligibilidade percebidas, mesmo quando o conteúdo semântico é preservado.

Metodologia
Os autores propõem o NaturalFlow, um framework de otimização consciente da fluência projetado para minimizar os silêncios entre os blocos, mantendo a fidelidade da tradução. A abordagem é construída sobre o modelo Hibiki, uma arquitetura direta de S2ST que gera conjuntamente o áudio de destino e o texto temporalmente alinhado.

O núcleo da metodologia envolve a Otimização de Preferência Direta (DPO) aplicada a um conjunto de dados de preferência construído especificamente. O processo envolve três estágios principais:

1. Construção de Dados de Preferência (Preferência de Medalha de Prata):

   • O sistema amostra múltiplas traduções candidatas para uma determinada emissão de origem.
   • Os candidatos são avaliados em duas dimensões: qualidade de tradução (medida via ASR-BLEU) e fluência acústica (medida via Razão de Silêncio, SR).
   • Para evitar que o modelo otimize excessivamente a redução de silêncio em detrimento da fidelidade semântica (uma "armadilha de fluência"), os autores introduzem uma estratégia de Preferência de Medalha de Prata. Em vez de selecionar os candidatos absolutamente melhores (menor razão de silêncio) como o conjunto "escolhido", eles selecionam candidatos do segundo nível mais alto (20–40% superiores) de razões de silêncio.
   • O conjunto "rejeitado" inclui tanto os candidatos de baixo silêncio excessivamente agressivos (que frequentemente degradam a qualidade) quanto os candidatos de desempenho inferior.
   • Requisitos de margem estritos são aplicados: um candidato escolhido deve superar seu contraparte rejeitado por uma margem específica de qualidade de tradução ($\beta$) e uma margem de razão de silêncio ($\gamma$).

2. Otimização Guiada por Texto:

   • Otimizar diretamente as probabilidades de tokens acústicos brutos é computacionalmente instável. Em vez disso, o framework isola o objetivo DPO para o fluxo de texto ($\pi_\theta(T^y | x, A^y, S^y)$).
   • Como a política de texto é autorregressiva e condicionada tanto ao fluxo de origem concomitante quanto ao áudio de destino gerado, ela encapsula inerentemente o fluxo acústico e os atrasos de latência.
   • Os autores utilizam o DPO com Normalização de Comprimento (DPO-LN) para evitar que o modelo penalize traduções mais longas e semanticamente precisas, evitando assim as armadilhas de fluência extremas onde o modelo fala artificialmente rápido para evitar pausas.

Principais Contribuições

• Framework Consciente da Fluência: Um novo framework de otimização que visa explicitamente a redução de silêncios disruptivos entre blocos em Simul-S2ST, abordando uma lacuna na pesquisa atual que foca primariamente em trocas entre qualidade e latência.
• Estratégia de Preferência de Medalha de Prata: Uma metodologia de construção de dados que estabiliza o treinamento ao evitar que o modelo colapse em uma otimização de objetivo único (ou seja, minimizar o silêncio às custas do significado). Ao selecionar candidatos de "medalha de prata" em vez de candidatos de "medalha de ouro" (menor silêncio), o modelo aprende um equilíbrio ponderado.
• DPO Estável Guiado por Texto: Uma abordagem para aplicar a otimização de preferência ao S2ST ao alinhar a política de texto, que serve como um proxy estável para o processo conjunto de geração de áudio-texto, evitando a instabilidade da otimização direta de tokens acústicos.

Resultados
Experimentos foram conduzidos em quatro benchmarks cobrindo tarefas de tradução de fala de curta duração (CVSS-C, VoxPopuli) e longa duração (Audio-NTREX, mTEDx) (Francês-para-Inglês).

• Redução de Silêncio: O NaturalFlow alcançou a menor Razão de Silêncio (SR) entre os modelos de base comparados (SeamlessStreaming, StreamSpeech, Hibiki) em ambos os conjuntos de dados de curta e longa duração. Por exemplo, no VoxPopuli, o SR foi reduzido de 0,12 (Hibiki) para 0,10.
• Preservação de Qualidade: Apesar da redução no silêncio, a qualidade da tradução (ASR-BLEU e ASR-COMET) permaneceu competitiva com os modelos de base. O modelo não sofreu a degradação catastrófica de qualidade observada nos estudos de ablação onde a estratégia de Medalha de Prata foi removida.
• Latência: Métricas de latência (Deslocamento Inicial, Deslocamento Final e Atraso Médio Adaptável ao Comprimento) permaneceram comparáveis aos modelos de base, indicando que as melhorias de fluência não foram alcançadas através do aumento da latência.
• Estudos de Ablação: A remoção da estratégia de Medalha de Prata (Ablação 1 e 2) levou ao "colapso de otimização", onde os modelos minimizaram agressivamente o silêncio, resultando em taxas de fala excessivamente rápidas e uma queda severa nos escores BLEU.
• Avaliação Humana: Em um estudo utilizando Amazon Mechanical Turk, o NaturalFlow foi preferido em relação ao modelo de base em 55% dos casos no que diz respeito à naturalidade e fluência. Quando comparado contra um modelo de ablação sem a estratégia de Medalha de Prata, o NaturalFlow foi preferido em 68% dos casos, confirmando que a seleção restrita é essencial para produzir uma saída de som natural.

Significância
O artigo afirma que o NaturalFlow consegue preencher a lacuna entre os benefícios de baixa latência da tradução simultânea e o fluxo natural da tradução consecutiva. Ao alavancar sinais internos do modelo e uma nova estratégia de aprendizado de preferência, o framework demonstra que é possível reduzir pausas disruptivas sem comprometer a qualidade da tradução ou aumentar a latência. Os autores sustentam que este trabalho estabelece uma base crucial para avançar a naturalidade da entrega em S2ST, indo além do tradicional dilema qualidade-latência para incluir a fluência acústica como um objetivo de otimização primário.