Resumo Técnico: Geração de Cenas de Áudio de Múltiplos Locutores Orientada por Referência a partir de Priores "In-the-Wild"

Declaração do Problema

Os sistemas existentes de geração de diálogos de múltiplos locutores dependem fortemente de supervisão estruturada, como tags de locutor por turno, transcrições de múltiplos fluxos ou embeddings de turno de locutor aprendíveis. Essas abordagens operam tipicamente dentro de pipelines de apenas fala que produzem sequências vocais limpas, removendo a textura ambiente, a acústica da sala e a sobreposição de fala características de conversas do mundo real. Além disso, modelos de clonagem de voz zero-shot geralmente abordam apenas o caso de um único locutor, exigindo que cenas de múltiplos locutres sejam montadas segmento por segmento fora do modelo. O desafio central é gerar cenas de áudio ricas, com múltiplos locutores, fala sobreposta natural e sons ambientais usando apenas um prompt de linguagem natural livre e um conjunto de vozes de referência, sem exigir anotações estruturais por turno ou encoders de identidade.

Metodologia: Estrutura SCENA

Os autores propõem o SCENA, uma estrutura de flow-matching que condiciona um modelo de fundação de texto-para-áudio pré-treinado (especificamente uma variante de áudio puro do LTX-2) em múltiplas vozes de referência e um prompt de linguagem natural holístico.

1. Condicionamento de Referência via Concatenação de Latentes

Em vez de usar adaptadores complexos ou encoders de identidade, o SCENA emprega uma interface mínima:

• Concatenação de Latentes: Cliques de áudio de referência são codificados em sequências latentes usando o mesmo VAE que o áudio alvo. Esses latentes de referência são concatenados diretamente com os tokens alvo ruidosos.
• Codificações Posicionais Conscientes de Identidade: Para distinguir entre diferentes referências e o alvo, cada slot de referência $k$ recebe um embedding aprendido $e_k$. Esse embedding é adicionado aos tokens do respectivo latente de referência. Os tokens alvo não recebem tal embedding aditivo.
• Interface de Linguagem Natural: Um único prompt de texto descreve toda a cena, incluindo sons ambientes, turnos de fala e conteúdo. O prompt refere-se aos locutores através de menções textuais (ex: "o locutor da referência 1"). O modelo depende inteamente deste texto para vincular referências específicas a partes específicas do áudio gerado.

2. O Desafio do Atalho de Referência (Reference Shortcut)

Os autores identificam um modo de falha crítico no treinamento de modelos de flow-matching condicionados por referência, denominado Atalho de Referência.

• Mecanismo: Sob esquemas de ruído padrão (ex: logit-normal), a massa de treinamento se concentra em instantes intermediários onde o alvo ruidoso $z_t$ ainda retém informação acústica significativa do alvo limpo $z_0$. Neste regime, o modelo pode ignorar o prompt de texto completamente. Em vez de aprender a rotear consultas do prompt de texto para a referência correta via atenção cruzada e autoatenção, o modelo simplesmente faz o correspondimento dos tokens alvo ruidosos com o latente de referência acusticamente mais semelhante via autoatenção.
• Consequência: Embora este atalho minimize a perda de treinamento, ele leva a uma falha catastrófica na inferência. A inferência começa com ruído puro ($t=1$), onde a similaridade acústica não está disponível. Como o modelo aprendeu a ignorar o prompt de texto durante o treinamento, ele falha em vincular as referências aos locutores corretos, resultando em saídas confusas ou inconsistentes.

3. Distribuição de Instante Enviesada para Alto Ruído

Para eliminar o Atalho de Referência, os autores modificam o esquema de ruído de treinamento:

• Estratégia: Eles substituem a distribuição logit-normal padrão por uma distribuição de mistura: $p(t) = (1 - \lambda) \text{Beta}(t; \alpha, 1) + \lambda \text{Uniform}(t; \epsilon, 1)$.
• Efeito: O componente Beta concentra a massa de treinamento na cauda de alto ruído (onde $t$ está próximo de 1). Neste regime, o alvo ruidoso contém pouca ou nenhuma informação acústica sobre a fonte, tornando o atalho impossível. O modelo é forçado a depender do prompt de texto e dos embeddings de referência para determinar a atribuição do locutor.
• Aumentos Auxiliares: Para reforçar o vínculo, os autores utilizam injeção de referência adversarial (preenchendo slots não utilizados com referências distratoras não mencionadas no prompt) e aumento de embaralhamento de slots (randomizando a ordem das referências e atualizando os tokens do prompt adequadamente) para evitar que o modelo dependa de vieses posicionais.

4. Construção do Dataset

Os autores construíram um dataset de múltiplas referências onde cada exemplo consiste em um clipe de conversa de múltiplos locutores, $K$ clipes de locutor único e uma legenda. O pipeline de geração de legenda utiliza uma legenda intermediária (não condicionada às referências) para fundamentar a descrição da cena, que é então combinada com timestamps de diarização e clipes de referência para gerar o prompt final condicionado por referência.

Resultados

O método foi avaliado no benchmark CoVoix2-Dialogue, especificamente no subconjunto COVOMIX2-DIALOGUE-20S e um subconjunto COVOMIX2-DIALOGUE-WILDREF usando referências "in-the-wild".

• Vinculação de Locutor (Speaker Binding): O SCENA supera as linhas de base de diálogo de múltiplos locutores existentes (incluindo MOSS-TTSD, VibeVoice, ZipVoice-Dialog e Dia) em métricas de vinculação de locutor. Ele alcança o melhor cpWER (Taxa de Erro de Palavra consciente do locutor), cpSIM (similaridade de cosseno estrita por locutor) e ACC (acurácia de atribuição de locutor).
• Robustez: Na configuração "Wild Reference", onde as referências contêm ruído de fundo e condições fora de estúdio, o SCENA mantém um desempenho superior. Enquanto os scores de cpSIM das linhas de base caíram significativamente (ficando abaixo de 0.40), o SCENA manteve um score acima de 0.42.
• Qualidade de Áudio: O SCENA gera fala sobreposta, eventos paralinguísticos espontâneos (risos, suspiros) e som ambiente da cena conjuntamente com a conversa. Embora os scores UTMOS tenham sido ligeiramente menores que alguns baselines (atribuído ao fato do backbone LTX-2 ter sido treinado em trilhas sonoras de vídeo "in-the-wild" em vez de fala de estúdio), os scores SQUIM foram competitivos ou superiores.

Significância e Alegações

O artigo afirma que o SCENA demonstra a vantagem de usar um modelo de fundação de áudio de propósito geral condicionado por uma descrição de cena livre, em vez de passar scripts de diálogo estruturados através de um pipeline de apenas fala.

Principais alegações incluem:

1. Naturalidade: Ao aproveitar um modelo pré-treinado em dados de grande escala "in-the-wild", o SCENA herda a capacidade de gerar texturas de áudio naturais e não de estúdio, incluindo ruído de fundo, acústica de sala e diálogos sobrepostos, que são tipicamente ausentes em sistemas de TTS de diálogo estruturado.
2. Interface Mínima: A estrutura alcança controle complexo de múltiplos locutores sem necessidade de tags por turno, transcrições ou encoders de identidade, dependendo exclusivamente de linguagem natural e latentes de referência.
3. Dinâmica de Treinamento: O artigo destaca o "Atalho de Referência" como um modo de falha anteriormente não reconhecido em flow matching condicionado por referência e propõe que modificar apenas a distribuição de instantes é suficiente para forçar o modelo a aprender o necessário vínculo texto-referência, sem adicionar mecanismos explícitos de vinculação.

Os autores concluem que sua abordagem permite interações humanas complexas, incluindo fala sobreposta e eventos paralinguísticos espontâneos, diretamente de um único prompt de linguagem natural.