⚡ electrical engineering

Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens

Este artigo apresenta o SODA, uma família de modelos de fundação de áudio nativos que utilizam tokens intercalados semânticos, acústicos e textuais, estabelecendo receitas de treinamento validadas e leis de escala empíricas para superar as limitações dos modelos atuais focados em texto.

Autores originais: Potsawee Manakul, Woody Haosheng Gan, Martijn Bartelds, Guangzhi Sun, William Held, Diyi Yang

Publicado 2026-02-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Potsawee Manakul, Woody Haosheng Gan, Martijn Bartelds, Guangzhi Sun, William Held, Diyi Yang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer ensinar um robô a não apenas ler um livro, mas também a ouvir uma história, sentir a emoção na voz de quem fala e recontar essa história com a mesma voz e emoção.

Até agora, a maioria dos robôs de áudio funcionava de duas formas limitadas:

O "Leitor Cego": Eles liam o texto e tentavam "adivinhar" como o som seria, mas perdiam os detalhes finos da voz (como o sotaque ou a respiração).
O "Ouvinte Mudo": Eles entendiam perfeitamente o som, mas não conseguiam conversar ou gerar texto, ficando presos apenas a tarefas específicas.

Este artigo apresenta o SODA, um novo tipo de "cérebro" para robôs que tenta resolver esse problema de uma vez por todas. Vamos usar algumas analogias para entender como eles fizeram isso.

1. A Grande Mistura (O Segredo do SODA)

Pense em como aprendemos uma língua. Não aprendemos apenas lendo (texto) ou apenas ouvindo (áudio). Aprendemos os dois juntos.

Os pesquisadores descobriram que, para criar um modelo de áudio poderoso, eles precisavam misturar três ingredientes no mesmo "caldo" de treinamento:

O Significado (Semântica): O que está sendo dito (as palavras).
O Som (Acústica): Como está sendo dito (a voz, o tom, a emoção).
O Texto: A transcrição escrita.

A Analogia da Orquestra:
Antes, os modelos eram como um músico que tocava apenas violão (texto) ou apenas bateria (som). O SODA é como uma orquestra completa. Eles ensinaram o modelo a ver a partitura (texto), ouvir o som do instrumento (áudio) e entender a música inteira ao mesmo tempo. Eles fazem isso "entrelaçando" as notas: em vez de tocar tudo de uma vez, o modelo aprende a alternar entre ver uma palavra e ouvir um som, como se estivesse lendo uma legenda enquanto ouve o filme.

2. A Receita Perfeita (Dados e Tamanho)

Eles não apenas misturaram os ingredientes; eles descobriram a receita exata para não estragar o bolo.

Quanto texto usar? Eles testaram várias quantidades e descobriram que usar 95% de áudio e apenas 5% de texto de alta qualidade era o ideal. É como se o robô passasse 95% do tempo ouvindo histórias e 5% do tempo lendo livros clássicos para entender a gramática e o conhecimento do mundo.
O Tamanho Importa? Sim, mas de um jeito diferente dos modelos de texto. Eles descobriram uma "Lei de Escala" nova. Para os modelos de áudio, precisamos de muito mais dados do que de cérebro.
- Analogia: Se um modelo de texto é como um estudante que precisa de muitos livros para aprender, um modelo de áudio é como um músico que precisa ouvir milhares de horas de música para afinar o ouvido. O "cérebro" (tamanho do modelo) cresce, mas o "ouvido" (dados) precisa crescer ainda mais rápido.

3. Começar do Zero ou Copiar? (Cold-Start vs. Warm-Start)

Uma grande dúvida era: "Devemos pegar um robô que já sabe ler (um modelo de texto pré-treinado) e ensinar ele a falar, ou devemos criar um robô do zero apenas para áudio?"

A Descoberta: Começar do zero (Cold-Start) foi melhor para a parte de áudio.
Por que? Imagine tentar ensinar um pianista clássico a tocar jazz. Ele já tem hábitos enraizados que podem atrapalhar. Da mesma forma, pegar um modelo de texto e tentar transformá-lo em modelo de áudio causou instabilidade e erros. O modelo "nativo" (criado do zero para áudio) aprendeu a entender a voz de forma mais natural e estável.

4. O Resultado: O "Canivete Suíço" de Áudio

O resultado final, o SODA, é incrivelmente versátil. Com o mesmo modelo, eles conseguiram fazer:

Tradução de Voz para Voz: Você fala em português, o robô ouve, entende e devolve a resposta em inglês, mantendo a sua própria voz. É como se o robô estivesse usando uma máscara perfeita do seu rosto vocal.
Entender o que não é dito: Ele consegue detectar se alguém está mentindo, se está triste ou se o ambiente está barulhento, apenas ouvindo.
Gerar histórias: Ele pode continuar uma história que você começou a contar.

Resumo em uma frase

Os autores criaram um novo tipo de inteligência artificial que aprende a ouvir, falar e entender o mundo misturando texto e áudio de forma natural, descobrindo que, para ter um "ouvido" perfeito, é preciso treinar com muito mais dados do que apenas aumentar o tamanho do cérebro.

O que isso significa para nós?
Significa que estamos um passo mais perto de assistentes de voz que realmente "sentem" o que você diz, que podem traduzir conversas mantendo a emoção original e que entendem o contexto do mundo, não apenas as palavras soltas. É um grande salto para tornar a interação com máquinas mais humana e natural.

Título: Escalando Modelos de Base de Áudio Discretos Abertos com Tokens Semânticos, Acústicos e de Texto Intercalados

1. Problema e Motivação

Os modelos de linguagem de áudio atuais enfrentam limitações significativas que impedem a modelagem geral de áudio de alta fidelidade:

Arquiteturas Centradas em LLM: Modelos como SALMONN ou Qwen3-Omni estendem LLMs de texto pré-treinados com módulos de áudio. Isso cria um "gargalo semântico", onde detalhes acústicos finos são perdidos ou comprimidos, limitando a geração de áudio nativa e a compreensão acústica.
Modelos Apenas Semânticos: Abordagens como TWIST ou SpiritLM focam em tokens semânticos (ex: unidades HuBERT), ignorando detalhes acústicos essenciais para a geração de áudio realista.
Modelos Nativos de Áudio Específicos: Modelos como Moshi ou Llama-Mimi modelam tokens acústicos diretamente, mas geralmente focam em tarefas específicas (ex: TTS) sem integração robusta com texto ou sem investigação sistemática sobre leis de escalabilidade.

O objetivo deste trabalho é preencher essa lacuna criando um modelo de base nativo de áudio que utilize a previsão de próximo token (Next-Token Prediction - NTP) para modelar conjuntamente conteúdo semântico, detalhes acústicos e texto em uma única arquitetura unificada.

2. Metodologia

Arquitetura e Tokenização:

Modelo: Utiliza Transformers apenas decodificador (baseado na arquitetura Qwen3), inicializados aleatoriamente (cold-start).
Codec Neural: Utiliza o codec Mimi (12.5 Hz) para discretizar o áudio.
- O primeiro codebook captura o conteúdo semântico.
- Os próximos 7 codebooks capturam detalhes acústicos.
Interleaving (Intercalação): Tokens de áudio (semânticos + acústicos) e texto são intercalados ao nível da fala (utterance-level). Isso evita erros de alinhamento palavra-por-palavra e permite o uso de grandes conjuntos de dados com transcrições. O modelo suporta formatos "texto primeiro" e "áudio primeiro".

Design de Dados e Treinamento:

Corpora de Áudio: Seleção de Yodas (YouTube, 100+ idiomas) e Emilia (fala espontânea). O corpus MLS foi descartado devido a problemas de distribuição (transcrições sem pontuação e trechos de comprimento fixo).
Mistura de Dados: Adicionou-se 5% de dados de texto de alta qualidade (Nemotron-CC) para melhorar o conhecimento linguístico e semântico sem degradar significativamente o desempenho de áudio.
Estratégia de Inicialização: Comparou-se Cold-Start (do zero) vs. Warm-Start (a partir de LLMs de texto). O Cold-Start mostrou-se superior em estabilidade e habilidades de mapeamento áudio-texto.

Análise de Escala (Scaling Laws):

Realizaram-se 64 experimentos de varredura IsoFLOP (mantendo o custo computacional constante enquanto variam o tamanho do modelo $N$ e o número de tokens $D$ ) em um intervalo de $3 \times 10^{18}$ a $3 \times 10^{20}$ FLOPs.
O objetivo foi determinar a alocação computacional ótima para modelos de áudio discretos, comparando com as leis de escalabilidade de LLMs de texto (Chinchilla).

3. Contribuições Principais

Receita de Treinamento Validada: Estabelecimento de uma configuração ótima de dados (95% fala + 5% texto) e composição de tokens (Semântico + Acústico + Texto intercalado) que equilibra compreensão semântica, fidelidade acústica e capacidades cruzadas.
Leis de Escala para Áudio Discreto: Primeira análise sistemática de leis de escala para modelos de áudio discretos.
- Descobriram que o tamanho ótimo dos dados ( $D^*$ ) escala 1.6x mais rápido que o tamanho ótimo do modelo ( $N^*$ ).
- Exponentes encontrados: $N^* \propto C^{0.367}$ e $D^* \propto C^{0.579}$ .
- Isso indica que tokens de áudio (100 tokens/segundo) têm menor densidade de informação que tokens de texto, exigindo mais dados para o mesmo ganho de aprendizado.
Série de Modelos SODA: Treinamento da família de modelos SODA (Scaling Open Discrete Audio), variando de 135M a 4B parâmetros, treinados em 500B tokens.
Validação de Métricas: Demonstração de que a Perda de Validação (NLL) é um preditor confiável para o desempenho em tarefas downstream (ASR, TTS, compreensão semântica), mesmo em escalas maiores.

4. Resultados

Desempenho do Modelo SODA:

Capacidades Cruzadas: O modelo SODA-4B alcançou resultados competitivos em benchmarks de ASR (WER de 5.0% no LibriSpeech) e TTS (WER de 6.1% e SIM de 0.56).
Comparação com o Estado da Arte:
- Supera modelos baseados apenas em semântica (como SpiritLM) em tarefas acústicas e de geração de voz, mantendo boa compreensão semântica.
- Supera modelos nativos de áudio sem texto (como Llama-Mimi) em tarefas de tradução e compreensão cruzada, graças à intercalação de tokens de texto.
Emergência de Habilidades:
- Habilidades de conhecimento de texto e compreensão semântica mostraram ganhos acelerados (emergência) com o aumento da escala.
- Habilidades acústicas e cruzadas (ASR/TTS) mostraram sinais de saturação mais cedo, limitadas possivelmente pela qualidade do tokenizador ou dos dados, e não apenas pela capacidade do modelo.

Cold-Start vs. Warm-Start:

O treinamento a partir do zero (Cold-Start) foi mais estável e produziu melhores resultados em ASR e mapeamento áudio-texto.
O Warm-Start manteve uma vantagem inicial em conhecimento de texto, mas não conseguiu recuperar o desempenho em tarefas de áudio, sugerindo que o conhecimento prévio de LLMs de texto pode interferir na aprendizagem de mapeamentos áudio-texto.

Aplicação em Tradução Fala-a-Fala (S2ST):

O modelo SODA foi ajustado (fine-tuned) para tradução de fala preservando a voz (S2ST) sem alterar a arquitetura, tratando a tarefa como previsão de próximo token intercalada.
Resultados competitivos em preservação de voz (SIM ~0.47) e qualidade de tradução, demonstrando a flexibilidade da arquitetura unificada.

5. Significado e Impacto

Democratização: O trabalho libera checkpoints, dados de áudio discretos, código e logs experimentais, facilitando a pesquisa em modelos de base de áudio abertos.
Mudança de Paradigma: Demonstra que é possível construir um modelo de base unificado para áudio que não depende de um LLM de texto pré-treinado como "espinha dorsal", superando o gargalo semântico.
Diretrizes para Futuro: As leis de escala descobertas fornecem um guia crucial para pesquisadores que desejam escalar modelos de áudio, indicando que o investimento em dados deve superar o investimento em tamanho do modelo para obter eficiência computacional ótima.
Versatilidade: A arquitetura proposta serve como uma espinha dorsal flexível para diversas tarefas (ASR, TTS, continuação de áudio, tradução), provando que a previsão de próximo token é uma abordagem unificada e poderosa para multimodalidade em áudio.

Em resumo, o paper estabelece um novo estado da arte na modelagem de áudio nativa, fornecendo as primeiras "receitas" e leis de escala robustas para treinar modelos de áudio discretos de grande escala que equilibram fidelidade acústica, compreensão semântica e capacidades de linguagem.