⚡ electrical engineering

Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning

O artigo apresenta o SpeechCombine, uma abordagem inovadora que cria um modelo de linguagem de fala que segue instruções ao combinar diretamente um modelo adaptado para fala com as diferenças de pesos de um LLM de texto ajustado para instruções, alcançando assim fortes capacidades composicionais sem exigir conjuntos de dados massivos de ajuste de instruções de fala.

Autores originais: Congrui Du, Yang Zhang, Kaizhi Qian, Shiyu Chang

Publicado 2026-07-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Congrui Du, Yang Zhang, Kaizhi Qian, Shiyu Chang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um bibliotecário brilhante (um Modelo de Linguagem de Grande Escala de Texto) que conhece tudo sobre livros, consegue responder perguntas complexas e pode escrever histórias. No entanto, este bibliotecário nunca pronunciou uma única palavra; eles se comunicam apenas escrevendo.

Agora, você quer ensinar o bibliotecário a falar. Mas aqui está o detalhe: falar é muito mais difícil do que escrever. Uma única frase como "Como você está?" leva cinco palavras para ser escrita, mas quando falada, dura um segundo e contém centenas de pequenas unidades de som (tokens). Se você tentar ensinar o bibliotecário a falar fazendo-o ler milhões de horas de audiolivros e depois reaprender a responder perguntas, eles podem esquecer tudo o que sabiam sobre livros no processo. Este é o problema do "esquecimento catastrófico" que os modelos de IA atuais enfrentam.

Os autores deste artigo, SPEECHCOMBINE, encontraram um atalho inteligente. Eles não fizeram o bibliotecário reaprender tudo do zero. Em vez disso, usaram uma técnica chamada "Model Merging" (Fusão de Modelos), que é como uma receita científica para misturar duas "personalidades" diferentes em uma só.

Aqui está como eles fizeram isso, usando uma analogia simples:

Os Três Ingredientes

Imagine que você tem três versões de um personagem:

O Bibliotecário Base: O modelo original, inteligente e apenas de texto.
O Bibliotecário Conversador: O mesmo modelo, mas após ser treinado para seguir instruções (como "escreva um poema" ou "resolva um problema de matemática"). A diferença entre este e o Bibliotecário Base é uma "direção" em seu cérebro que representa o Seguimento de Instruções.
O Bibliotecário Falante: O Bibliotecário Base, mas após ser treinado apenas em 30.000 horas de dados de fala (sem treinamento de instrução). A diferença entre este e o Bibliotecário Base é uma "direção" que representa o Conhecimento de Fala.

A Mistura Mágica

Em vez de treinar um novo modelo do zero, os pesquisadores pegaram o Bibliotecário Falante (que sabe falar, mas não sabe seguir instruções complexas) e simplesmente costuraram a "direção de Seguimento de Instruções" do Bibliotecário Conversador nele.

Pense nisso desta forma:

Você tem um carro que pode dirigir na estrada (Modelo de Texto), mas precisa de um novo motor para dirigir na água (Modelo de Fala).
Você tem outro carro que possui um sistema especial de "Navegação por GPS" (Seguimento de Instruções).
Em vez de construir um veículo anfíbio completo do zero, você pega o carro que dirige na água e simplesmente instala o sistema de navegação por GPS do carro de estrada.

O resultado é um modelo que pode dirigir na água (falar) e navegar em rotas complexas (seguir instruções), sem precisar reaprender a dirigir.

O Que Eles Alegam Ter Alcançado

O artigo afirma que este método simples de "costura" funciona surpreendentemente bem, embora tenham usado apenas uma pequena quantidade de dados de fala (30.000 horas) comparado às milhões de horas que outros modelos usam.

Mantém os Cérebros: O modelo não esqueceu como raciocinar, responder perguntas ou resolver problemas matemáticos. Ele manteve a parte "inteligente" do bibliotecário de texto.
Aprendeu a Falar: Ele aprendeu a entender perguntas faladas e a gerar respostas faladas.
Pode "Pensar" em Voz Alta: Assim como a versão de texto do modelo pode "pensar" antes de responder (um processo chamado "pensamento longo"), esta versão de fala também pode "pensar" antes de falar. O artigo mostra exemplos onde o modelo raciocina através de um problema em sua "mente" (texto) antes de gerar a resposta falada final.
Lida com Emoções: O modelo pode entender se um falante está bravo ou feliz com base em seu tom, e pode até gerar fala com emoções específicas (como ler uma frase com um tom de "surpresa").

O Detalhe (Limitações)

O artigo admite que o modelo ainda não é perfeito:

Falhas de Formatação: Às vezes, o modelo fica confuso sobre quando alternar entre texto e fala, então os pesquisadores tiveram que usar uma "força" para mantê-lo no trilho.
Qualidade da Voz: O modelo entende o ritmo e o tom da fala, mas ainda não captura o timbre específico (o som único da voz de uma pessoa) ou sotaques. É como um robô que pode falar com emoção, mas soa como um robô genérico.
Ajuda Externa: Para entender o que um usuário disse, o modelo ainda depende de uma ferramenta externa (um sistema de fala-para-texto) para primeiro converter o som em palavras antes de poder "pensar" sobre isso.

Resumo

Em suma, o SPEECHCOMBINE prova que você não precisa afogar um modelo de texto inteligente em oceanos de dados de fala para fazê-lo falar. Você só precisa "mesclar" cuidadosamente sua habilidade de falar com sua habilidade existente de seguir instruções. É uma maneira muito mais eficiente de construir uma IA falante que ainda é tão inteligente quanto sua prima apenas de texto.

Resumo Técnico: Desbloqueando os Poderes Composicionais de Fala–Texto via SPEECHCOMBINE

Declaração do Problema

O ajuste de instruções (instruction tuning) para Modelos de Linguagem de Fala (SLMs) enfrenta desafios significativamente maiores do que para Modelos de Linguagem de Texto (LLMs). Enquanto os LLMs de texto seguem um paradigma de treinamento padrão envolvendo pré-treinamento e ajuste de instrução, os SLMs devem dominar uma nova modalidade (fala) juntamente com um espectro mais amplo de instruções, incluindo compreensão de fala (ex: detecção de emoção) e geração de fala (ex: síntese expressiva).

As abordagens atuais de treinamento de SLM replicam amplamente o pipeline de LLM de texto: pré-treinamento em corpora de fala massivos seguido de ajuste fino supervisionado (SFT) ou aprendizado por reforço (RL) em conjuntos de dados de instrução de fala. Esta estratégia sofre de dois gargalos críticos:

Inflação de Dados: Sequências de fala são significativamente mais longas que sequências de texto (ex: uma frase de 5 tokens de texto expande para 60–200 tokens de fala), tornando difícil escalar o tamanho efetivo dos conjuntos de dados.
Esquecimento Catastrófico: O treinamento extensivo em tokens de fala frequentemente faz com que o modelo esqueça o conhecimento e as capacidades de raciocínio de seu LLM de base de texto, forçando o modelo a reaprender essas habilidades em uma representação de fala mais difícil de aprender.

Tentativas existentes para mitigar isso, como congelar o LLM de texto e treinar apenas adaptadores, muitas vezes falham em suportar instruções específicas de fala (compreensão e geração), limitando o modelo a tarefas orientadas ao texto.

Metodologia: SPEECHCOMBINE

O artigo propõe o SPEECHCOMBINE, um SLM de seguimento de instruções treinado sem ajuste de instrução iterativo. A hipótesa central é que as capacidades de seguimento de instrução codificadas em um LLM de texto podem ser transferidas diretamente para um modelo adaptado à fala via combinação de pesos, inspirada em avanços recentes em fusão de modelos (model merging).

1. Estrutura e Combinação de Pesos

O método opera em três estágios dentro do espaço de parâmetros:

Modelo Base ( $\theta_{base}$ ): Um LLM de texto pré-treinado.
Modelo Ajustado por Instrução ( $\theta_{inst}$ ): O LLM de texto ajustado para seguimento de instrução.
Modelo Adaptado à Fala ( $\theta_{speech}$ ): O modelo base ( $\theta_{base}$ ) submetido a uma única rodada de pré-treinamento contínuo em dados de fala.

Os parâmetros finais do modelo ( $\theta_{SC}$ ) são construídos combinando linearmente as diferenças de peso:
$\theta_{SC} = \theta_{base} + \lambda \Delta\theta_{speech} + \Delta\theta_{inst}$
Onde:

$\Delta\theta_{inst} = \theta_{inst} - \theta_{base}$ codifica o comportamento de seguimento de instrução.
$\Delta\theta_{speech} = \theta_{speech} - \theta_{base}$ captura o conhecimento da modalidade de fala.
$\lambda \in (0, 1]$ é um peso suave que equilibra a integração do conhecimento de fala com a preservação das capacidades de texto.

Distinção Crucial: O pré-treinamento de fala deve começar a partir de $\theta_{base}$ , não de $\theta_{inst}$ . Começar a partir do modelo ajustado por instrução interrompe a estrutura composicional necessária para uma fusão bem-sucedida.

2. Estrutura de Dados de Pré-Treinamento

Para alcançar os objetivos duplos de familiarizar o modelo com sequências de tokens de fala e compreender informações de fala (conteúdo e prosódia), os autores projetam uma estrutura de dados de pré-treinamento específica:
[S1 cap] [S1 text] [S1 speech] [S1 cap] ...

[cap]: Descrições em linguagem natural de atributos de fala (conteúdo, tom, taxa, ênfase, emoção).
[text]: A transcrição exata da fala.
[speech]: Tokens de prosódia discretos representando a fala.

A inclusão de [text] ao lado de [speech] é essencial para ancorar a transferência das capacidades de seguimento de instrução baseadas em texto. A seção [cap] é randomizada (aparecendo antes, depois ou sendo omitida) para ensinar geração, compreensão e padrões de múltiplos turnos.

3. Tokenização e Inferência

Tokenização: Os autores utilizam um esquema de tokenização de prosódia (baseado em Qian et al., 2025) que codifica apenas características prosódicas (tom, duração, energia) em vez de formas de onda completas, reduzindo significativamente o comprimento e a redundância dos tokens.
Inferência: O modelo segue um template similar ao LLM de texto, mas inclui seções [speech]. Um sistema ASR externo transcreve a fala de entrada para a seção [text]. Técnicas de "forçamento de formato" (format forcing) são empregadas para estabilizar a geração de tokens de fala e garantir que o modelo adira à estrutura de saída exigida.
Pensamento Longo (Long Thinking): O modelo herda capacidades de "pensamento longo" (Cadeia de Pensamento ou Chain of Thought) do LLM de texto simplesmente modificando o template de resposta para incluir uma seção <thought>, sem treinamento adicional.

Principais Contribuições

Treinamento de SLM Livre de Instrução: Demonstra que um SLM com fortes capacidades de seguimento de instrução em texto, compreensão de fala e geração de fala pode ser construído usando apenas uma rodada de pré-treinamento (30 mil horas de dados) e combinação de pesos, eliminando a necessidade de conjuntos de dados massivos de ajuste de instrução de fala.
Generalização Composicional: Mostra que as capacidades de seguimento de instrução ( $\Delta\theta_{inst}$ ) se generalizam para o domínio da fala quando combinadas com a adaptação de fala ( $\Delta\theta_{speech}$ ), permitendo que o modelo lide com tarefas específicas de fala não vistas (ex: detecção de emoção, geração de ênfase) sem treinamento explícito nessas tarefas.
Preservação de Capacidades de Texto: A estratégia preserva com sucesso o conhecimento e as habilidades de raciocínio originais do LLM de texto, evitando o esquecimento catastrófico típico dos pipelines de treinamento de SLM padrão.
Eficiência: Alcança desempenho estado da arte ou competitivo usando menos de 1% dos dados necessários pelos SLMs existentes (ex: FUN-AUDIO-CHAT treinado em milhões de horas).

Resultados Experimentais

Os autores avaliam o SPEECHCOMBINE em duas categorias de tarefas: Combinação Rasa (tarefas orientadas ao texto na modalidade de fala) e Combinação Profunda (tarefas específicas de fala).

Tarefas Orientadas ao Texto (QA, Raciocínio): O SPEECHCOMBINE performa em nível ou melhor que o baseline "ASR + LLM de texto" (que não sofre esquecimento) e supera significativamente outros SLMs treinados em conjuntos de dados massivos (ex: GLM-4-Voice, Step-Audio). Ele atinge resultados de topo ou segundo melhor lugar em datasets como OpenbookQA, GSM8k e MLC.
Compreensão de Fala (Emoção, Ênfase):
- Emoção: Alcança desempenho moderado, limitado pela escassez de legendas de emoção nos dados de pré-treinamento.
- Detecção de Ênfase: Alcança desempenho estado da arte com margens substanciais sobre os baselines, demonstrando a habilidade do modelo de inferir ênfase a partir de pistas prosódicas.
Geração de Fala (Expressiva, Ênfase):
- Geração Expressiva: Alcança o segundo melhor desempenho em geração de emoção.
- Geração de Ênfase: Alcança o melhor desempenho entre modelos comparáveis.
- Notavelmente, essas capacidades emergem sem treinamento específico de tarefa, dependendo apenas da transferência composicional de habilidades.
Estudos de Ablação:
- Peso $\lambda$ : Um ponto ideal (ex: $\lambda=0.85$ ) equilibra a preservação de texto e a aquisição de fala.
- Estrutura de Dados: Remover [cap] ou [text] degrada significativamente o desempenho, confirmando sua necessidade para a transferência de conhecimento e ancoragem.
- Pensamento Longo: Habilitar o modo de pensamento melhora o desempenho em tarefas complexas de raciocínio e fala.

Significância e Alegações

O artigo afirma que o SPEECHCOMBINE oferece uma nova direção escalável para o treinamento de SLM que evita o "fardo indevido de empilhamento ineficiente de dados". Ao aproveitar a fusão de modelos, a abordagem permite que os SLMs herdem rapidamente capacidades emergentes de LLMs de texto em evolução sem exigir o re-treinamento em conjuntos de dados de fala massivos.

Os autores reconhecem limitações, incluindo a dependência de ASR externo para inferência, a falta de codificação de timbre/qualidade de voz no esquema de tokenização atual e a necessidade de forçamento de formato para garantir a estabilidade da saída. No entanto, eles postulam que este paradigma fornece uma base robusta para construir modelos de fala poderosos e de seguimento de instrução que são tanto eficientes em dados quanto capazes de raciocínio complexo.