💬 NLP

Alignment Is All You Need: Instruction-Free Training for General Audio-Language Models

Este artigo introduz um framework livre de instruções e focado apenas em alinhamento para o treinamento de modelos de linguagem-áudio gerais que mantém tanto o codificador de áudio quanto o LLM congelados enquanto aprende apenas um projetor leve em dados autogerados, demonstrando que um desempenho multimodal competitivo pode ser alcançado sem supervisão extensiva específica de tarefas ou ajuste fino.

Autores originais: Xuanru Zhou, Yiwen Shao, Jiahong Li, Dong Yu

Publicado 2026-08-20

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xuanru Zhou, Yiwen Shao, Jiahong Li, Dong Yu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, um tipo específico de programa de computador surgiu, capaz de ler texto, observar imagens e ouvir sons, e então responder perguntas sobre eles. Esses sistemas, conhecidos como modelos de linguagem de grande escala multimodais, são construídos ao se pegar um poderoso motor de processamento de texto e ensinar esse motor a compreender outras formas de dados, como o áudio. Tradicionalmente, esse processo de ensino tem sido longo e trabalhoso. Ele geralmente envolve três etapas distintas: primeiro, conectar os novos dados sonoros ao motor de texto; segundo, treinar o sistema em milhares de tarefas específicas com instruções escritas por humanos; e terceiro, ajustar seu comportamento com base nas preferências humanas para torná-lo mais natural. A crença predominante tem sido que, sem essa supervisão pesada e de múltiplos estágios, o sistema não aprenderia a ouvir de forma eficaz.

No entanto, um novo estudo desafia essa suposição ao fazer uma pergunta mais simples: se o motor de texto já sabe como seguir instruções e raciocinar, ele realmente precisa ser treinado do zero para entender o som? Os pesquisadores propõem que o trabalho pesado de ensinar tarefas específicas ao modelo pode ser desnecessário. Em vez disso, eles sugerem que simplesmente alinhar os dados sonoros com o conhecimento existente do motor de texto pode ser suficiente. Essa abordagem trata o áudio não como uma nova linguagem a ser aprendida, mas como uma forma diferente de apresentar informações que o motor já é capaz de compreender, desde que a conexão entre os dois seja clara.

Os pesquisadores se propuseram a testar essa ideia construindo um sistema que pula as etapas tradicionais de treinamento. Eles pegaram um modelo de texto pré-existente e poderoso e um codificador de áudio pré-existente, que é uma ferramenta que converte ondas sonoras brutas em um formato que o computador possa processar. Crucialmente, eles congelaram ambos os componentes, o que significa que não alteraram um único parâmetro interno do motor de texto ou da ferramenta de áudio durante o processo de treinamento. A única parte do sistema que permitiram aprender foi um conector pequeno e leve, ou projetor, que se situa entre o áudio e o motor de texto. O único trabalho desse conector era traduzir as características do áudio para uma linguagem que o motor de texto pudesse entender, sem nunca lhe ser dito qual tarefa específica realizar.

Para treinar esse conector sem instruções humanas, a equipe desenvolveu um método chamado construção de dados autogerados. Em vez de pedir a humanos que escrevessem perguntas e respostas para cada clipe de áudio, eles usaram o próprio motor de texto para criar o material de treinamento. Eles pegaram descrições simples de clipes de áudio, como uma frase afirmando "um cachorro latindo", e as alimentaram no motor de texto congelado sem qualquer comando ou instrução. O motor, atuando como um escritor criativo, então expandiria essa descrição simples em uma resposta longa e de formato livre, imaginando o que diria se estivesse realmente ouvindo o som. Essas respostas geradas tornaram-se as respostas alvo. O sistema então aprendeu a fazer o áudio soar como essas descrições, ajustando apenas o pequeno conector, efetivamente ensinando o áudio a falar a mesma língua dos pensamentos internos do motor de texto.

Ao serem testados contra uma ampla variedade de benchmarks cobrindo fala, música e sons ambientais, essa abordagem livre de instruções apresentou um desempenho notavelmente bom. O modelo igualou ou até superou sistemas que passaram pelo tradicional e caro treinamento de múltiplos estágios, apesar de usar significativamente menos dados. Em testes que mediam a capacidade de seguir instruções complexas, o novo modelo superou muitos concorrentes de código aberto, retendo a habilidade natural original do motor de texto de seguir comandos, porque esse motor nunca foi alterado. O estudo sugere que o gargalo na construção desses sistemas de áudio não é a falta de conjuntos massivos de instruções, mas sim a qualidade da conexão entre o som e o motor de texto.

Os pesquisadores também exploraram como diferentes fatores influenciaram os resultados. Eles descobriram que o desempenho do sistema era limitado por duas coisas principais: o quanto a ferramenta de áudio conseguia extrair do som e o quão capaz o motor de texto era de raciocinar. Se a ferramenta de áudio fosse boa em capturar detalhes sonoros, mas o motor de texto fosse fraco em raciocínio, o sistema não teria um bom desempenho, e vice-versa. Eles descobriram que simplesmente adicionar mais dados nem sempre ajudava; para tarefas que exigiam o reconhecimento de sons específicos, o sistema atingia um teto de desempenho rapidamente. No entanto, para tarefas que exigiam raciocínio aberto ou descrições criativas, mais dados continuavam a melhorar os resultados. Isso indica que o potencial do sistema é definido pelas capacidades de seus componentes principais, e não apenas pelo volume de exemplos de treinamento.

Uma descoberta interessante foi que o sistema funcionava melhor quando o motor de texto usado para gerar as respostas de treinamento era o mesmo usado para a tarefa de escuta final. Se os pesquisadores usassem um motor diferente para criar os dados de treinamento, o desempenho caía significamente. Isso sugere que o sistema não está apenas aprendendo a reconhecer sons, mas está aprendendo a se alinhar com a lógica interna específica de um determinado motor de texto. Além disso, o estudo mostrou que o sistema poderia se adaptar a novas gerações de motores de texto simplesmente retreinando o pequeno conector, sem a necessidade de retreinar os motores massivos em si. Isso implica que, à medida que os modelos de texto melhoram, os modelos de áudio poderiam ser atualizados instantaneamente apenas trocando o conector, em vez de reconstruir todo o sistema.

O estudo conclui que construir um modelo de linguagem e áudio competitivo não requer as complexas linhas de produção de múltiplos estágios que se tornaram o padrão. Ao congelar os componentes principais e focar exclusivamente no alinhamento do áudio com o conhecimento existente do motor de texto, os pesquisadores podem criar sistemas que são eficientes, adaptáveis e altamente capazes. Essa abordagem preserva as forças originais do motor de texto, como sua habilidade de seguir instruções, que muitas vezes são perdidas quando os modelos são fortemente ajustados para tarefas específicas. Os resultados sugerem que o caminho para uma compreensão de áudio mais avançada pode não residir em ensinar novas habilidades ao modelo, mas em encontrar a maneira mais eficiente de deixá-lo usar as habilidades que ele já possui.

Resumo Técnico: Alinhamento é Tudo o que Você Precisa para Modelos de Áudio-Linguagem Gerais

Declaração do Problema

Os atuais Modelos de Linguagem de Grande Escala Multimodais (MLLMs), incluindo os Modelos de Linguagem-Áudio de Grande Escala (LALMs), dependem tipicamente de um pipeline de treinamento de múltiplos estágios: alinhamento cross-modal, Ajuste Fino Supervisionado (SFT) com instruções específicas de tarefas e Otimização de Preferência (ex: DPO). Este paradigma assume que adaptar um Modelo de Linguagem de Grande Escala (LLM) pré-treinado a uma nova modalidade requer supervisão extensiva e específica para cada tarefa. No entanto, esta abordagem possui duas desvantagens principais:

Erosão da Generalização: O SFT extensivo e a otimização de preferência adaptam o LLM a distribuições de instrução específicas, potencialmente erodindo suas capacidades nativas e universais de seguimento de instruções e causando o overfitting aos templates de treinamento em vez do sinal de entrada subjacente.
Ineficiência e Escalabilidade: Cada nova geração de LLMs exige a execução de pipelines de pós-treinamento caros em um novo backbone, tornando o processo computacionalmente pesado e lento para adaptação.

A questão central levantada pelos autores é se o alinhamento sozinho é suficiente para construir um modelo multimodal competitivo, aproveitando as habilidades pré-existentes de raciocínio e seguimento de instruções do LLM sem retreinar o LLM ou o codificador de áudio.

Metodologia

O artigo propõe um framework de treinamento de Alinhamento Baseado Apenas em Instrução-Livre. A filosofia central é que um projetor bem alinhado pode conectar um codificador de áudio congelado a um LLM congelado, permitindo que o LLente interprete o áudio como interpreta o texto, sem a necessidade de ser retreinado para tarefas específicas.

1. Arquitetura

O modelo consiste em três componentes:

Codificador de Áudio Congelado ( $E$ ): Mapeia o áudio bruto $x$ para vetores de características. O artigo avalia cinco codificadores através de três paradigmas: discriminativo (AudioSet-Zipformer), supervisionado por ASR (Whisper-large-v2) e pré-treinamento conjunto áudio-linguagem (família Qwen).
LLM Congelado ( $L$ ): Um modelo autorregressivo pré-treinado (ex: Qwen2.5-7B-Instruct) que atua como um decodificador universal.
Projetor Treinável ( $P_\theta$ ): Um módulo leve e aprendível (um simples MLP de duas camadas) que mapeia a saída do codificador para o espaço de embedding de entrada do LLM. Apenas os parâmetros do projetor são atualizados.

2. Construção de Dados Autogerados

Para evitar o viés induzido pela instrução, os autores eliminam instruções de tarefas explícitas e pares de QA (pergunta e resposta). Em vez disso, utilizam um pipeline de Construção de Dados Autogerados:

Surrogate Semântico: Uma legenda em linguagem natural $c$ (seja ela real ou sinteticamente gerada por um captioner) serve como um surrogate semântico para o áudio $x$ .
Expansão de Resposta: Um expansor de LLM congelado $g$ recebe a legenda $c$ e gera uma resposta de formato livre $r = g(c)$ como se estivesse percebendo diretamente o áudio.
Alvo de Treinamento: O dataset resultante consiste em pares $(x, r)$ , onde $r$ é a resposta alvo gerada a partir do surrogate da legenda.

3. Treinamento de Alinhamento Livre de Instrução

O objetivo de treinamento minimiza a perda de modelagem de linguagem causal nos tokens da resposta $y$ (derivados de $r$ ), dado o prefixo de áudio $h = P_\theta(E(x))$ :
$\mathcal{L}_{align}(\theta) = -\mathbb{E}_{(x,y) \sim \mathcal{D}_{align}} \sum_{t=1}^{n} \log p_L(y_t | y_{<t}, P_\theta(E(x)))$
Crucialmente, nenhuma instrução é prefixada à entrada durante o treinamento. O prefixo de áudio sozinho deve disparar a resposta desejada. A instância de LLM usada para o treinamento deve ser idêntica à usada como o expansor $g$ para garantir consistência de distribuição.

4. Base Teórica

A abordagem baseia-se na hipótese de que os LLMs modernos são decodificadores universais. Se o projetor alcançar um alinhamento completo (onde o prefixo de áudio elicita a mesma distribuição de resposta que a legenda textual na ausência de instruções), o modelo generaliza para qualquer instrução em tempo de teste. O desempenho é teoricamente limitado por $\min(I(E), C(L))$ , onde $I(E)$ é a informação retida pelo codificador e $C(L)$ é o espaço de resposta do LLM congelado.

Principais Contribuições

LALM de Alinhamento Apenas-Livre de Instrução: Os autores demonstram que um LALM competitivo pode ser construído treinando apenas um projetor leve enquanto mantém tanto o codificador de áudio quanto o LLM totalmente congelados. Esta abordagem iguala ou supera baselines fortemente pós-treinados usando substancialmente menos dados.
Preservação do Seguimento de Instruções: Ao congelar o LLM, o modelo retém sua competência nativa de seguimento de instruções, alcançando desempenho de estado da arte em benchmarks de seguimento de instrução entre LALMs de código aberto sem SFT ou otimização de preferência.
Pipeline Totalmente Automático: O trabalho estende o framework de Construção de Dados Autogerados do speech para o áudio geral, permitindo um pipeline de treinamento que não requer pares de QA manualmente curados, taxonomias de tarefas ou templates de instrução.
Insights de Ablação e Escalonamento: O estudo fornece extensas ablações mostrando que o desempenho é conjuntamente limitado pelas representações do codificador e pela capacidade do LLM. Descobre-se que o escalonamento de dados de alinhamento beneficia principalmente tarefas de raciocínio de código aberto, enquanto o reconhecimento de conjunto fechado satura rapidamente com base nas limitações do codificador.

Resultados Experimentais

O modelo foi avaliado em quatro benchmarks: MMAU, MMAR, MMSU e MMAU-Pro.

Desempenho vs. Baselines: A variante AudioSet-Zipformer (7 bilhões de parâmetros, treinada em ~576k amostras) alcançou 80.8/77.4 no MMAU (Som), excedendo o melhor open-source anterior (Audio-Flamingo 3) que usou 46 $\times$ mais dados. No MMAU-Pro, pontuou 52.8 (média), superando outros modelos de código aberto (ex: Qwen2.5-Omni: 52.2, Kimi-Audio: 46.6) e igualando sistemas proprietários como GPT-4o-Audio (52.5).
Seguimento de Instrução: O modelo alcançou 62.9 no split de seguimento de instrução do MMAU-Pro, o mais alto entre os LALMs de código aberto listados, validando a preservação das capacidades do LLM congelado.
Sensibilidade do Codificador: O AudioSet-Zipformer discriminativo destacou-se em tarefas de som e música, enquanto o Whisper-large-v2 supervisionado por ASR teve melhor desempenho em tarefas centradas em fala (MMSU, MMAU Speech).
Comportamento de Escalonamento: Aumentar os dados de treinamento de 400k para 4M de amostras mostrou retornos decrescentes em benchmarks de conjunto fechado (MMAU), que saturaram rapidamente. No entanto, tarefas de raciocínio de código aberto (MMAU-Pro Open-ended, MMAR) continuaram a melhorar com mais dados.
Fontes de Legenda: Legendas sintéticas geradas por LLMs foram competitivas com legendas reais, particularmente para tarefas centradas em fala, embora as legendas reais tenham mantido uma ligeira vantagem para alguns codificadores.

Significância e Alegações

O artigo afirma que o alinhamento sozinho é suficiente para construir modelos multimodais competitivos, desafiando a necessidade de SFT extensivo e otimização de preferência. Ao reduzir a extensão multimodal a um problema de treinamento de projetor leve, a abordagem oferece:

Eficiência: Convergência rápida e custos computacionais significativamente menores em comparação ao fine-tuning total.
Portabilidade: A receita pode ser transferida perfeitamente para novas gerações de LLM simplesmente retreinando o projetor, preservando o comportamento de decodificação universal do LLM.
Generalização: O modelo evita o viés induzido por instrução, permitindo que generalize para instruções arbitrárias no tempo de inferência sem adaptação adicional.

Os autores reconhecem limitações, observando que o desempenho é fundamentalmente limitado pelas capacidades do codificador base e do LLM, e que o estudo atual é limitado ao domínio de áudio e modelos de escala 7B. Eles sugerem que, embora o alinhamento capture bem a semântica, sinais super-semânticos mais ricos podem ainda exigir supervisão especializada.