Resumo Técnico: JASTIN – Alinhamento de LLMs para Avaliação de Áudio e Fala em Zero-Shot via Instruções em Linguagem Natural

1. Declaração do Problema

O avanço rápido dos modelos generativos de áudio (por exemplo, texto-para-fala, geração de música) superou o desenvolvimento de metodologias de avaliação robustas. As abordagens de avaliação atuais enfrentam três gargalos críticos:

• Aplicabilidade de Domínio Restrita: Métricas tradicionais de processamento de sinal (por exemplo, PESQ, STOI) e métricas neurais especializadas (por exemplo, NISQA, UTMOS) são frequentemente específicas de domínio. Por exemplo, o PESQ é inadequado para música, enquanto a Distância de Áudio Fréchet (FAD) tem dificuldades com fala, levando a pipelines de avaliação fragmentados.
• Desempenho Inconsistente de MLLMs Gerais: Embora Modelos de Linguagem Multimodal (MLLMs) de propósito geral, como Gemini 3 Pro ou GPT-4o, mostrem promessa em tarefas de zero-shot, seu desempenho na avaliação especializada de áudio permanece inconsistente e frequentemente carece da precisão necessária para avaliações rigorosas.
• Falta de Flexibilidade Instrucional: Juízes especializados baseados em LLMs frequentemente dependem de modelos de prompt rígidos e escalas de pontuação fixas (por exemplo, 1–5). Eles lutam com a generalização zero-shot para novas tarefas e não conseguem se adaptar dinamicamente a requisitos alternativos do usuário (por exemplo, mudar a escala para 1–100 ou reescrever instruções).

Soluções existentes falham em fornecer um framework unificado e orientado por instruções que possa generalizar entre fala, música e efeitos sonoros sem retreinamento específico de tarefa.

2. Metodologia: O Framework JASTIN

O JASTIN (Avaliação de Áudio e Fala Orientada por Instruções via Instruções em Linguagem Natural) reformula a avaliação de áudio como uma tarefa de raciocínio auto-instruído. O framework conecta representações acústicas de alta resolução com as capacidades de raciocínio linguístico de um LLM.

Arquitetura

A arquitetura consiste em três componentes principais:

1. Codificador de Áudio Congelado: Um codificador pré-treinado de alto desempenho (especificamente PE-A-Frame-base) extrai características acústicas robustas em nível de quadro. Este codificador é mantido congelado para preservar suas representações aprendidas de dinâmicas temporais e eventos acústicos.
2. Adaptador de Áudio Treinável: Uma rede de projeção leve (projeção linear seguida por um adaptador residual de gargalo com uma razão de compressão de 4:1) mapeia os embeddings contínuos de áudio do codificador para o espaço de tokens de texto discreto do LLM.
3. Backbone de LLM Ajustado Fino: Um modelo de linguagem (Llama-3.2-3B) serve como o motor central de raciocínio. Ele processa entradas multimodais intercaladas (instruções de tarefa e embeddings de áudio) para gerar pontuações.

Formulação de Entrada

A avaliação de áudio é formulada como uma tarefa de pontuação dependente de contexto: $s = f(T, A)$, onde $s$ é a pontuação prevista, $T$ é a descrição da tarefa em linguagem natural e $A$ é o áudio de entrada. A entrada é estruturada como uma sequência conversacional unificada onde instruções de tarefa e embeddings de áudio são intercalados dentro de um modelo de chat. O modelo é treinado de forma autoregressiva para prever a sequência de pontuação alvo, minimizando a verossimilhança negativa apenas nos tokens de resposta.

Pipeline de Preparação de Dados

Para garantir uma generalização robusta em zero-shot, o JASTIN emprega uma estratégia abrangente e heterogênea de preparação de dados envolvendo quatro dimensões-chave:

• Multi-Fonte: Agrega dados de verdade fundamental anotada por humanos (por exemplo, QualiSpeech, SpeechEval), dados pseudo-rotulados (gerados pelo modelo AES em conjuntos de dados públicos como LibriTTS e MusicCaps) e dados de tarefas proxy (por exemplo, detecção de emoção, detecção de reverberação) para evitar o sobreajuste a definições estreitas de "qualidade".
• Multi-Tarefa: Incorpora 24 tarefas diversas cobrindo naturalidade, prosódia, emoção, distorção e qualidade de produção em fala, música e som.
• Multi-Calibração: Aplica aumentações baseadas em modelos aos dados de treinamento, incluindo redimensionamento dinâmico de pontuações (por exemplo, mapear 1–5 para 1–100), inversão de lógica semântica (por exemplo, "avalie o ruído" vs. "avalie a clareza") e conversão de pontuações contínuas em classificações binárias.
• Multi-Descrição: Utiliza um LLM professor para parafrasear descrições de tarefas, transformando solicitações formais em perguntas casuais ou rubricas técnicas. Isso garante que o modelo aprenda a intenção subjacente em vez de memorizar palavras-chave específicas.

3. Contribuições Principais

1. Generalização Unificada: O JASTIN é um único modelo capaz de avaliar fala, música e efeitos sonoros em um cenário de zero-shot e turno único, sem retreinamento específico de tarefa.
2. Estratégia de Dados Abrangente: A introdução de um pipeline de dados multi-fonte, multi-tarefa, multi-calibração e multi-descrição melhora significativamente a capacidade do modelo de generalizar para tarefas e domínios não vistos.
3. Robustez Instrucional: Ao empregar um paradigma de treinamento auto-instruído, o JASTIN alcança um equilíbrio entre sensibilidade semântica e robustez lexical. Ele se adapta a mudanças nas regras de avaliação e escalas de pontuação, mantendo a consistência na pontuação quando os prompts são reescritos.
4. Alinhamento Centrado no Humano: O framework é projetado para alinhar-se estreitamente com classificações subjetivas humanas, indo além de métricas estáticas para uma avaliação dinâmica e orientada por instruções.

4. Resultados Experimentais

O JASTIN foi avaliado contra métricas tradicionais não-LLM (por exemplo, AES, UTMOS, NISQA), MLLMs de propósito geral (por exemplo, série Gemini, série Qwen, AudioFlamingo3) e baselines de LLM especializado em cinco conjuntos de dados: QualiSpeech, SpeechEval, AES (Fala, Som, Música), AudioMOS2025 e DeepASMR.

• Avaliação de Fala: Nos conjuntos de dados QualiSpeech e SpeechEval, o JASTIN alcançou correlações de Pearson (PCC) e Spearman (SRCC) com classificações humanas state-of-the-art (SOTA), superando consistentemente tanto métricas tradicionais quanto MLLMs gerais. Por exemplo, na tarefa de Qualidade Geral do SpeechEval, o JASTIN alcançou um PCC de 0,662, superando a melhor baseline (UTMOS com 0,748 em Inteligibilidade, mas mais baixo em Qualidade Geral) e modelos especializados.
• Avaliação de Som e Música: No conjunto de dados AES, o JASTIN igualou ou excedeu o desempenho das baselines especializadas não-LLM do AES em todas as métricas de Apreciação de Conteúdo, Utilidade, Complexidade de Produção e Qualidade de Produção, superando significativamente métricas centradas na fala como UTMOS e NISQA, que falharam em tarefas não relacionadas à fala.
• Generalização Zero-Shot: Em tarefas fora de domínio (OOD) (por exemplo, Alinhamento Texto-Música, MOS de ASMR, MOS de Fala Sintetizada), o JASTIN demonstrou capacidades de generalização superiores. Ele superou significativamente LLMs gerais e métricas tradicionais, que mostraram desempenho fragmentado ou falharam em se adaptar a descrições de tarefas não vistas.
• Robustez de Prompt: Análises de sensibilidade mostraram que o JASTIN mantém desempenho estável em diversas estruturas de prompt (encurtadas, reestruturadas, detalhadas, invertidas), enquanto modelos baseline exibiram flutuações significativas.

5. Significado e Alegações

O artigo afirma que o JASTIN representa uma mudança de paradigma da regressão de métricas fixas e estáticas para um framework de avaliação dinâmico e orientado por instruções. Seu significado reside em:

• Eliminar a Necessidade de Retreinamento Específico de Tarefa: Um único modelo pode lidar com diversos cenários de avaliação (fala, música, som) e adaptar-se a novas instruções sem ajuste fino.
• Preencher a Lacuna entre Objetivo e Subjetivo: Ao aproveitar as capacidades de raciocínio de LLMs, o JASTIN captura melhor a nuance da preferência humana e a flexibilidade contextual em comparação com métricas tradicionais de processamento de sinal.
• Escalabilidade e Flexibilidade: O framework é agnóstico ao modelo, permitindo a substituição de codificadores de áudio ou backbones de LLM melhores no futuro, e suporta escalas de pontuação dinâmicas e rubricas personalizadas.

Os autores reconhecem limitações, observando que o modelo ainda luta com métricas sensíveis ao tempo, como velocidade de fala, e domínios estéticos especializados como ASMR, onde a distinção entre estilo artístico e degradação técnica permanece desafiadora. No entanto, o trabalho estabelece uma base robusta para a próxima geração de avaliação automatizada de áudio.