One Prompt, Many Sounds: Modeling Listener Variability in LLM-Based Equalization

Resumo Técnico: Um Prompt, Muitos Sons: Modelando a Variabilidade do Ouvinte em Equalização Baseada em LLM

Declaração do Problema
A equalização de áudio convencional é um processo estático e manual que frequentemente falha em adaptar-se a contextos de escuta em mudança (por exemplo, humor, localização) ou a preferências individuais do usuário. Um desafio significativo reside na "lacuna semântica" entre descritores em linguagem natural (por exemplo, "quente", "claro") e parâmetros técnicos de resposta em frequência. As abordagens existentes tratam tipicamente esse mapeamento como um problema de regressão determinístico, prevendo um único ponto de estimativa "correto" para um dado prompt. No entanto, o artigo argumenta que a percepção de áudio é inerentemente subjetiva; um único prompt corresponde a uma distribuição de preferências válidas entre diferentes ouvintes, não a uma verdade universal. Sistemas atuais frequentemente colapsam essa diversidade em um valor médio ou dependem de predefinições definidas por especialistas, falhando em capturar a nuance da intenção humana e a variabilidade da interpretação do usuário.

Metodologia
Os autores propõem uma estrutura que trata o mapeamento de linguagem natural para equalização como um problema de modelagem distribucional, em vez de uma tarefa de estimativa pontual.

• Coleta de Dados: Um experimento de escuta controlado foi conduzido com 11 participantes. O conjunto de dados consiste em 120 pares únicos prompt-áudio derivados de uma pesquisa sobre experiências de áudio. Os participantes ajustaram um controlador de equalização 2D simplificado "Beosonic" (mapeando para uma "curva de sorriso" e uma inclinação espectral linear) para corresponder a prompts em linguagem natural. Esse processo gerou 1.320 anotações (11 respostas por prompt), criando uma distribuição empírica de preferências do usuário para cada entrada.
• Abordagens de Modelagem: O estudo utiliza o LLM Phi-3.5-mini-instruct e explora duas estratégias principais:
  1. Aprendizado em Contexto (ICL): Sem atualizar os pesos do modelo, os autores testaram abordagens zero-shot (Text2Beosonic), few-shot (ICL Estático) e Geração Aumentada por Recuperação (RAG). Uma variante novel, RAG-QA, foi introduzida para gerar uma lista de 11 previsões (imitando o grupo de participantes) em vez de uma única saída, introduzindo assim estocasticidade para refletir a subjetividade humana.
  2. Ajuste Fino Eficiente em Parâmetros (PEFT): Os autores aplicaram Prefix-Tuning e Adaptação de Baixo RANK (LoRA). Duas estratégias de saída foram exploradas: (a) um cabeçalho de regressão prevendo um array fixo de 11 pares de coordenadas simultaneamente, e (b) uma tarefa de previsão do próximo token gerando a representação textual do array completo de coordenadas. Aumento de dados via substituição de sinônimos e borrão de rótulos foi utilizado para expandir o conjunto de treinamento.
• Métricas de Avaliação: Para abordar as limitações do Erro Quadrático Médio (MSE) em capturar a variância distribucional, o artigo emprega a distância Kantorovich-1 (Distância do Movimentador de Terra). Esta métrica compara a distribuição prevista de configurações contra a distribuição de verdade fundamental das respostas humanas. Para lidar com a natureza limitada do controlador de equalização (prevenindo viés de fronteira na estimação de densidade), os autores utilizam Estimação de Densidade de Kernel Reflexiva (KDE) para calcular uma Distância Kantorovich Reflexiva.

Principais Contribuições

1. Estrutura de Recomendador Baseada em LLM: Um sistema novel que interpreta descrições de áudio para gerar ajustes de equalização plausíveis como uma distribuição de configurações, modelando explicitamente a relação um-para-muitos entre linguagem e parâmetros acústicos.
2. Metodologia de Avaliação: Uma estrutura de avaliação rigorosa usando métricas distribucionais (distância Kantorovich) para avaliar quão bem os modelos capturam a variância e a dispersão de respostas humanas subjetivas, indo além de métricas de erro de ponto único.
3. Conjunto de Dados Curado: Um conjunto de dados de 120 pares prompt-áudio com 11 anotações humanas distintas cada, reunido de um experimento de escuta controlado, especificamente projetado para capturar a variabilidade do ouvinte.

Resultados
A avaliação demonstra que as abordagens baseadas em LLM superam significativamente a amostragem aleatória e as linhas de base de predefinições estáticas em termos de alinhamento distribucional.

• Desempenho do Modelo: Tanto os métodos ICL quanto PEFT traduziram com sucesso prompts em linguagem natural para configurações de equalização plausíveis. Embora os métodos PEFT (especificamente LoRA com previsão do próximo token) tenham alcançado as menores distâncias medianas, as melhorias sobre os métodos ICL otimizados (como RAG-QA) não foram estatisticamente significativas, dado o tamanho limitado do conjunto de dados.
• Validação da Métrica: A Distância Kantorovich Reflexiva provou ser eficaz em distinguir entre modelos que capturam a diversidade de preferências do usuário e aqueles que colapsam para uma média "segura" ou alucinam configurações fora da zona de plausibilidade.
• Significância Estatística: Todos os métodos propostos mostraram melhorias estatisticamente significativas sobre o palpite aleatório, validando a viabilidade de usar LLMs para modelar o cenário subjetivo do controle de áudio.

Significado e Alegações
O artigo afirma estabelecer a viabilidade de usar LLMs como "equalizadores artificiais" que funcionam modelando a distribuição de configurações prováveis, em vez de buscar uma única solução determinística. Ao reconhecer que prompts em linguagem natural são polissêmicos e subjetivos, a estrutura proposta oferece um caminho para um ajuste de áudio mais acessível, consciente do contexto e de nível especializado.

Os autores mantêm uma postura modesta em relação às suas descobertas:

• Eles observam que o tamanho do conjunto de dados (120 prompts) limita o poder estatístico e que 11 respostas podem não capturar totalmente as normas globais da população.
• Eles esclarecem que o estudo utilizou condicionamento apenas de texto para isolar a lacuna semântica, excluindo deliberadamente a análise de sinal de áudio para evitar complexidade e latência, embora reconheçam que o condicionamento de áudio é necessário para um sistema totalmente consciente do contexto.
• Crucialmente, eles afirmam que, embora os modelos mimetizem com sucesso as distribuições de escolha humana (minimizando a distância Kantorovich), o trabalho ainda não passou por validação perceptual com novos ouvintes humanos para confirmar a satisfação real do usuário. A contribuição primária é a fundação computacional para tratar a linguagem natural como uma janela para uma distribuição de preferências.