Resumo Técnico: Comunicar Som Através de Linguagem Natural (Codificação Acústica Lexical)

1. Declaração do Problema

A linguagem natural é atualmente periférica aos sistemas de áudio, servindo principalmente como metadados, prompts ou legendas, enquanto o próprio áudio é transportado via formas de onda, latentes contínuos ou tokens de codec aprendidos. Este artigo investiga um ponto de design distinto: a linguagem natural pode servir como representação de transporte para o próprio som?

O desafio central é determinar se um vocabulário suficientemente estruturado pode carregar informações acústicas mensuráveis suficientes para suportar uma comunicação de ida e volta utilizável entre agentes de modelos de linguagem. Diferente de codecs convencionais que priorizam a invertibilidade ao nível de bits, ou legendas que priorizam a legibilidade humana mas carecem de fidelidade de reconstrução, este trabalho busca uma representação que seja simultaneamente legível por humanos, acusticamente interpretável e capaz de permitir a reconstrução de formas de onda com perdas.

2. Metodologia: Codificação Acústica Lexical (LAC)

A LAC é um framework onde agentes emissores e receptores de Modelos de Linguagem de Grande Escala (LLM) pré-treinados transmitem som através de linguagem natural. O sistema opera sob prompts de sistema fixos onde os agentes escrevem seu próprio código de análise e síntese, comunicando-se exclusivamente através de uma frase lexical, um vocabulário compartilhado e uma estrutura simbólica de música opcional.

2.1 O Pipeline

O processo segue um protocolo de comunicação com um vocabulário compartilhado:

1. Configuração do Vocabulário Compartilhado: Um vocabulário $V$ é estabelecido, contendo um conjunto de características $\mathcal{F}$ (por exemplo, centróide espectral, tempo de decaimento) e alfabetos lexicais $\mathcal{A}_i$ correspondentes para cada característica. Este vocabulário pode ser elaborado por humanos ou gerado por um agente.
2. Codificação (Emissor):
   • Extração de Características: Uma forma de onda de entrada é analisada em um vetor de $d$ dimensões de características acústicas usando ferramentas prontas (por exemplo, librosa). O sistema utiliza 47 características cobrindo domínios temporais, espectrais, harmônicos e psicoacústicos.
   • Quantização Lexical: Cada valor de característica é mapeado para um rótulo lexical discreto através de uma tabela de intervalos específica da característica (por exemplo, um valor RMS em $[0.10, 0.30)$ mapeia para "potência-média"). Isso cria um código lexical $\ell = (\ell_1, \dots, \ell_d)$.
   • Verbalização: O código é convertido em uma frase estruturada em inglês. O verbalizador garante que a frase seja legível, mas permanece um transportador injetivo; ele não pode deletar, fundir ou renomear termos de forma ambígua.
3. Transmissão: Apenas a frase em inglês é transmitida. Nenhuma carga útil de áudio binária, latente aprendido ou canal lateral não-ASCII é utilizada.
4. Decodificação (Receptor):
   • Análise Sintática: O receptor analisa a frase de volta para o código lexical de $d$ rótulos.
   • Inversão de Rótulos: Cada rótulo é invertido para um valor numérico representativo (tipicamente o ponto médio do intervalo) e uma restrição de intervalo.
   • Síntese: Um sintetizador híbrido determinístico (combinando componentes baseados em harmônicos, modais e ruído) gera uma forma de onda baseada nesses alvos.
   • Refinamento em Malha Fechada: O sistema re-analisa a forma de onda sintetizada, pontua-a contra as restrições de intervalo transmitidas e ajusta iterativamente os controles do renderizador (por exemplo, escalonamento de envelope, densidade modal) para minimizar a discrepância.

2.2 Enquadramento Teórico

A LAC é enquadrada como um quantizador com perdas de taxa finita. A capacidade de informação é limitada pelo tamanho do vocabulário ($B_{max} = \log_2 |\mathcal{L}|$). O sistema troca a invertibilidade ao nível de bits por propriedades como legibilidade humana e transporte nativo de texto, operando mais próximo de um sistema de comunicação semântica do que de um codec convencional.

3. Contribuições Principais

O artigo faz três contribuições primárias:

1. Formalização da LAC: Um framework que quantiza descritores acústicos em um código lexical curto, verbaliza-o para transmissão em texto simples entre agentes LLM e fornece resultados de taxa finita e quantizador com perdas para o canal.
2. Configuração Agêntica: Uma configuração experimental onde agentes emissores e receptores escrevem seu próprio código de análise e síntese sob prompts fixos, comunicando-se apenas através da frase lexical e vocabulário compartilhado, sem serem treinados especificamente para a tarefa.
3. Reconstrução Híbrida: A introdução de refinamento em malha fechada consciente de intervalos, demonstrando que a LAC suporta tanto sons curtos isolados quanto transferência de música simbólica (onde a estrutura é preservada externamente via notação ABC e o timbre é carregado pela LAC).

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando agentes GPT-5.3-Codex em um conjunto de dados de 3.707 amostras de áudio curtas (0,0002s a 2s) derivadas de módulos de música de tracker.

• Ablação de Família de Características: A precisão pré-síntese (inversão de rótulos para valores) atingiu 100% com todas as 47 características. A precisão pós-síntese (reconstrução da forma de onda e re-extração de características) atingiu aproximadamente 74% com todas as características incluídas. Informações de banda de Bark forneceram o maior ganho, enquanto famílias temporais e psicoacústicas adicionaram melhoria marginal.
• Refinamento em Malha Fechada: O refinamento melhorou significativamente a reconstrução. A precisão subiu de ~72% (sem refinamento) para ~84% com 64 avaliações. A taxa de transferência diminuiu inversamente com o número de avaliações.
• Desempenho Qualitativo: As reconstruções não corresponderam às formas de onda originais amostra por amostra. No entanto, elas preservaram envelopes macroscópicos, periodicidade dominante e o equilíbrio entre tonal e ruidoso, resultando em similaridade perceptiva.
• Transferência de Música: O sistema transferiu com sucesso o timbre enquanto preservava a estrutura simbólica (notas, tempo) transmitida separadamente em notação ABC.

5. Significado e Escopo

O artigo posiciona a LAC como um ponto distinto no espaço de design de representações de áudio:

• Não é uma Substituição de Codec: A LAC não foi projetada para substituir codecs neurais (como EnCodec ou SoundStream) em termos de taxa-distorção brutos. Ela não suporta recuperação exata de amostras, codificação de fala ou compressão completa de música.
• Transporte Interpretável: Oferece uma representação acústica em texto simples, legível por humanos e inspecionável. Humanos podem ler e auditar a representação; modelos de linguagem podem manipulá-la; e decodificadores podem renderizá-la em som.
• Comunicação Semântica: Ela preenche a lacuna entre legendas (legíveis mas fracas para reconstrução) e codecs (invertíveis mas opacos). A frase transmitida serve tanto como uma legenda rica quanto como a própria representação de transporte.

Limitações:

• O sistema visa sons curtos, isolados e não-falados (batidas, explosões, dedilhados). Ele luta com sons sustentados e variáveis no tempo e não captura conteúdo fonético, identidade do falante ou estrutura musical de longo alcance (melodia, harmonia) sem representação simbólica externa.
• A decodificação é inerentemente aproximada; ela reconstrói sons consistentes com uma descrição lexical em vez de recuperar a forma de onda original exatamente.
• A transferência de música simbólica depende atualmente de notação ABC; descrever estruturas musicais complexas em prosa não restrita permanece um problema de satisfação de restrições.

Em conclusão, a LAC demonstra que texto simples pode preservar estrutura acústica mensurável enquanto permanece interpretável e editável, oferecendo um novo paradigma para comunicação de som mediada por agentes.