Riepilogo Tecnico: Comunicare il Suono attraverso il Linguaggio Naturale (Codifica Acustica Lessicale)

1. Enunciazione del Problema

Attualmente, il linguaggio naturale è periferico rispetto ai sistemi audio, fungendo principalmente da metadati, prompt o didascalie, mentre l'audio stesso viene trasportato tramite forme d'onda, latenti continui o token di codec appresi. Questo articolo indaga un punto di progettazione distinto: il linguaggio naturale può fungere da rappresentazione di trasporto per lo stesso suono?

La sfida fondamentale è determinare se un vocabolario sufficientemente strutturato possa trasportare informazioni acustiche misurabili adeguate a supportare una comunicazione di andata e ritorno utilizzabile tra agenti basati su modelli linguistici. A differenza dei codec convenzionali che danno priorità all'invertibilità a livello di bit, o delle didascalie che privilegiano la leggibilità umana ma mancano di fedeltà di ricostruzione, questo lavoro cerca una rappresentazione che sia simultaneamente leggibile dall'uomo, interpretabile acusticamente e capace di abilitare una ricostruzione di forma d'onda con perdita.

2. Metodologia: Codifica Acustica Lessicale (LAC)

La LAC è un framework in cui agenti mittente e ricevente basati su Modelli Linguistici di Grandi Dimensioni (LLM) pre-addestrati trasmettono suoni attraverso il linguaggio naturale. Il sistema opera sotto prompt di sistema fissi in cui gli agenti scrivono il proprio codice di analisi e sintesi, comunicando esclusivamente tramite una frase lessicale, un vocabolario condiviso e una struttura musicale simbolica opzionale.

2.1 La Pipeline

Il processo segue un protocollo di comunicazione con un vocabolario condiviso:

1. Configurazione del Vocabolario Condiviso: Viene stabilito un vocabolario $V$, contenente un insieme di caratteristiche $\mathcal{F}$ (ad esempio, centroide spettrale, tempo di decadimento) e i corrispondenti alfabeti lessicali $\mathcal{A}_i$ per ciascuna caratteristica. Questo vocabolario può essere redatto da umani o generato da un agente.
2. Codifica (Mittente):
   • Estrazione delle Caratteristiche: Una forma d'onda in ingresso viene analizzata in un vettore $d$-dimensionale di caratteristiche acustiche utilizzando strumenti pronti all'uso (ad esempio, librosa). Il sistema utilizza 47 caratteristiche che coprono i domini temporale, spettrale, armonico e psicoacustico.
   • Quantizzazione Lessicale: Ogni valore di caratteristica viene mappato a un'etichetta lessicale discreta tramite una tabella di intervalli specifica per la caratteristica (ad esempio, un valore RMS in $[0.10, 0.30)$ viene mappato a "potenza media"). Ciò genera un codice lessicale $\ell = (\ell_1, \dots, \ell_d)$.
   • Verbalizzazione: Il codice viene convertito in una frase strutturata in inglese. Il verbalizzatore garantisce che la frase sia leggibile ma rimanga un vettore iniettivo; non può eliminare, unire o rinominare in modo ambiguo i termini.
3. Trasmissione: Viene trasmessa solo la frase in inglese. Non viene utilizzato alcun payload audio binario, latente appreso o canale laterale non ASCII.
4. Decodifica (Ricevente):
   • Analisi Sintattica: Il ricevente analizza la frase per riconvertirla nel codice lessicale a $d$ etichette.
   • Inversione dell'Etichetta: Ogni etichetta viene invertita in un valore numerico rappresentativo (tipicamente il punto medio dell'intervallo) e in un vincolo di intervallo.
   • Sintesi: Un sintetizzatore ibrido deterministico (che combina componenti armoniche, modali e basate sul rumore) genera una forma d'onda basata su questi target.
   • Raffinamento in Ciclo Chiuso: Il sistema ri-analizza la forma d'onda sintetizzata, la valuta rispetto ai vincoli di intervallo trasmessi e aggiorna iterativamente i controlli del renderer (ad esempio, scalatura dell'inviluppo, densità modale) per minimizzare la discrepanza.

2.2 Inquadramento Teorico

La LAC è inquadrata come un quantizzatore con perdita a tasso finito. La capacità informativa è limitata dalla dimensione del vocabolario ($B_{max} = \log_2 |\mathcal{L}|$). Il sistema scambia l'invertibilità a livello di bit per proprietà come la leggibilità umana e il trasporto nativo del testo, operando più vicino a un sistema di comunicazione semantica che a un codec convenzionale.

3. Contributi Chiave

L'articolo apporta tre contributi principali:

1. Formalizzazione della LAC: Un framework che quantizza i descrittori acustici in un breve codice lessicale, lo verbalizza per la trasmissione in testo semplice tra agenti LLM e fornisce risultati relativi a tasso finito e quantizzatore con perdita per il canale.
2. Ambiente Agentic: Una configurazione sperimentale in cui gli agenti mittente e ricevente scrivono il proprio codice di analisi e sintesi sotto prompt fissi, comunicando esclusivamente attraverso la frase lessicale e il vocabolario condiviso, senza essere addestrati specificamente per il compito.
3. Ricostruzione Ibrida: L'introduzione di un raffinamento in ciclo chiuso consapevole degli intervalli, che dimostra come la LAC supporti sia suoni brevi e isolati sia il trasferimento di musica simbolica (dove la struttura è preservata esternamente tramite notazione ABC e il timbro è trasportato dalla LAC).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando agenti GPT-5.3-Codex su un dataset di 3.707 brevi campioni audio (da 0,0002s a 2s) derivati da moduli musicali tracker.

• Ablazione delle Famiglie di Caratteristiche: La precisione pre-sintesi (inversione delle etichette in valori) ha raggiunto il 100% con tutte le 47 caratteristiche. La precisione post-sintesi (ricostruzione della forma d'onda ed estrazione delle caratteristiche) ha raggiunto circa il 74% con tutte le caratteristiche incluse. Le informazioni delle bande di Bark hanno fornito il guadagno maggiore, mentre le famiglie temporali e psicoacustiche hanno apportato un miglioramento marginale.
• Raffinamento in Ciclo Chiuso: Il raffinamento ha migliorato significativamente la ricostruzione. La precisione è passata da ~72% (senza raffinamento) a ~84% con 64 valutazioni. Il throughput è diminuito inversamente al numero di valutazioni.
• Prestazioni Qualitative: Le ricostruzioni non corrispondevano alle forme d'onda originali campione per campione. Tuttavia, hanno preservato gli inviluppi macroscopici, la periodicità dominante e l'equilibrio tra tonalità e rumore, risultando in una similarità percettiva.
• Trasferimento Musicale: Il sistema ha trasferito con successo il timbro preservando la struttura simbolica (note, tempistica) trasmessa separatamente in notazione ABC.

5. Significato e Ambito

L'articolo posiziona la LAC come un punto distinto nello spazio di progettazione delle rappresentazioni audio:

• Non una Sostituzione del Codec: La LAC non è progettata per sostituire i codec neurali (come EnCodec o SoundStream) su basi pure di tasso-distorsione. Non supporta il recupero esatto dei campioni, la codifica vocale o la compressione musicale completa.
• Trasporto Interpretabile: Offre una rappresentazione acustica in testo semplice, leggibile e ispezionabile dagli esseri umani. Gli esseri umani possono leggere e auditare la rappresentazione; i modelli linguistici possono manipolarla; e i decodificatori possono renderizzarla in suono.
• Comunicazione Semantica: Colma il divario tra didascalie (leggibili ma deboli per la ricostruzione) e codec (invertibili ma opachi). La frase trasmessa funge sia da didascalia ricca sia dalla stessa rappresentazione di trasporto.

Limitazioni:

• Il sistema è rivolto a suoni brevi, isolati e non vocali (colpi, esplosioni, pizzichi). Fatica con suoni sostenuti e variabili nel tempo e non cattura il contenuto fonetico, l'identità del parlante o la struttura musicale a lungo raggio (melodia, armonia) senza una rappresentazione simbolica esterna.
• La decodifica è intrinsecamente approssimativa; ricostruisce suoni coerenti con una descrizione lessicale piuttosto che recuperare esattamente la forma d'onda originale.
• Il trasferimento di musica simbolica dipende attualmente dalla notazione ABC; descrivere strutture musicali complesse in prosa non vincolata rimane un problema di soddisfacimento dei vincoli.

In conclusione, la LAC dimostra che il testo semplice può preservare una struttura acustica misurabile rimanendo interpretabile e modificabile, offrendo un nuovo paradigma per la comunicazione sonora mediata da agenti.