Résumé technique : Communication sonore par le langage naturel (Codage acoustique lexical)

1. Énoncé du problème

Le langage naturel est actuellement périphérique aux systèmes audio, servant principalement de métadonnées, d'invites ou de légendes, tandis que l'audio lui-même est transporté via des formes d'onde, des latents continus ou des jetons de codec appris. Cet article examine un point de conception distinct : le langage naturel peut-il servir de représentation de transport pour le son lui-même ?

Le défi central consiste à déterminer si un vocabulaire suffisamment structuré peut véhiculer suffisamment d'informations acoustiques mesurables pour soutenir une communication aller-retour utilisable entre des agents de modèles de langage. Contrairement aux codecs conventionnels qui privilégient l'inversibilité au niveau des bits, ou aux légendes qui privilégient la lisibilité humaine mais manquent de fidélité de reconstruction, ce travail recherche une représentation à la fois lisible par l'homme, interprétable acoustiquement et capable de permettre une reconstruction de forme d'onde avec perte.

2. Méthodologie : Codage acoustique lexical (LAC)

Le LAC est un cadre où des agents émetteur et récepteur de modèle de langage (LLM) préentraînés transmettent le son par le langage naturel. Le système fonctionne sous des invites système fixes où les agents écrivent leur propre code d'analyse et de synthèse, communiquant uniquement par une phrase lexicale, un vocabulaire partagé et une structure musicale symbolique optionnelle.

2.1 Le pipeline

Le processus suit un protocole de communication avec un vocabulaire partagé :

1. Configuration du vocabulaire partagé : Un vocabulaire $V$ est établi, contenant un ensemble de caractéristiques $\mathcal{F}$ (par exemple, le centroïde spectral, le temps de décroissance) et les alphabets lexicaux correspondants $\mathcal{A}_i$ pour chaque caractéristique. Ce vocabulaire peut être rédigé par un humain ou généré par un agent.
2. Encodage (Émetteur) :
   • Extraction de caractéristiques : Une forme d'onde d'entrée est analysée en un vecteur de $d$ dimensions de caractéristiques acoustiques à l'aide d'outils standards (par exemple, librosa). Le système utilise 47 caractéristiques couvrant les domaines temporel, spectral, harmonique et psychoacoustique.
   • Quantification lexicale : Chaque valeur de caractéristique est mappée à une étiquette lexicale discrète via un tableau d'intervalles spécifique à la caractéristique (par exemple, une valeur RMS dans $[0,10 ; 0,30)$ est mappée à « puissance moyenne »). Cela crée un code lexical $\ell = (\ell_1, \dots, \ell_d)$.
   • Vérbalisation : Le code est converti en une phrase structurée en anglais. Le vérbalisateur s'assure que la phrase est lisible tout en restant un vecteur injectif ; il ne peut pas supprimer, fusionner ou renommer de manière ambiguë les termes.
3. Transmission : Seule la phrase en anglais est transmise. Aucune charge utile audio binaire, latent appris ou canal latéral non ASCII n'est utilisé.
4. Décodage (Récepteur) :
   • Analyse syntaxique : Le récepteur analyse la phrase pour la reconvertir en code lexical à $d$ étiquettes.
   • Inversion des étiquettes : Chaque étiquette est inversée en une valeur numérique représentative (généralement le milieu de l'intervalle) et une contrainte d'intervalle.
   • Synthèse : Un synthétiseur hybride déterministe (combinant des composantes harmoniques, modales et basées sur le bruit) génère une forme d'onde basée sur ces cibles.
   • Raffinement en boucle fermée : Le système réanalyse la forme d'onde synthétisée, la note par rapport aux contraintes d'intervalle transmises, et ajuste itérativement les contrôles du rendu (par exemple, mise à l'échelle de l'enveloppe, densité modale) pour minimiser l'écart.

2.2 Cadre théorique

Le LAC est présenté comme un quantificateur avec perte à débit fini. La capacité d'information est limitée par la taille du vocabulaire ($B_{max} = \log_2 |\mathcal{L}|$). Le système échange l'inversibilité au niveau des bits contre des propriétés telles que la lisibilité humaine et le transport natif au texte, opérant plus près d'un système de communication sémantique que d'un codec conventionnel.

3. Contributions principales

L'article apporte trois contributions principales :

1. Formalisation du LAC : Un cadre qui quantifie les descripteurs acoustiques en un code lexical court, le verbalise pour une transmission en texte brut entre agents LLM, et fournit des résultats de quantificateur à débit fini et avec perte pour le canal.
2. Cadre agentique : Une configuration expérimentale où les agents émetteur et récepteur écrivent leur propre code d'analyse et de synthèse sous des invites fixes, communiquant uniquement par la phrase lexicale et le vocabulaire partagé, sans être spécifiquement entraînés pour la tâche.
3. Reconstruction hybride : L'introduction d'un raffinement en boucle fermée conscient des intervalles, démontrant que le LAC prend en charge à la fois des sons courts et isolés et le transfert de musique symbolique (où la structure est préservée externement via la notation ABC et le timbre est véhiculé par le LAC).

4. Résultats expérimentaux

Des expériences ont été menées avec des agents GPT-5.3-Codex sur un ensemble de données de 3 707 échantillons audio courts (de 0,0002 s à 2 s) dérivés de modules de musique de tracker.

• Ablation des familles de caractéristiques : La précision pré-synthèse (inversion des étiquettes en valeurs) a atteint 100 % avec les 47 caractéristiques. La précision post-synthèse (reconstruction de la forme d'onde et ré-extraction des caractéristiques) a atteint environ 74 % avec toutes les caractéristiques incluses. Les informations de bandes de Bark ont fourni le gain le plus important, tandis que les familles temporelles et psychoacoustiques ont apporté une amélioration marginale.
• Raffinement en boucle fermée : Le raffinement a considérablement amélioré la reconstruction. La précision est passée d'environ 72 % (sans raffinement) à environ 84 % avec 64 évaluations. Le débit a diminué inversement au nombre d'évaluations.
• Performance qualitative : Les reconstructions ne correspondaient pas aux formes d'onde originales échantillon par échantillon. Cependant, elles ont préservé les enveloppes macroscopiques, la périodicité dominante et l'équilibre entre tonalité et bruit, résultant en une similarité perceptive.
• Transfert musical : Le système a transféré avec succès le timbre tout en préservant la structure symbolique (notes, timing) transmise séparément en notation ABC.

5. Importance et portée

L'article positionne le LAC comme un point distinct dans l'espace de conception des représentations audio :

• Pas un remplacement de codec : Le LAC n'est pas conçu pour remplacer les codecs neuronaux (comme EnCodec ou SoundStream) sur la base du taux-distorsion brut. Il ne prend pas en charge la récupération exacte des échantillons, le codage de la parole ou la compression complète de la musique.
• Transport interprétable : Il offre une représentation acoustique en texte brut, lisible par l'homme et inspectable. Les humains peuvent lire et auditer la représentation ; les modèles de langage peuvent la manipuler ; et les décodeurs peuvent la restituer en son.
• Communication sémantique : Il comble le fossé entre les légendes (lisibles mais faibles pour la reconstruction) et les codecs (inversibles mais opaques). La phrase transmise sert à la fois de légende riche et de représentation de transport elle-même.

Limitations :

• Le système cible des sons courts, isolés et non parlés (impacts, décharges, pincements). Il éprouve des difficultés avec les sons soutenus et variables dans le temps, et ne capture pas le contenu phonétique, l'identité du locuteur ou la structure musicale à longue portée (mélodie, harmonie) sans représentation symbolique externe.
• Le décodage est intrinsèquement approximatif ; il reconstruit des sons cohérents avec une description lexicale plutôt que de récupérer exactement la forme d'onde originale.
• Le transfert de musique symbolique repose actuellement sur la notation ABC ; décrire des structures musicales complexes dans un discours non contraint reste un problème de satisfaction de contraintes.

En conclusion, le LAC démontre que le texte brut peut préserver une structure acoustique mesurable tout en restant interprétable et éditable, offrant un nouveau paradigme pour la communication sonore médiatisée par des agents.