Resumen Técnico: Comunicar Sonido a Través del Lenguaje Natural (Codificación Acústica Léxica)

1. Declaración del Problema

El lenguaje natural es actualmente periférico en los sistemas de audio, sirviendo principalmente como metadatos, indicaciones o subtítulos, mientras que el audio en sí mismo se transporta mediante formas de onda, latentes continuos o tokens de códec aprendidos. Este artículo investiga un punto de diseño distinto: ¿puede el lenguaje natural servir como representación de transporte para el sonido mismo?

El desafío central es determinar si un vocabulario suficientemente estructurado puede transportar suficiente información acústica medible para apoyar una comunicación de ida y vuelta utilizable entre agentes de modelos de lenguaje. A diferencia de los códecs convencionales que priorizan la invertibilidad a nivel de bits, o de los subtítulos que priorizan la legibilidad humana pero carecen de fidelidad de reconstrucción, este trabajo busca una representación que sea simultáneamente legible por humanos, interpretable acústicamente y capaz de permitir la reconstrucción de formas de onda con pérdida.

2. Metodología: Codificación Acústica Léxica (LAC)

LAC es un marco donde agentes emisores y receptores de Modelos de Lenguaje Grande (LLM) preentrenados transmiten sonido a través del lenguaje natural. El sistema opera bajo indicaciones de sistema fijas donde los agentes escriben su propio código de análisis y síntesis, comunicándose exclusivamente a través de una oración léxica, un vocabulario compartido y una estructura simbólica de música opcional.

2.1 El Pipeline

El proceso sigue un protocolo de comunicación con un vocabulario compartido:

1. Configuración del Vocabulario Compartido: Se establece un vocabulario $V$, que contiene un conjunto de características $\mathcal{F}$ (por ejemplo, centroide espectral, tiempo de decaimiento) y alfabetos léxicos $\mathcal{A}_i$ correspondientes para cada característica. Este vocabulario puede ser redactado por humanos o generado por un agente.
2. Codificación (Emisor):
   • Extracción de Características: Una forma de onda de entrada se analiza en un vector de $d$ dimensiones de características acústicas utilizando herramientas estándar (por ejemplo, librosa). El sistema utiliza 47 características que abarcan los dominios temporal, espectral, armónico y psicoacústico.
   • Cuantización Léxica: Cada valor de característica se mapea a una etiqueta léxica discreta mediante una tabla de intervalos específica de la característica (por ejemplo, un valor RMS en $[0.10, 0.30)$ se mapea a "potencia media"). Esto crea un código léxico $\ell = (\ell_1, \dots, \ell_d)$.
   • Verbalización: El código se convierte en una oración estructurada en inglés. El verbalizador asegura que la oración sea legible pero permanezca como un portador inyectivo; no puede eliminar, fusionar o renombrar términos de manera ambigua.
3. Transmisión: Solo se transmite la oración en inglés. No se utiliza ninguna carga útil de audio binaria, latente aprendido o canal lateral no ASCII.
4. Decodificación (Receptor):
   • Análisis Sintáctico: El receptor analiza la oración de nuevo en el código léxico de $d$ etiquetas.
   • Inversión de Etiquetas: Cada etiqueta se invierte a un valor numérico representativo (típicamente el punto medio del intervalo) y una restricción de intervalo.
   • Síntesis: Un sintetizador híbrido determinista (que combina componentes basados en armónicos, modales y ruido) genera una forma de onda basada en estos objetivos.
   • Refinamiento de Bucle Cerrado: El sistema reanaliza la forma de onda sintetizada, la puntúa contra las restricciones de intervalo transmitidas y ajusta iterativamente los controles del renderizador (por ejemplo, escalado de envolvente, densidad modal) para minimizar la discrepancia.

2.2 Marco Teórico

LAC se enmarca como un cuantificador con pérdida de tasa finita. La capacidad de información está limitada por el tamaño del vocabulario ($B_{max} = \log_2 |\mathcal{L}|$). El sistema intercambia la invertibilidad a nivel de bits por propiedades como la legibilidad humana y el transporte nativo de texto, operando más cerca de un sistema de comunicación semántica que de un códec convencional.

3. Contribuciones Clave

El artículo presenta tres contribuciones principales:

1. Formalización de LAC: Un marco que cuantifica descriptores acústicos en un código léxico breve, lo verbaliza para su transmisión en texto plano entre agentes LLM y proporciona resultados de cuantificador con pérdida y tasa finita para el canal.
2. Entorno Agéntico: Una configuración experimental donde los agentes emisores y receptores escriben su propio código de análisis y síntesis bajo indicaciones fijas, comunicándose únicamente a través de la oración léxica y el vocabulario compartido, sin ser entrenados específicamente para la tarea.
3. Reconstrucción Híbrida: La introducción de un refinamiento de bucle cerrado consciente de los intervalos, demostrando que LAC soporta tanto sonidos cortos aislados como transferencia de música simbólica (donde la estructura se preserva externamente mediante notación ABC y el timbre se transporta mediante LAC).

4. Resultados Experimentales

Los experimentos se realizaron utilizando agentes GPT-5.3-Codex en un conjunto de datos de 3.707 muestras de audio cortas (de 0.0002 s a 2 s) derivadas de módulos de música de rastreadores.

• Ablación de Familias de Características: La precisión pre-síntesis (inversión de etiquetas a valores) alcanzó el 100% con las 47 características. La precisión post-síntesis (reconstrucción de la forma de onda y reextracción de características) alcanzó aproximadamente el 74% con todas las características incluidas. La información de bandas de Bark proporcionó la mayor ganancia, mientras que las familias temporal y psicoacústica añadieron una mejora marginal.
• Refinamiento de Bucle Cerrado: El refinamiento mejoró significativamente la reconstrucción. La precisión aumentó de ~72% (sin refinamiento) a ~84% con 64 evaluaciones. El rendimiento disminuyó inversamente con el número de evaluaciones.
• Rendimiento Cualitativo: Las reconstrucciones no coincidieron con las formas de onda originales muestra por muestra. Sin embargo, preservaron las envolventes macroscópicas, la periodicidad dominante y el equilibrio entre tonal y ruidoso, resultando en una similitud perceptual.
• Transferencia de Música: El sistema transfirió con éxito el timbre mientras preservaba la estructura simbólica (notas, tiempo) transmitida por separado en notación ABC.

5. Significado y Alcance

El artículo posiciona a LAC como un punto distinto en el espacio de diseño de las representaciones de audio:

• No es un Reemplazo de Códec: LAC no está diseñado para reemplazar códecs neuronales (como EnCodec o SoundStream) en términos de tasa-distorsión cruda. No soporta la recuperación exacta de muestras, la codificación de voz ni la compresión completa de música.
• Transporte Interpretable: Ofrece una representación acústica en texto plano, legible por humanos e inspeccionable. Los humanos pueden leer y auditar la representación; los modelos de lenguaje pueden manipularla; y los decodificadores pueden renderizarla en sonido.
• Comunicación Semántica: Cierra la brecha entre los subtítulos (legibles pero débiles para la reconstrucción) y los códecs (invertibles pero opacos). La oración transmitida sirve tanto como un subtítulo rico como la propia representación de transporte.

Limitaciones:

• El sistema se dirige a sonidos cortos, aislados y no hablados (golpes, explosiones, pizzicatos). Tiene dificultades con sonidos sostenidos y variables en el tiempo, y no captura contenido fonético, identidad del hablante o estructura musical de largo alcance (melodía, armonía) sin una representación simbólica externa.
• La decodificación es inherentemente aproximada; reconstruye sonidos consistentes con una descripción léxica en lugar de recuperar la forma de onda original exactamente.
• La transferencia de música simbólica depende actualmente de la notación ABC; describir estructuras musicales complejas en prosa no restringida sigue siendo un problema de satisfacción de restricciones.

En conclusión, LAC demuestra que el texto plano puede preservar la estructura acústica medible mientras permanece interpretable y editable, ofreciendo un nuevo paradigma para la comunicación de sonido mediada por agentes.