One Prompt, Many Sounds: Modeling Listener Variability in LLM-Based Equalization

Resumen Técnico: Un Prompt, Muchos Sonidos: Modelado de la Variabilidad del Oyente en la Ecualización Basada en LLM

Enunciado del Problema
La ecualización de audio convencional es un proceso estático y manual que a menudo falla al adaptarse a contextos de escucha cambiantes (por ejemplo, estado de ánimo, ubicación) o a las preferencias individuales de los usuarios. Un desafío significativo radica en la "brecha semántica" entre los descriptores del lenguaje natural (por ejemplo, "cálido", "claro") y los parámetros técnicos de la respuesta de frecuencia. Los enfoques existentes suelen tratar este mapeo como un problema de regresión determinista, prediciendo un único punto de estimación "correcto" para un prompt dado. Sin embargo, el artículo argumenta que la percepción del audio es inherentemente subjetiva; un solo prompt corresponde a una distribución de preferencias válidas entre diferentes oyentes, no a una verdad universal. Los sistemas actuales a menudo colapsan esta diversidad en un valor medio o dependen de presets definidos por expertos, fallando en capturar la sutileza de la intención humana y la variabilidad de la interpretación del usuario.

Metodología
Los autores proponen un marco que trata el mapeo de lenguaje natural a ecualización como un problema de modelado distribucional en lugar de una tarea de estimación puntual.

• Recopilación de Datos: Se realizó un experimento de escucha controlado con 11 participantes. El conjunto de datos consta de 120 pares únicos prompt-audio derivados de una encuesta sobre experiencias de audio. Los participantes ajustaron un controlador de ecualización 2D simplificado "Beosonic" (que mapea a una "curva de sonrisa" y una inclinación espectral lineal) para coincidir con prompts de lenguaje natural. Este proceso generó 1.320 anotaciones (11 respuestas por prompt), creando una distribución empírica de las preferencias de los usuarios para cada entrada.
• Enfoques de Modelado: El estudio utiliza el LLM Phi-3.5-mini-instruct y explora dos estrategias principales:
  1. Aprendizaje en Contexto (ICL): Sin actualizar los pesos del modelo, los autores probaron enfoques de cero disparos (Text2Beosonic), pocos disparos (ICL Estático) y Generación Aumentada por Recuperación (RAG). Se introdujo una variante novedosa, RAG-QA, para generar una lista de 11 predicciones (imitando al grupo de participantes) en lugar de una única salida, introduciendo así estocasticidad para reflejar la subjetividad humana.
  2. Ajuste Fino Eficiente en Parámetros (PEFT): Los autores aplicaron Prefix-Tuning y Adaptación de Bajo Rango (LoRA). Se exploraron dos estrategias de salida: (a) una cabeza de regresión que predice un array fijo de 11 pares de coordenadas simultáneamente, y (b) una tarea de predicción del siguiente token que genera la representación textual del array completo de coordenadas. Se utilizó aumento de datos mediante reemplazo de sinónimos y difuminado de etiquetas para expandir el conjunto de entrenamiento.
• Métricas de Evaluación: Para abordar las limitaciones del Error Cuadrático Medio (MSE) en la captura de la varianza distribucional, el artículo emplea la distancia Kantorovich-1 (Distancia del Movimiento de la Tierra). Esta métrica compara la distribución predicha de configuraciones contra la distribución de verdad fundamental de las respuestas humanas. Para manejar la naturaleza acotada del controlador de ecualización (evitando el sesgo de frontera en la estimación de densidad), los autores utilizan Estimación de Densidad de Kernel Reflectiva (KDE) para calcular una Distancia Kantorovich Reflectiva.

Contribuciones Clave

1. Marco de Recomendador Basado en LLM: Un sistema novedoso que interpreta descripciones de audio para generar ajustes de ecualización plausibles como una distribución de configuraciones, modelando explícitamente la relación uno-a-muchos entre el lenguaje y los parámetros acústicos.
2. Metodología de Evaluación: Un marco de evaluación riguroso que utiliza métricas distribucionales (distancia Kantorovich) para evaluar qué tan bien los modelos capturan la varianza y la dispersión de las respuestas subjetivas humanas, yendo más allá de las métricas de error de un solo punto.
3. Conjunto de Datos Curado: Un conjunto de datos de 120 pares prompt-audio con 11 anotaciones humanas distintas cada uno, recopilado de un experimento de escucha controlado, diseñado específicamente para capturar la variabilidad del oyente.

Resultados
La evaluación demuestra que los enfoques basados en LLM superan significativamente al muestreo aleatorio y a las líneas base de presets estáticos en términos de alineación distribucional.

• Rendimiento del Modelo: Tanto los métodos ICL como PEFT tradujeron con éxito prompts de lenguaje natural en configuraciones de ecualización plausibles. Si bien los métodos PEFT (específicamente LoRA con predicción de siguiente token) lograron las distancias medianas más bajas, las mejoras sobre los métodos ICL optimizados (como RAG-QA) no fueron estadísticamente significativas dado el tamaño limitado del conjunto de datos.
• Validación de Métricas: La Distancia Kantorovich Reflectiva demostró ser efectiva para distinguir entre modelos que capturan la diversidad de preferencias de los usuarios y aquellos que colapsan en un promedio "seguro" o alucinan configuraciones fuera de la zona de plausibilidad.
• Significancia Estadística: Todos los métodos propuestos mostraron mejoras estadísticamente significativas sobre la adivinanza aleatoria, validando la viabilidad de usar LLMs para modelar el paisaje subjetivo del control de audio.

Significancia y Afirmaciones
El artículo afirma establecer la viabilidad de usar LLMs como "ecualizadores artificiales" que funcionan modelando la distribución de configuraciones probables en lugar de buscar una única solución determinista. Al reconocer que los prompts de lenguaje natural son polisémicos y subjetivos, el marco propuesto ofrece un camino hacia un ajuste de audio más accesible, consciente del contexto y de nivel experto.

Los autores mantienen una postura modesta respecto a sus hallazgos:

• Señalan que el tamaño del conjunto de datos (120 prompts) limita el poder estadístico y que 11 respuestas pueden no capturar completamente las normas globales de la población.
• Aclaran que el estudio utilizó condicionamiento solo de texto para aislar la brecha semántica, excluyendo deliberadamente el análisis de la señal de audio para evitar complejidad y latencia, aunque reconocen que el condicionamiento de audio es necesario para un sistema completamente consciente del contexto.
• Crucialmente, afirman que, si bien los modelos imitan con éxito las distribuciones de elección humana (minimizando la distancia Kantorovich), el trabajo aún no ha pasado por una validación perceptual con nuevos oyentes humanos para confirmar la satisfacción real del usuario. La contribución principal es la base computacional para tratar el lenguaje natural como una ventana a una distribución de preferencias.