Investigating Modality Contribution in Audio LLMs for Music

Resumen Técnico: Investigación de la Contribución de la Modalidad en los LLM de Audio para Música

Planteamiento del Problema
Los Modelos de Lenguaje Grandes de Audio (Audio LLMs) están diseñados para facilitar conversaciones similares a las humanas sobre música mediante la integración de información auditiva en los procesos de razonamiento. Sin embargo, benchmarks recientes, como MuChoMusic, revelan una paradoja: aunque estos modelos logran una alta precisión en preguntas de opción múltiple, experimentos indirectos (por ejemplo, reemplazar el audio con silencio o ruido) sugieren que podrían no estar "escuchando" genuinamente. En su lugar, podrían depender predominantemente del razonamiento textual o del conocimiento previo, un fenómeno conocido como desequilibrio modal o colapso unimodal. Los métodos de evaluación actuales que dependen de métricas de precisión son insuficientes porque no logran distinguir entre modelos que utilizan correctamente el audio y aquellos que llegan a respuestas correctas únicamente mediante texto. Existe una necesidad crítica de un método agnóstico al rendimiento para cuantificar la contribución específica de cada modalidad (audio frente a texto) a la predicción de un modelo.

Metodología
Para abordar esto, los autores adaptan el marco MultiModal-SHAP (MM-SHAP), propuesto originalmente para modelos visión-lenguaje, al dominio de los Audio LLMs. La metodología central se basa en los valores de Shapley de la teoría de juegos cooperativos para medir la contribución marginal de las características de entrada a la salida de un modelo.

1. Perturbación de Características mediante Enmascaramiento: El estudio emplea una estrategia de enmascaramiento para aproximar los valores de Shapley.
   • Audio: Los segmentos de onda cruda se ponen a cero. El tamaño de la ventana de enmascaramiento se ajusta dinámicamente en función del número de tokens de texto para garantizar un recuento equilibrado de características entre modalidades ($n_A \approx n_T$).
   • Texto: Tokens específicos se reemplazan con el token [MASK]. Los tokens especiales (por ejemplo, indicadores de audio, marcadores de pregunta) se preservan para mantener la integridad estructural.
2. Cálculo de Puntuaciones: A diferencia de las tareas de clasificación donde se miden probabilidades, este estudio aborda tareas de generación. Los autores identifican los tokens correspondientes a la respuesta generada por el modelo (por ejemplo, "Timbre") en una ejecución de referencia sin enmascarar. Luego, calculan el cambio en los logits para estos tokens específicos cuando se enmascaran subconjuntos de características de audio y texto.
3. Métricas de Contribución Modal: El estudio agrega los valores absolutos de Shapley para todas las características de audio ($\Phi_A$) y de texto ($\Phi_T$). Para permitir una comparación directa, definen ratios normalizados:
   • A-SHAP: $\frac{\Phi_A}{\Phi_T + \Phi_A}$
   • T-SHAP: $1 - \text{A-SHAP}$
     Un modelo perfectamente equilibrado arrojaría un A-SHAP de 0.5.

Configuración Experimental
Los autores evaluaron dos Audio LLMs de última generación en el benchmark MuChoMusic:

• MU-LLaMA: Utiliza MERT-v1-330M como codificador de audio y LLaMA 2 7B como modelo de lenguaje.
• Qwen-Audio: Utiliza Whisper-large-v2 como codificador de audio y Qwen-7B como LLM.

Los experimentos se realizaron bajo dos condiciones: Opción Múltiple con Instrucciones Previas (MC-PI) y Opción Múltiple sin Instrucciones Previas (MC-NPI). El estudio también incluyó un análisis cualitativo de preguntas específicas que requerían la localización de eventos sonoros individuales frente a la comprensión de audio a largo plazo.

Resultados Clave

• Relación Inversa entre Precisión y Uso de Audio: El modelo con mayor precisión (Qwen-Audio) dependió significativamente menos de la modalidad de audio (A-SHAP $\approx$ 0.21–0.23) en comparación con el modelo menos preciso (MU-LLaMA, A-SHAP $\approx$ 0.47–0.50). Esto indica que un mayor rendimiento en MuChoMusic no se correlaciona con un uso equilibrado de las modalidades.
• Dominio del Texto en Opción Múltiple: Ambos modelos exhibieron un fuerte sesgo hacia el texto, particularmente en la configuración MC-PI, lo que sugiere que el formato de opción múltiple permite a los modelos resolver problemas utilizando razonamiento textual o eliminación de distractores en lugar de análisis perceptual del audio.
• El Audio No es Ignorado: A pesar de las puntuaciones generales bajas de A-SHAP, la inspección cualitativa reveló que las características de audio aún contribuyen de manera significativa. Para los tokens correspondientes a eventos sonoros de verdad fundamental (por ejemplo, "campana"), los valores positivos de Shapley se alinearon con los segmentos de tiempo específicos que contenían esos sonidos. Sin embargo, la magnitud de las contribuciones de audio a menudo fue menor que la del texto, y en algunos casos, se produjeron activaciones fuertes en regiones no relacionadas con la respuesta correcta (por ejemplo, notas de piano cuando la respuesta era una campana).
• Dependencia de la Tarea: Cuando la tarea se desplazó de opción múltiple a descripción de audio abierta, el A-SHAP para Qwen-Audio aumentó significativamente (a 0.73), demostrando que el uso de la modalidad depende en gran medida de la formulación de la tarea.

Significado y Afirmaciones
El artículo afirma ser la primera aplicación de MM-SHAP a Audio LLMs. Su contribución principal es proporcionar un marco cuantitativo y agnóstico al rendimiento para inspeccionar cómo estos modelos utilizan el audio frente al texto. Los autores argumentan que sus hallazgos desafían la suposición de que los modelos multimodales óptimos deben utilizar todas las modalidades por igual; un modelo puede lograr alta precisión mientras depende fuertemente de una sola modalidad.

El estudio destaca una brecha entre "escuchar" (procesamiento perceptual) y "razonar" (inferencia textual). Aunque los modelos no ignoran por completo el audio, las bajas puntuaciones de contribución en tareas de opción múltiple sugieren que los benchmarks actuales podrían estar probando la capacidad de un LLM para eliminar distractores en lugar de su capacidad para percibir sonidos. Los autores concluyen que MM-SHAP sirve como un paso fundamental para la IA Explicable (XAI) en audio, aunque reconocen limitaciones relacionadas con la falta de verdad fundamental para conceptos musicales complejos (melodía, estructura) y la sensibilidad de los resultados a las estrategias de enmascaramiento y los tamaños de ventana. Se propone trabajo futuro para estudiar sistemáticamente cómo la información de audio sobrevive a la integración multimodal a través de diferentes formulaciones de tareas.