Resumen Técnico: Exploración de los LLM para la Comprensión y Generación de Música del Sur de Asia

Declaración del Problema

Si bien los Modelos de Lenguaje Extensos (LLM) han demostrado avances significativos en la comprensión y generación de música, la investigación y los puntos de referencia (benchmarks) existentes permanecen fuertemente confinados a las tradiciones tonales occidentales. Estos trabajos evalúan principalmente las capacidades basadas en progresiones de acordes armónicos y armonía occidental, ofreciendo poca información sobre si los LLM pueden manejar tradiciones musicales estructuralmente distintas y de bajos recursos. La música clásica del sur de Asia, regida por el raga (marcos melódicos) y el tala (sistemas rítmicos cíclicos), opera bajo principios fundamentalmente diferentes de la composición impulsada por la armonía occidental. Específicamente, el artículo identifica una falta de evaluación sistemática con respecto a:

1. Comprensión: Si los LLM poseen el conocimiento gramatical de la música clásica hindustaní y bengalí (por ejemplo, la gramática del raga, los sistemas de tala, la ornamentación).
2. Generación: Si los LLM pueden generar música simbólica que se adhiera a las convenciones compositivas específicas y a las restricciones estilísticas de los géneros del sur de Asia, particularmente el Rabindra y el Nazrul Sangeet.
3. Evaluación: Si los indicadores automáticos existentes, a menudo diseñados para la música occidental, capturan de manera fiable la validez estructural y la fidelidad estilística requeridas para el modelado musical culturalmente fundamentado.

Metodología

1. Curación del Benchmark (Comprensión Musical)

Los autores construyeron un benchmark de opción múltiple de 504 preguntas basado en la teoría clásica hindustaní y las tradiciones clásicas bengalíes. El benchmark se divide en tres subtareas:

• Comprensión de la Teoría Musical (163 preguntas): Evalúa la comprensión de la gramática teórica, incluyendo la gramática del Raga, los sistemas de Tala, la clasificación Thaat, la ornamentación (gamakas) y la notación.
• Conocimientos Generales de Música (143 preguntas): Evalúa el conocimiento factual y cultural sobre compositores, figuras históricas, instrumentos y tradiciones estilísticas regionales.
• Continuación Musical (198 preguntas): Prueba la aplicación práctica del conocimiento estructural. Se presenta a los modelos el inicio de un Rabindra o Nazrul Sangeet en notación ABC y deben seleccionar la continuación más estructuralmente coherente entre cuatro opciones. Los distractores se construyeron introduciendo desajustes estructurales (por ejemplo, sustitución de géneros, inconsistencias rítmicas) manteniendo una continuidad superficial plausible.

Todas las preguntas fueron curadas en bengalí para preservar la terminología y revisadas por un experto en música bengalí.

2. Marco de Generación Musical

Para evaluar las capacidades de generación, los autores diseñaron un marco de prompting controlado de 5 niveles basado en la taxonomía TELeR. Este marco introduce progresivamente restricciones musicales (escala, ritmo, género, pistas estilísticas) para analizar la generación de música simbólica controlable.

• Datos: 100 partituras de referencia curadas manualmente (50 Rabindra Sangeet, 50 Nazrul Sangeet) en notación ABC, derivadas de fuentes oficiales de Swaralipi, sirvieron como semillas y referencias.
• Prompting: Para 100 letras, se generaron cinco variantes de prompts por modelo, sumando un total de 500 prompts. Los prompts variaron desde detalles mínimos (Nivel 1) hasta el máximo detalle, incluyendo antecedentes sobre los principios de la música clásica india (Nivel 5).
• Modelos Evaluados: Se probaron 33 LLM (30 de código abierto, 3 propietarios) en comprensión. Los 9 mejores desempeños fueron seleccionados para la evaluación de generación.

3. Métricas de Evaluación

• Evaluación Automática:
  • Basada en Referencia: Divergencia KL entre las distribuciones de tono de las partituras generadas y las de referencia.
  • Libre de Referencia: Adherencia a la escala, precisión de la sintaxis ABC (tasa de éxito de análisis sintáctico), tasa de repetición y entropía del histograma de tonos.
• Evaluación Humana: Tres anotadores con formación en teoría musical evaluaron 180 muestras (20 por cada modelo principal) generadas utilizando prompts de Nivel 3. Las calificaciones se proporcionaron sobre seis criterios: Estructuralidad, Análisis de Género, Análisis de Estilo, Emoción, Adherencia a la instrucción y Armoniosidad. El Acuerdo Inter-Anotador (IAA) se calculó utilizando $\alpha$ de Krippendor y $\kappa$ de Cohen/Fleiss.

Principales Contribuciones

1. Primer Benchmark Sistemático: Introducción de un benchmark de 504 preguntas que abarca la teoría musical, el conocimiento general y la continuación simbólica, sirviendo como el primer diagnóstico fundacional de la competencia de los LLM en la música clásica del sur de Asia.
2. Dataset Curado: Curación manual de 100 partituras de referencia en notación ABC para Rabindra y Nazrul Sangeet, publicadas para futuras investigaciones.
3. Marco de Prompting Controlado: Propuesta de un marco de prompting de 5 niveles para analizar sistemáticamente el impacto de las restricciones musicales en la generación simbólica.
4. Evaluación Integral: Evaluación de 33 LLM en comprensión y de los 9 mejores en generación, revelando brechas significativas de capacidad y las limitaciones de las métricas automáticas actuales.

Resultados

Comprensión Musical

• Brecha de Rendimiento: Los modelos de frontera superaron significativamente a los modelos de código abierto. Gemini 2.5 Pro logró la mayor precisión en todas las subtareas (90.8% en Teoría, 89.4% en Conocimiento, 85.2% en Continuación). En contraste, la mayoría de los modelos de código abierto puntuaron en el rango del 23–40%.
• Límites de Escalamiento: Dentro de las familias de modelos (por ejemplo, Qwen2.5), el aumento del tamaño de los parámetros produjo rendimientos decrecientes, con las variantes de 32B, 14B y 7B puntuando casi idénticamente en la comprensión teórica.
• Razonamiento vs. Conocimiento: Los modelos enfocados en el razonamiento (por ejemplo, QwQ-32B-Preview) no superaron a los modelos generales en la comprensión teórica, lo que indica que el razonamiento de cadena de pensamiento (chain-of-thought) no puede compensar la falta de conocimiento musical culturalmente fundamentado.
• Modelos Especializados: ChatMusician, un modelo ajustado (fine-tuned) en notación ABC occidental, tuvo un desempeño deficiente (12.3% en Teoría), confirmando que el ajuste fino en tradiciones occidentales no se transfiere a los estilos del sur de Asia.

Generación Musical

• Fidelidad Estructural vs. Estilística: Incluso el modelo más fuerte (Gemini 2.5 Pro) produjo resultados que fueron estilísticamente fieles (reconocibles como Rabindra o Nazrul Sangeet) en solo el 40% de los casos, a pesar de lograr un 95% de adherencia al género general del sur de Asia.
• Sensibilidad al Prompt: Los niveles 2 y 3 del marco de prompting produjeron puntuaciones competitivas. Los niveles 4 y 5, a pesar de añadir más contexto, no mejoraron significativamente la calidad de la generación, lo que sugiere un techo en las capacidades actuales de los modelos para el control estilístico.
• Limitaciones de las Métricas: Las métricas automáticas mostraron una débil correlación con el juicio humano. Solo la Divergencia KL mostró una correlación estadísticamente significativa con la precisión de estilo humana ($r = -0.73$). Métricas como la Adherencia a la Escala y la Precisión de la Sintaxis ABC mostraron una correlación cercana a cero con la precisión de estilo, indicando que la corrección sintáctica no implica fidelidad estilística.
• Evaluación Humana: La mayoría de los modelos de código abierto puntuaron por debajo de 2.5/5 en criterios ordinales (Estructuralidad, Emoción, etc.), lo que indica que los resultados estructuralmente analizables no se traducen en melodías perceptualmente coherentes o emocionalmente alineadas.

Significado y Reivindicaciones

El artículo afirma que, si bien los LLM de frontera muestran una comprensión emergente del conocimiento musical del sur de Asia, persiste una brecha crítica entre la competencia de generación estructural y la fidelidad estilística fina. Los autores sostienen que:

1. Falta de Fundamentación Cultural: Los LLM actuales pueden aproximar las características superficiales de la música del sur de Asia, pero carecen de la especificidad compositiva requerida para un control estilístico fiel.
2. Deficiencias de Evaluación: Las métricas automáticas existentes son insuficientes para la evaluación culturalmente fundamentada. Operan al nivel de la sintaxis y la distribución de tonos, y pueden satisfacerse trivialmente produciendo resultados que son estilísticamente irreconocibles para los expertos humanos.
3. Desafío Abierto: Desarrollar métricas sensibles a la ornamentación específica de los raga y crear marcos de evaluación culturalmente fundamentados que vayan más allá de la corrección sintáctica siguen siendo problemas abiertos para el campo.

El estudio concluye que lograr un control estilístico fiel en las tradiciones musicales de bajos recursos requiere más que solo escalar los modelos actuales; requiere nuevos marcos de evaluación y, potencialmente, nuevos enfoques de modelado que tengan en cuenta los principios estructurales únicos de la música no occidental.