Resumo Técnico: Explorando LLMs para a Compreensão e Geração de Música do Sul da Ásia

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado progressos significativos na compreensão e geração de música, as pesquisas e benchmarks existentes permanecem fortemente confinados às tradições tonais ocidentais. Estes trabalhos avaliam primariamente as capacidades com base em progressões harmônicas de acordes e harmonia ocidental, oferecendo pouca visão sobre se os LLMs podem lidar com tradições musicais estruturalmente distintas e de baixo recurso. A música clássica do sul da Ásia, regida pelo raga (estruturas melódicas) e pelo tala (sistemas rítmicos cíclicos), opera sob princípios fundamentalmente diferentes da composição orientada pela harmonia ocidental. Especificamente, o artigo identifica uma carência de avaliação sistemática em relação a:

1. Compreensão: Se os LLMs possuem o conhecimento gramatical da música clássica hindustani e bengali (ex: gramática de raga, sistemas de tala, ornamentação).
2. Geração: Se os LLMs conseguem gerar música simbólica que adira às convenções composicionais específicas e restrições estilísticas de gêneros do sul da Ásia, particularmente o Rabindra e o Nazrul Sangeet.
3. Avaliação: Se as métricas automáticas existentes, frequentemente desenhadas para a música ocidental, capturam de forma confiável a validade estrutural e a fidelidade estilística exigidas para a modelagem musical culturalmente fundamentada.

Metodologia

1. Curadoria de Benchmark (Compreensão Musical)

Os autores construíram um benchmark de 504 questões de múltipla escolha fundamentado na teoria clássica hindustani e nas tradições clássicas bengalis. O benchmark é dividido em três subtarefas:

• Compreensão de Teoria Musical (163 questões): Avalia a compreensão da gramática teórica, incluindo a gramática de Raga, sistemas de Tala, classificação de Thaat, ornamentação (gamakas) e notação.
• Conhecimento Geral de Música (143 questões): Avalia o conhecimento factual e cultural sobre compositores, figuras históricas, instrumentos e tradições estilísticas regionais.
• Continuação Musical (198 questões): Testa a aplicação prática do conhecimento estrutural. Os modelos são apresentados com o início de um Rabindra ou Nazrul Sangeet em notação ABC e devem selecionar a continuação estruturalmente mais coerente entre quatro opções. Os distratores foram construídos introduzindo incompatibilidades estruturais (ex: substituição transgeracional, inconsistências rítmicas), mantendo uma continuidade superficial plausível.

Todas as questões foram curadas em bengali para preservar a terminologia e revisadas por um especialista em música clássica bengali.

2. Estrutura de Geração Musical

Para avaliar as capacidades de geração, os autores desenharam uma estrutura de prompting controlado de 5 níveis baseada na taxonomia TELeR. Esta estrutura introduz progressivamente restrições musicais (escala, ritmo, gênero, pistas estilísticas) para analisar a geração de música simbólica controlável.

• Dados: 100 partituras de referência curadas manualmente (50 Rabindra Sangeet, 50 Nazrul Sangeet) em notação ABC, derivadas de fontes oficiais de Swaralipi, serviram como sementes e referências.
• Prompting: Para 100 letras, cinco variantes de prompt foram geradas por modelo, totalizando 500 prompts. Os prompts variaram de detalhes mínimos (Nível 1) a detalhes máximos, incluindo contexto sobre princípios da música clássica indiana (Nível 5).
• Modelos Avaliados: 33 LLMs (30 de código aberto, 3 proprietários) foram testados na compreensão. Os 9 melhores desempenhos foram selecionados para a avaliação de geração.

3. Métricas de Avaliação

• Avaliação Baseada em Referência: Divergência KL entre as distribuições de pitch das partituras geradas e das de referência.
• Avaliação Livre de Referência: Adesão à escala, precisão da sintaxe ABC (taxa de sucesso de parsing), taxa de repetição e entropia do histograma de pitch.
• Avaliação Humana: Três anotadores com formação em teoria musical avaliaram 180 amostras (20 por modelo principal) geradas utilizando prompts de Nível 3. As classificações foram fornecidas em seis critérios: Estruturalidade, Análise de Gênero, Análise de Estilo, Emoção, Adesão à instrução e Harmoniosidade. O Acordo Inter-Anotador (IAA) foi calculado usando $\alpha$ de Krippendorff e $\kappa$ de Cohen/Fleiss.

Principais Contribuições

1. Primeiro Benchmark Sistemático: Introdução de um benchmark de 504 questões abrangendo teoria musical, conhecimento geral e continuação simbólica, servindo como o primeiro diagnóstico fundamental para a competência de LLMs na música clássica do sul da Ásia.
2. Dataset Curado: Curadoria manual de 100 partituras de referência em notação ABC para Rabindra e Nazrul Sangeet, disponibilizadas publicamente para pesquisas futuras.
3. Estrutura de Prompting Controlado: Proposta de uma estrutura de prompting de 5 níveis para analisar sistematicamente o impacto das restrições musicais na geração simbólica.
4. Avaliação Abrangente: Avaliação de 33 LLMs na compreensão e dos 9 melhores na geração, revelando lacunas significativas de capacidade e as limitações das métricas automáticas atuais.

Resultados

Compreensão Musical

• Lacuna de Desempenho: Modelos de fronteira superaram significativamente os modelos de código aberto. O Gemini 2.5 Pro alcançou a maior precisão em todas as subtarefas (90,8% em Teoria, 89,4% em Conhecimento, 85,2% em Continuação). Em contraste, a maioria dos modelos de código aberto pontuou na faixa de 23–40%.
• Limites de Escala: Dentro das famílias de modelos (ex: Qwen2.5), o aumento do tamanho dos parâmetros gerou retornos decrescentes, com as variantes de 32B, 14B e 7B pontuando quase identicamente na compreensão teórica.
• Raciocínio vs. Conhecimento: Modelos focados em raciocínio (ex: QwQ-32B-Preview) não superaram os modelos gerais na compreensão teórica, indicando que o raciocínio de cadeia de pensamento (chain-of-thought) não pode compensar a falta de conhecimento musical culturalmente fundamentado.
• Modelos Especializados: O ChatMusician, um modelo ajustado (fine-tuned) em notação ABC ocidental, teve um desempenho insatisfatório (12,3% em Teoria), confirmando que o ajuste fino em tradições ocidentais não se transfere para estilos do sul da Ásia.

Geração Musical

• Fidelidade Estrutural vs. Estilística: Mesmo o modelo mais forte (Gemini 2.5 Pro) produziu saídas que eram estilisticamente fiéis (reconhecíveis como Rabindra ou Nazrul Sangeet) em apenas 40% dos casos, apesar de atingir 95% de adesão ao gênero sul-asiático mais amplo.
• Sensibilidade ao Prompt: Os níveis 2 e 3 da estrutura de prompting produziram pontuações competitivas. Os níveis 4 e 5, apesar de adicionarem mais contexto, não melhoraram significativamente a qualidade da geração, sugerindo um teto nas capacidades atuais dos modelos para controle estilístico.
• Limitações das Métricas: As métricas automáticas mostraram fraca correlação com o julgamento humano. Apenas a Divergência KL mostrou uma correlação estatisticamente significativa com o estilo humano ($r = -0,73$). Métricas como Adesão à Escala e Precisão de Sintaxe ABC mostraram correlação próxima de zero com a precisão de estilo, indicando que a correção sintática não implica fidelidade estilística.
• Avaliação Humana: A maioria dos modelos de código aberto pontuou abaixo de 2,5/5 nos critérios ordinais (Estruturalidade, Emoção, etc.), indicando que saídas estruturalmente analisáveis não se traduzem em melodias perceptualmente coerentes ou emocionalmente alinhadas.

Significância e Alegações

O artigo alega que, embora os LLMs de fronteira demonstrem uma compreensão emergente do conhecimento musical do sul da Ásia, permanece uma lacuna crítica entre a competência de geração estrutural e a fidelidade estilística refinada. Os autores afirmam que:

1. A Fundamentação Cultural está Ausente: Os LLMs atuais podem aproximar características superficiais da música do sul da Ásia, mas carecem da especificidade composicional necessária para um controle estilístico fiel.
2. Deficiências de Avaliação: As métricas automáticas existentes são insuficientes para a avaliação culturalmente fundamentada. Elas operam nos níveis sintático e de distribuição de pitch e podem ser satisfeitas trivialmente, produzindo saídas que são estilisticamente irreconhecíveis para especialistas humanos.
3. Desafio Aberto: Desenvolver métricas sensíveis à ornamentação específica de raga e criar estruturas de avaliação culturalmente fundamentadas que vão além da correção sintática permanecem como problemas abertos para o campo.

O estudo conclui que alcançar o controle estilístico fiel em tradições musicais de baixo recurso requer mais do que apenas escalar os modelos atuais; exige novas estruturas de avaliação e, potencialmente, novas abordagens de modelagem que considerem os princípios estruturais únicos da música não ocidental.