Riepilogo Tecnico: Esplorazione degli LLM per la Comprensione e la Generazione della Musica dell'Asia Meridionale

Definizione del Problema

Sebbene i Large Language Models (LLM) abbiano dimostrato progressi significativi nella comprensione e nella generazione musicale, la ricerca e i benchmark esistenti rimangono pesantemente confinati alle tradizioni tonali occidentali. Questi lavori valutano principalmente le capacità basandosi su progressioni di accordi armonici e sull'armonia occidentale, offrendo scarsi approfondimenti sulla capacità degli LLM di gestire tradizioni musicali strutturalmente distinte e a basse risorse. La musica classica dell'Asia meridionale, governata dal raga (quadri melodici) e dal tala (sistemi ritmici ciclici), opera su principi fondamentalmente diversi dalla composizione occidentale basata sull'armonia. Nello specifico, il documento identifica una mancanza di valutazione sistematica riguardo a:

1. Comprensione: Se gli LLM possiedano la conoscenza grammaticale della musica classica indùstana e bengalese (ad es. grammatica del raga, sistemi di tala, ornamentazioni).
2. Generazione: Se gli LLM possano generare musica simbolica che aderisca alle specifiche convenzioni compositive e ai vincoli stilistici di generi dell'Asia meridionale, in particolare il Rabindra e il Nazrul Sangeet.
3. Valutazione: Se i mevcut metrici automatici, spesso progettati per la musica occidentale, catturino in modo affidabile la validità strutturale e la fedeltà stilistica richieste per una modellazione musicale culturalmente radicata.

Metodologia

1. Curatela del Benchmark (Comprensione Musicale)

Gli autori hanno costruito un benchmark di 504 domande a scelta multipla basato sulla teoria classica indùstana e sulle tradizioni classiche bengalesi. Il benchmark è suddiviso in tre sottotask:

• Comprensione della Teoria Musicale (163 domande): Valuta la comprensione della grammatica teorica, inclusa la grammatica del Raga, i sistemi di Tala, la classificazione Thaat, l'ornamentazione (gamakas) e la notazione.
• Conoscenza Musicale Generale (143 domande): Valuta la conoscenza fattuale e culturale riguardante compositori, figure storiche, strumenti e tradizioni stilistiche regionali.
• Continuazione Musicale (198 domande): Testa l'applicazione pratica della conoscenza strutturale. I modelli vengono presentati con l'inizio di un brano Rabindra o Nazrul Sangeet in notazione ABC e devono selezionare la continuazione strutturalmente più coerente tra quattro opzioni. I distrattori sono stati costruiti introducendo discrepanze strutturali (ad es. sostituzione tra generi, incoerenze ritmiche) pur mantenendo una plausibile continuità superficiale.

Tutte le domande sono state curate in bengalese per preservare la terminologia e revisionate da un esperto di musica classica bengalese.

2. Framework di Generazione Musicale

Per valutare le capacità di generazione, gli autori hanno progettato un framework di prompting controllato a 5 livelli basato sulla tassonomia TELeR. Questo framework introduce progressivamente vincoli musicali (scala, ritmo, genere, indizi stilistici) per analizzare la generazione di musica simbolica controllabile.

• Dati: 100 spartiti di riferimento curati manualmente (50 Rabindra Sangeet, 50 Nazrul Sangeet) in notazione ABC, derivati da fonti ufficiali di Swaralipi, hanno servito come semi e riferimenti.
• Prompting: Per 100 testi, sono state generate cinque varianti di prompt per modello, per un totale di 500 prompt. I prompt variavano da dettagli minimi (Livello 1) a dettagli massimi inclusi i background sui principi della musica classica indiana (Livello 5).
• Modelli Valutati: 33 LLM (30 open-source, 3 proprietari) sono stati testati sulla comprensione. I 9 migliori performer sono stati selezionati per la valutazione della generazione.

3. Metrici di Valutazione

• Valutazione Automatica:
  • Basata sul Riferimento: Divergenza KL tra le distribuzioni di pitch degli spartiti generati e di quelli di riferimento.
  • Indipendente dal Riferimento: Aderenza alla scala, accuratezza della sintassi ABC (tasso di successo del parsing), tasso di ripetizione ed entropia dell'istogramma del pitch.
• Valutazione Umana: Tre annotatori con formazione in teoria musicale hanno valutato 180 campioni (20 per il miglior modello) generati utilizzando i prompt di Livello 3. Le valutazioni sono state fornite su sei criteri: Strutturalità, Analisi del Genere, Analisi dello Stile, Emozione, Aderenza all'Istruzione e Armonia. L'accordo tra annotatori (IAA) è stato calcolato utilizzando l' $\alpha$ di Krippendorff e il $\kappa$ di Cohen/Fleiss.

Contributi Chiave

1. Primo Benchmark Sistematico: Introduzione di un benchmark di 540 domande che spazia dalla teoria musicale alla conoscenza generale e alla continuazione simbolica, fungendo da primo diagnostico fondamentale per la competenza degli LLM nella musica classica dell'Asia meridionale.
2. Dataset Curato: Curatela manuale di 100 spartiti di riferimento in notazione ABC per Rabindra e Nazrul Sangeet, rilasciati pubblicamente per la ricerca futura.
3. Framework di Prompting Controllato: Proposta di un framework di prompting a 5 livelli per analizzare sistematicamente l'impatto dei vincoli musicali sulla generazione simbolica.
4. Valutazione Comprensiva: Valutazione di 33 LLM sulla comprensione e dei migliori 9 sulla generazione, rivelando significativi gap di capacità e i limiti degli attuali metrici automatici.

Risultati

Comprensione Musicale

• Gap di Performance: I modelli frontier hanno superato significativamente i modelli open-source. Gemini 2.5 Pro ha ottenuto l'accuratezza più alta in tutti i sottotask (90,8% Teoria, 89,4% Conoscenza, 85,2% Continuazione). Al contrario, la maggior parte dei modelli open-source ha ottenuto punteggi nell'intervallo 23–40%.
• Limiti di Scaling: All'interno delle famiglie di modelli (ad es. Qwen2.5), l'aumento delle dimensioni dei parametri ha prodotto rendimenti decrescenti, con le varianti da 32B, 14B e 7B che ottenevano punteggi quasi identici sulla comprensione della teoria.
• Ragionamento vs Conoscenza: I modelli focalizzati sul ragionamento (ad es. QwQ-32B-Preview) non hanno superato i modelli generali sulla comprensione della teoria, indicando che il ragionamento chain-of-thought non può compensare la mancanza di una conoscenza musicale culturalmente radicata.
• Modelli Specializzati: ChatMusician, un modello perfezionato su notazione ABC occidentale, ha performato scarsamente (12,3% Teoria), confermando che il fine-tuning sulle tradizioni occidentali non si trasferisce agli stili dell'Asia meridionale.

Generazione Musicale

• Fedeltà Strutturale vs Stilistica: Anche il modello più forte (Gemini 2.5 Pro) ha prodotto output che erano stilisticamente fedeli (riconoscibili come Rabindra o Nazrul Sangeet) solo nel 40% dei casi, nonostante abbia raggiunto il 95% di aderenza al genere più ampio dell'Asia meridionale.
• Sensibilità al Prompt: I livelli 2 e 3 del framework di prompting hanno prodotto punteggi competitivi. I livelli 4 e 5, nonostante l'aggiunta di più contesto, non hanno migliorato significativamente la qualità della generazione, suggerendo un limite nelle attuali capacità dei modelli per il controllo stilistico.
• Limiti dei Metrici: I metrici automatici hanno mostrato una debole correlazione con il giudizio umano. Solo la Divergenza KL ha mostrato una correlazione statisticamente significativa con lo stile umano ($r = -0,73$). Metrici come l'Aderenza alla Scala e l'Accuratezza della Sintassi ABC hanno mostrato una correlazione quasi nulla con l'accuratezza dello stile, indicando che la correttezza sintattica non implica la fedeltà stilistica.
• Valutazione Umana: La maggior parte dei modelli open-source ha ottenuto punteggi inferiori a 2,5/5 sui criteri ordinali (Strutturalità, Emozione, ecc.), indicando che gli output sintatticamente parseabili non si traducono in melodie percettivamente coerenti o emotivamente allineate.

Significato e Rivendicazioni

Il documento afferma che, sebbene i frontier LLM mostrino una comprensione emergente della conoscenza musicale dell'Asia meridionale, rimane un gap critico tra la competenza di generazione strutturale e la fedeltà stilistica fine. Gli autori sostengono che:

1. La Radicazione Culturale è Mancante: Gli attuali LLM possono approssimare le caratteristiche superficiali della musica dell'Asia meridionale ma mancano della specificità compositiva richiesta per un controllo stilistico fedele.
2. Deficit di Valutazione: I metrici automatici esistenti sono insufficienti per una valutazione culturalmente radicata. Essi operano a livello di sintassi e distribuzione del pitch e possono essere soddisfatti trivialmente producendo output che sono stilisticamente irriconoscibili per gli esperti umani.
3. Sfida Aperta: Lo sviluppo di metrici sensibili all'ornamentazione specifica del raga e la creazione di framework di valutazione culturalmente radicati che vadano oltre la correttezza sintattica rimangono problemi aperti per il settore.

Lo studio conclude che raggiungere un controllo stilistico fedele nelle tradizioni musicali a basse risorse richiede più del semplice scaling dei modelli attuali; richiede nuovi framework di valutazione e potenzialmente nuovi approcci di modellazione che tengano conto dei principi strutturali unici della musica non occidentale.