技術要約：南アジア音楽の理解と生成に向けたLLMの探索

問題提起

大規模言語モデル（LLM）は、音楽の理解と生成において著しい進歩を示しているが、既存の研究やベンチマークは依然として西洋の調性伝統に強く偏っている。これらの研究は主に、和声的なコード進行や西洋音楽のハーモニーに基づいた能力評価を行っており、構造的に異なる低リソースの音楽伝統をLLMが扱えるかについての洞察をほとんど提供できていない。南アジアの古典音楽は、ラーガ（旋律の枠組み）やターラ（循環的なリズム体系）に支配されており、西洋のハーモニー主導の作曲とは根本的に異なる原理で動作している。具体的には、本論文は以下の点に関する体系的な評価の欠如を指摘している：

1. 理解： LLMがヒンドゥスターニーおよびベンガル古典音楽の文法（例：ラーガの文法、ターラ体系、装飾音）を保持しているか。
2. 生成： LLMが、南アジアのジャンル（特にラビンドラ・サンギートやナズル・サンギート）の特定の作曲上の慣習や様式的制約に従った記譜による音楽を生成できるか。
3. 評価： 西洋音楽向けに設計された既存の自動指標が、文化的に根ざした音楽モデリングに求められる構造的妥当性と様式的忠実性を信頼性高く捉えられるか。

メソドロジー

1. ベンチマークのキュレーション（音楽理解）

著者らは、ヒンドゥスターニー古典理論およびベンガル古典伝統に基づいた504問の多肢選択式ベンチマークを構築した。このベンチマークは3つのサブタスクに分かれている：

• 音楽理論の理解（163問）： ラーガの文法、ターラ体系、・ト（Thaat）分類、装飾音（ガマカ）、および記譜法を含む理論的文法の理解度を評価する。
• 音楽一般知識（143問）： 作曲家、歴史的人物、楽器、および地域的な様式的伝統に関する事実および文化的知識を評価する。
• 音楽の継続（198問）： 構造的知識の実践的な適用をテストする。モデルにはABC記譜法によるラビンドラまたはナズルのサンギートの冒頭部分が提示され、4つの選択肢の中から最も構造的に一貫性のある継続部分を選択させる。紛らわしい選択肢（ディストラクター）は、表面的な連続性は維持しつつも、構造的な不一致（例：クロスジャンルの置換、リズムの不整合）を導入することで作成された。

すべての質問は、用語を正確に保つためにベンガル語でキュレーションされ、ベンガル古典音楽の専門家によってレビューされた。

2. 音楽生成フレームワーク

生成能力を評価するために、著者らはTELeRタクソノミーに基づいた5段階の制御プロンプティング・フレームワークを設計した。このフレームワークは、制御可能な記譜による音楽生成を分析するために、音楽的制約（音階、リズム、ジャンル、様式的手がかり）を段階的に導入するものである。

• データ： 公式なスワラリピ（Swaralipi）資料から派生した、ABC記法による100個の手動キュレーション済み参照スコア（ラビンドラ・サンギート50、ナズル・サンギート50）を、シードおよびリファレンスとして使用した。
• プロンプティング： 100の歌詞に対し、モデルごとに5つのプロンプト・バリアントを作成し、計500のプロンプトを用意した。プロンプトは、最小限の詳細（レベル1）から、インド古典音楽の原理に関する背景を含む最大限の詳細（レベル5）まで多岐にわたる。
• 評価対象モデル： 理解力のテストにおいて33のLLM（オープンソース30、プロプライエタリ3）をテストした。生成評価には、成績上位9モデルを選出した。

3. 評価指標

• 自動評価：
  • リファレンスに基づく評価： 生成されたスコアとリファレンス・スコア間のピッチ分布におけるKLダイバージェンス。
  • リファレンスフリー評価： 音階への適合性、ABC構文の正確性（パース成功率）、反復率、およびピッチヒストグラムのエントロピー。
• 人間による評価： 正式な音楽理論の訓練を受けた3人のアノテーターが、レベル3のプロンプトを用いて生成された180のサンプル（各トップモデルにつき20サンプル）を評価した。評価は、構造性、ジャンル分析、様式分析、感情、指示への忠実度、および調和の6つの基準で行われた。アノテーター間の一致度（IAA）は、Krippendorffの$\alpha$およびCohen/Fleissの$\kappa$を用いて算出された。

主な貢献

1. 初の体系的ベンチマーク： 音楽理論、一般知識、および記譜による継続を網羅する504問のベンチマークの導入。これは、南アジア古典音楽におけるLLMの能力に関する最初の基礎的な診断となる。
2. キュレーションされたデータセット： ラビンドラおよびナズルのサンギートのための、ABC記法による100の参照スコアを手動でキュレーションし、将来の研究のために公開。
3. 制御プロンプティング・フレームワーク： 音楽的制約が記譜による生成に与える影響を体系的に分析するための、5段階のプロンプティング・フレームワークの提案。
4. 包括的な評価： 33のLLMを理解力について、および上位9つのモデルを生成力について評価し、重大な能力のギャップと現在の自動指標の限界を明らかにした。

結果

音楽理解

• パフォーマンスの格差： フロンティアモデルはオープンソースモデルを大幅に上回った。Gemini 2.5 Proは、すべてのサブタスクにおいて最高の精度（理論90.8%、知識89.4%、継続85.2%）を達成した。対照的に、ほとんどのオープンソースモデルは**23〜40%**の範囲に留まった。
• スケーリングの限界： 同一モデルファミリー内（例：Qwen2.5）では、パラメータサイズを大きくしても収穫逓減が見られ、32B、14B、7Bのバリアントは理論理解においてほぼ同一のスコアを示した。
• 推論 vs 知識： 推論に特化したモデル（例：QwQ-32B-Preview）は、理論理解において汎用モデルを上回ることはなかった。これは、思考の連鎖（Chain-of-Thought）による推論が、文化的に根ざした音楽知識の欠如を補完できないことを示している。
• 特化型モデル： 西洋のABC記法で微調整されたChatMusicianは、理論において低いスコア（12.3%）を記録し、西洋の伝統への微調整が南アジアの様式には転移しないことを裏付けた。

音楽生成

• 構造的忠実度 vs 様式的忠実度： 最も強力なモデル（Gemini 2.5 Pro）であっても、広範な南アジアのジャンルへの適合率は95%に達したものの、様式的にも忠実な（ラビンドラまたはナズルのサンギートとして認識可能な）出力が得られたのはわずか**40%**のケースであった。
• プロンプトへの感受性： プロンプティング・フレームワークのレベル2および3は、競争力のあるスコアを示した。レベル4および5は、より多くのコンテキストを追加したにもかかわらず、生成の質を大幅に向上させることはなく、現在のモデルの能力における天井を示唆している。
• 指標の限界： 自動指標は人間による判断との相関が弱かった。KLダイバージェンスのみが、人間の様式精度と統計的に有意な相関を示した（$r = -0.73$）。音階への適合性やABC構文の正確性といった指標は、様式精度との相関がほぼゼロであり、構文的な正しさが様式的な忠実性を意味しないことを示している。
• 人間による評価： ほとんどのオープンソースモデルは、順序尺度（構造性、感情など）において2.5/5を下回っており、構文的にパース可能な出力が、知覚的に一貫した、あるいは感情的に合致したメロディに翻訳されないことを示している。

意義と主張

本論文は、フロンティアLLMが南アジアの音楽知識に対する創発的な理解を示す一方で、構造的な生成能力と微細な様式的忠実度の間には決定的なギャップが存在すると主張している。著者らは以下のように断言している：

1. 文化的根拠の欠如： 現在のLLMは南アジア音楽の表面的な特徴を近似することはできるが、忠実な様式的制御に必要な作曲上の特異性を欠いている。
2. 評価の不備： 既存の自動指標は、文化的に根ざした評価には不十分である。それらは構文およびピッチ分布のレベルで作動しており、様式的に認識不能な出力を生成しながらも、形式的に満たされてしまう。
3. 開かれた課題： ラーガ特有の装飾音を感知できる指標の開発、および構文的な正しさを超えた、文化的に根ざした評価フレームワークの構築は、この分野における未解決の課題である。

本研究は、低リソースの音楽伝統において忠実な様式的制御を達成するには、単に現在のモデルをスケールアップするだけでは不十分であり、非西洋音楽の独自の構造的原理を考慮した新しい評価フレームワーク、および潜在的に新しいモデリング・アプローチが必要であることを結論づけている。