Development and pilot validation of an AI-assisted self-practice system for erhu performance assessment and score-aligned feedback

技術要約：二胡演奏評価のためのAI支援型自主練習システムの開発とパイロット検証

問題提起
二胡は、指板のない中国の擦弦楽器であり、既存のAI音楽教育ツールでは対処できない特有の課題を抱えている。固定されたピッチを持つ西洋楽器とは異なり、二胡の音程は左手の指使いと右手の弓の制御の完全な協調に依存している。現在の計算システムには、主に2つの障壁が存在する：

1. 技法の誤分類： 一般的なディープラーニングによるピッチ推定器（例：CREPE）は、擦弦楽器特有の表現技法（4–7 Hzのビブラートや、連続的なピッチのドリフトであるポルタメントなど）を、音程の誤りと誤認してしまうことが多い。
2. スコア座標へのフィードバックの欠如： 従来のオーディオ解析パイプラインは、自動採譜や一般的な評価に焦点を当てており、分析結果をユーザーが提供した印刷された楽譜の特定の座標にマッピングするメカニ way を欠いている。これにより、学習者が自身のレパートリー内の特定の音に対して、正確で実行可能なフィードバックを受けることが困難になっている。

手法
著者らは、ユーザーがアップロードしたPDF楽譜を受け取り、伴奏付きの二胡の録音を分析し、楽譜に整合したフィードバックを生成するように設計されたエンドツーエンドのAIシステムを開発した。システムアーキテクチャは、インターフェースとしてのReact 19 Progressive Web App (PWA)、Node.js/Expressゲートウェイ、および分析用のPython FastAPIバックエンドの3層で構成されている。

技術的なパイプラインは、以下のモジュールを統合している：

• 楽譜のインポートと構造化： システムは、PDF楽譜をMusicXMLに変換するためにAudiveris（オープンソースの光学楽譜認識エンジン）を使用し、それを解析して統一されたJSONノート構造へと変換する。OMR（光学楽譜認識）の信頼性が低い場合は、手動で検証された音符シーケンスを使用するフォールバックメカニズムが機能する。
• スコア情報に基づく調和スペクトルマスキング (SI-HSM)： 大規模な学習データを必要とせずに二胡のメロディを分離するため、システムはカスタムの5ステップアルゴルズムを採用している。これは、torchcrepeからのフレームレベルのピッチ推定と、楽譜から期待されるピッチを融合させて調和マスクを構築する。このマスクは、ビブラートやポルタメントが存在する場合でも、二胡の倍音構造を保持しながら伴奏の周波数を抑制する。
• ディープラーニング分析：
  • ピッチ・トラッキング： 基本周波数の推定にtorchcrepe (CREPE) を使用する。信頼度の低いフレームは除外されるか、librosa.pyinへのフォールバックによって処理される。
  • リズム検出： 二胡の緩やかなパッセージに特有の弱い弓の打鍵（アタック）を扱うために、madmom（RNNベースのオンセット検出およびDBNベースのビートトラッキング）を採用している。
  • アライメント： 動的時間伸縮法 (DTW) を用いて、演奏のオンセットシーケンスを楽譜に整合させる。その際、オンセットの偏差に重みを置いたコスト関数を用い、続いて持続時間と信頼度のペナルティを適用する。
• 二胡ドメイン適応層： これは非西洋的な技法を扱うための核心的な革新である。
  • 安定セグメント・アルゴリズム： 音程計算は、弓の加速や減速による過渡的なピッチ・アーティファクトが発生するアタックおよびリリース局面を除いた、音の「安定した」部分（持続時間の20%～82%）においてのみ行われる。
  • 技法許容型スコアリング： ヒューリスティック分類器が6つの技法（ビブラート、ポルタメント、トリル、ハーモニクス、ピッツィカート、コル・レーニョ）を識別する。技法が検出された場合、システムはスコアリング規則を調整し（例：ビブラートに対して音程の許容範囲を広げる、あるいはポルタメントの遷移フレームを除外するなど）、誤判定によるエラーフラグを防ぐ。
• 構造化フィードバック生成： エラーは楽譜の座標（小節および音符インデックス）にマッピングされる。問題のある音符は、楽譜画像上にカラーグラデーションのオーバーレイ（黄色/オレンジ/赤）として可視化される。システムは自然言語によるサマリーを生成し、エラーの深刻度に基づいて推奨される練習経路（ピッチ優先、リズム優先、またはレビュー優先）を提示する。

主な貢献

1. エンドツーエンドのPDFベースのシステム： 非西洋の擦弦楽器に対して、ユーザーがアップロードしたPDF楽譜をサポートする初のシステムであり、楽譜入力から楽譜に紐付けられたフィードバックまでの一連のループを完結させた。
2. 技法を考慮したスコアリング： 安定セグメント・アルゴリズムとヒューリスティック技法分類器の導入により、意図的な表現技法と真の音程エラーを区別し、既存のディープラーニングモデルにおける重要なギャップを解消した。
3. 楽譜座標へのフィードバック： 分析されたエラーを視覚的な楽譜上に直接投影することで、学習者が生のデータを手動で解釈することなく、問題箇所を正確に特定できるメカニズムを実現した。

実験結果
本システムは、18名の音楽院学生による楽曲「桃花팡（Taohuawu）」の36件の録音を用いてパイロット検証が行われた。2名の専門家評価者がブラインド評価を行い、これをグラウンドトゥルース（正解）とした。

• 専門家との相関： システムのスコアは、ピッチ（$r = 0.93$, 95% CI [0.82, 0.97]）およびリズム（$r = 0.83$, 95% CI [0.60, 0.94]）の両方において、専門家の評価と強い相関を示した。
• 局所化精度： システムは、問題となる音符の特定においてF1スコア 0.705、問題となる小節の特定において0.763を達成した。
• コンポーネントのアブレーション解析： 安定セグメントのトリミング、技法許容、またはSI-HSMといった主要コンポーネントを除去すると、精度が著しく低下し、各モジュールの付加価値が確認された。例えば、安定セグメントのトリミングを除去すると、ピッチの相関が0.929から0.835に低下した。
• 音源分離： カスタムのSI-HSMアルゴリズムは、ピッチ抽出精度において、生のオーディオやオープンソースのベースライン（Demucs v4, HT-Demcs）を上回った（ピッチMAE：SI-HSMで3.89 cents、生のオーディオで5.24 cents）。
• ユーザビリティ： 5項目のアンケート調査では、クロンバックのアルファ係数0.923が得られた。すべての項目が中立的な中間値を有意に上回り、有用性と使いやすさにおいて高い評価を得た。

意義と主張
本論文は、非西洋の擦弦楽器のための初のエンドツーエンドAI支援型自主練習システムを提示していると主張している。その意義は、一般的な音楽AIツールと、二胡の音響的および教育的な特定のニーズとの間の溝を埋めることにある。分析結果を楽譜の座標にマッピングし、表現技法を許容することに成功した本システムは、伝統音楽教育における自動化されたパーソナライズされた練習フィードバックへの実行可能な道筋を提供するものである。

著者らは控えめなトーンを維持しており、本研究をパイロット検証として位置づけている。彼らは、単一のレパートリー（「桃花팡」）、単一の機関（四川音楽学院）、および小規模なサンプルサイズを含む制限事項を明示している。また、初心者、上級生、または他のレパートリーに対してはまだテストされていないこと、および練習経路の推奨ロジックは異なる教育的文脈に合わせて再調整が必要であることを認めている。本研究は、非西洋音楽教育におけるAI研究の基礎的な枠組みとして位置づけられている。