YQX+: Benchmarking Probabilistic Modeling of Piano Performance Expression

楽譜上の音楽とは、一連の指示であり、ピアニストがどの鍵盤をいつ、どれくらいの長さで押すべきかを示す音符の地図である。しかし、地図は領土そのものではない。二人のピアニストが全く同じ楽譜を演奏しても、全く異なる響きを生み出すことがある。一人が穏やかで流れるようなリズムとソフトなタッチで奏でる一方で、もう一人は鋭く、力強いエネルギーで奏でることもある。この違いは間違いではなく、音楽的表現の真髄である。それは、硬直した指示を受け取り、感情、スタイル、そして構造を伝える、生き生きとした呼吸するような演奏へと変える人間の能力である。何十年もの間、科学者やエンジニアは、コンピュータにこれと同じことをさせようと試みてきた。つまり、スコアを見て、人間らしく、自然で、感情に満ちた演奏を生成させることである。課題は、一つの楽曲に対して「正しい」演奏方法が一つではないということだ。あらゆる可能な演奏の平均値を単に計算するだけのコンピュータは、しばしば平坦で生命感のないものを作り出してしまう。ピアノ演奏の芸術を真に捉えるためには、機械は、単一のスコアが多くの有効で表現力豊かな解釈を許容することを理解しなければならない。

ロンドン大学クイーン・メアリー校とニューヨーク大学の研究チームは、YQX+と呼ばれる新しいフレームワークを用いて、この問題に取り組んだ。単に音楽を生成する一つのシステムを構築するのではなく、彼らは、異なる種類のコンピュータモデルが、人間の表現力を予測するという課題にどのように対処するかを確認するための、標準化されたテスト場を作り上げた。すべてのランナーが同じスタートラインから出発し、同じトラックを走り、同じルールで判定されるレースを想像してほしい。この研究以前は、異なる研究グループがそれぞれ独自のトラックを作り、速度の測り方も異なっていたため、どのランナーが本当に最も速いのかを判断することが不可能であった。研究者たちはYQX+によって、そのトラックを整備したのである。彼らは、音の高さ、フレーズ内での位置、そして「強く」や「弱く」といった楽譜上の指示など、すべてのモデルが見るべき特定の音楽的特徴を定義した。また、すべてのモデルが予測すべき特定の出力も定義した。すなわち、テンポの速さ、鍵盤を叩く強さ、タイミングの揺らぎ、そして音の余韻の長さである。すべてのモデルに同じルールに従わせることで、チームはついに公平な比較を行うことができた。

チームは、古い統計的手法から現代の複雑なニューラルネットワークに至るまで、多種多様なコンピュータモデルをテストした。彼らは数千曲のクラシック音楽を用いてこれらのモデルを訓練した。そこでは、コンピュータは書かれたスコアと、それを人間が演奏した際の録音の両方を見ることができる。目標は、どのモデルが人間が行うであろう表現的な選択を最も上手く推測できるかを確認することであった。結果は、より大規模で強力なモデル、具体的には一種の決定木ベースの学習システムと、隠れたパターンを学習するために設計された一種のニューラルネットワークが、最も優れた性能を示すことを示した。これらのトップモデルは、以前のシステムよりも正確に、タイミングとダイナミクスを予測することができた。彼らは単に音符を推測したのではなく、音楽に生命を吹き込むリズムの微妙な押し引きを捉えたのである。

しかし、コンピュータがどれほど上手くピアノを弾けるかを測定するのは難しいことである。コンピュータは、生の数値としては人間の演奏に非常に近い値を出せても、人間の耳にはロボットのように聞こえることがある。これを解決するために、研究者たちはPerformanceMOSと呼ばれる新しいツールを導入した。これは、人間がどれほど演奏を楽しむかを予測するように訓練された、一種のデジタルな審判である、データ駆動型の推定器である。これは、スキルの高さ、流暢さ、そして表現力について人間の専門家によって評価された、膨大なピアノ演奏のデータセットを用いて訓練された。研究者たちは、モデルの出力をスコア化するためにこのツールを使用した。結果は明白であった。彼らの新しいフレームワークによる最高のモデルは、現在利用可能な最も高度なシステムと同等、あるいは場合によってはそれ以上のスコアを獲得した。

念のため、チームは40人の人間参加者によるリスニングテストも実施した。カジュアルな音楽ファンから経験豊富な奏者までを含むこれらのリスナーは、コンピュータが生成した演奏を0から100のスケールで評価した。彼らは、それがどれほど自然に聞こえるか、リズムがいかに自由であるか、そしてどれほど表現力豊かであるかを判断した。結果は、コンピュータのスコアが示唆していた内容を裏付けるものとなった。新しいフレームワークを用いたモデル、特に決定木およびニューラルネットワークのアプローチは、既存の最高水準のシステムと同等の評価を得た。それらは自然で、音楽的に説得力のある響きを持っていた。興味深いことに、本研究では、単にモデルを複雑にすれば必ずしも優れたサウンドが保証されるわけではないことも判明した。モデルの訓練方法や、与えられた特定の特長（特徴量）こそが、それと同じくらい重要なのである。

研究者たちはまた、これらのモデルは単一の音の詳細を予測することには優れているものの、楽曲全体を通じて起こる壮大で、うねるようなテンポや感情の変化を捉えることには時として苦戦することも発見した。このことは、コンピュータは表現の局所的な詳細については非常に上手くなっているものの、より広範な音楽的物語（ナラティブ）を捉えることは依然として課題であることを示唆している。本研究は、YQX+が将来の研究のための強固な基礎を提供すると結論づけている。それは、新しいアイデアをテストするための明確で公平な方法と、人間がコンピュータ生成の音楽にどのように反応するかを推定するための信頼できるツールであるPerformanceMOSを提供している。この研究は、音楽的表現の謎を解明したと主張するものではないが、音楽がどのように機能するかを見るための、より優れた顕微鏡を作り上げ、機械が演奏の魂を真に理解できるようになることに一歩近づいたのである。