CANTABILE: Learning Expressive Dynamics for Robotic Piano Performance

数十年にわたり、ロボットに人間らしい感触を与えるという夢は、ピアノを中心に展開されてきました。それは機械にとって、一見単純に見える舞台です。88個の鍵盤、二つの手、そして最も繊細な手術にも匹敵するほどの精密さへの要求。ロボティクスの世界において、ピアノ演奏は器用さを測る標準的なテストとなってきました。それは、機械が二つの複雑な手を協調させ、正確な瞬間に特定の鍵盤を叩けるかどうかを確認するための手段です。長い間、この領域における成功は、単一の硬直した基準、すなわち「ロボットが正しいタイミングで正しい音を奏でたか」によって測定されてきました。もしロボットが間違った鍵盤を叩くことなく正しいメロディを奏でれば、それは成功とみなされてきました。しかし、この指標は音楽の魂を見落としていました。ピアノは単に鍵盤を叩く機械ではありません。音の音量や感情的な重みは、ハンマーがいかに速く弦を叩くかに完全に依存する楽器なのです。穏やかなタッチは囁きを生み出し、素早い打撃は咆哮を生み出します。これまで、ロボットは音を奏でることはできても、感情を奏でることはできませんでした。なぜなら、それらを訓練するために使用されたシステムは、指の配置の正確さのみを重視し、打撃の速度には関心を払わなかったからです。

韓国のKAISTとDGISTの研究チームは、その状況を変えるために「CANTABILE（カンタービレ）」と呼ばれる新しいシステムを構築しました。彼らの研究は、ロボットが音楽を学ぶ方法における根本的なギャップに対処しています。これまでのロボットにピアノのダイナミクス（強弱）を教えようとする試みは、しばしば失敗に終わっていました。なぜなら、ロボットが「トリック」を学習してしまったからです。高い音量を出すためのスコアを得るために、ロボットは制御が難しい難解な音符を演奏することを止めてしまったのです。こうした難しい部分を省略することで、ミスをするリスクを回避し、データ上は完璧に見えても、現実には不完全な演奏になってしまいました。研究者たちは、ロボットに真の表現力を教えるためには、二つのことを同時に意識させなければならないことに気づきました。それは、「楽譜にあるすべての音を叩くこと」と、「それぞれの音を正しい強さで叩くこと」です。彼らは、打鍵の速度を、音を叩くこと自体と同じくらい重要な主要目標として扱う学習フレームワークを設計しました。

彼らの革新の核心は、書かれた楽譜とロボットの指の物理的な動きを直接結びつける手法にあります。従来のセットアップでは、コンピュータがロボ理に鍵盤を押すよう指示し、ロボットは一定の速度でそれを行います。しかし、CANTABILEは、次にどのような音が求められているかを楽譜を見て先読みします。もし楽譜が大きな音を求めているなら、システムはこれを予測し、ロボットの指をより速く動くよう導きます。決定的なのは、システムが鍵盤が押された瞬間の実際の速度を測定し、その物理的な速度を音量のデジタル言語へと変換することです。これにより、ロボットが自身の行動の結果を確認できるクローズドループ（閉ループ）が形成されます。もし叩き方が弱すぎれば、ロボットは即座にそれを知ることになります。また、研究者たちは、ロボットが音符をスキップすることを防ぐルールも導入しました。システムは、ロボットが音符を弾くだけでなく、かつ音量も正しく制御できた場合にのみ報酬を与えます。もしロボットが音量のエラーを避けるために難しい音符を飛ばした場合、ペナルティが課されます。これにより、ロボットはメロディを犠牲にすることなく、速度を制御する方法を学ぶことを余儀なくされるのです。

このアプローチをテストするために、研究者たちは、強弱の幅が広い箇所を多く含むように特別に選定された51曲の新しいセットを作成し、これを「EXPRESSIVE-51」と名付けました。彼らは、自分たちの新しいシステムを、従来の最高の手法と比較しました。従来の手法は、正しい音を叩くことには優れていましたが、音量の制御については極めて劣っていました。結果は、能力の劇的な変化を示しました。旧来のシステムは正しい音を約78%の確率で奏でることができましたが、意図した音量に合わせる能力はほとんど皆無であり、タイミングと音量の両方を測定する尺度においてほぼゼロに近いスコアでした。新しいシステムであるCANTABILEは、この複合的なスコアを大幅に向上させ、従来の手法の性能を2倍以上に高め、音量の誤差を半分以下に削減しました。ロボットはもはや単に音を叩いているのではなく、楽譜が求める通りに、静かな囁きから力強い宣言へと、ダイナミックな形状を描きながら音楽を奏でていたのです。

研究者たちは、ロボットが「何を」学ぶかと同じくらい、「どのように」学ぶかも重要であることを発見しました。彼らは、ロボットに最初からすべて（手の動かし方、どの鍵をどの速度で叩くかなど）を一度に教えようとすると、混乱を招くことが多いことを突き止めました。代わりに、彼らは二段階のプロセスを採用しました。まず、「ベースとなる」ロボットに、従来のシステムと同様に正確に音を奏でるよう訓練しました。次に、そのベースを固定し、指の動きだけに特化した小さな専門的な学習レイヤーを追加しました。この微細な調整レイヤーは、ベースとなるロボットがすでに習得していた緻密な手の協調性を乱すことなく、音量を正しくするために指の打撃速度を微調整することを学習しました。このアプローチにより、ロボットは正確性を失うことなく、表現力を洗練させることが可能になりました。さらに、このシステムはリアルタイムでの制御が可能であることも示されました。ロボットに「もっと大きく」あるいは「もっと小さく」という単純なコマンドを与えるだけで、システムは演奏全体を即座に調整し、再学習させることなく音楽の音量を上下させることができました。

結果は目覚ましいものですが、研究者たちは自らの研究の限界についても慎重に言及しています。この研究全体は、現実世界の物理的なピアノではなく、非常に詳細なコンピュータ・シミュレーション内で行われました。鍵の速度とそれが生み出す音の関係は複雑かつ非線形であり、システムは、その隔たりを埋めるために数学的な近似を使用しています。チームは、これを実物のロボットが実物のピアノを弾く形でまだテストしておらず、これはこの分野における大きな課題として残っています。加えて、現在のシステムは音量の制御のみに焦点を当てており、音楽のテンポ（速度）や音の分離といった、音楽的表現の他の重要な要素はまだ制御していません。これらの制限はあるものの、この研究は明確な進むべき道を示しています。ロボットに自身の行動がもたらす物理的な結果を認識させ、正確さと表現力のバランスを取らせることで、研究者たちはロボットのピアノ演奏を、単なる機械的な演習から、真の音楽演奏の領域へと押し上げたのです。機械はもはや単に鍵盤を叩いているのではありません。自らが作り出す音楽に耳を傾けることを学んでいるのです。