Learning to Predict Performance-induced Emotion Differences in Classical Piano Music

音楽を、私たちの感情に直接語りかける巨大で目に見えない言語だと想像してみてください。数十年にわたり、コンピュータに音楽を理解させる方法を研究する科学者たち（音楽情報検索と呼ばれる分野）は、マシンに曲の「感情」を教えようと試みてきました。通常、彼らは楽譜そのもの、つまり音符やテンポ、あるいは曲が明るい長調か悲しい短調かといった点に着目します。それは、役者の姿を一度も見ることなく、劇の台本だけを読んでその人の気分を推測しようとするようなものです。しかし、私たちは同じ台本であっても、表現方法は百通りあることを知っています。ある役者は悲痛な悲しみを持って囁くこともあれば、別の役者は怒りに満ちたエネルギーで叫ぶこともあるでしょう。これからお読みいただく論文は、まさにこの特定の謎に迫ります。コンピュータは、音楽家がどのように演奏しているかという「微細で目に見えない違い」を見抜き、それを利用してその音楽が私たちをどのように感じさせるかを予測できるのでしょうか？

この研究の背後にいる研究者たちは、「台本」（作曲）を見るのをやめ、完全に「役者」（演奏者）に焦点を当てることに決めました。彼らは、J.S.バッハによる同じクラシック・ピアノ曲の有名な録音6件を、6人の異なる世界的なピアニストによる演奏として集めました。楽譜はすべて同一であるため、音楽の感じ方の違いはすべて、ピアニスト独自のタッチ――速さ、強弱、そして音のつなぎ方――に由来することになります。研究チームは、音符そのものを無視し、これらの演奏のテクニックのみに着目する特別な「感情デコーダー」を構築しました。その結果、コンピュータが演奏を聞いて曲の「正確な」感情を当てることは難しいものの、ある演奏が別の演奏とどのように異なるかを予測することには驚くほど優れていることが判明しました。言い換えれば、コンピュータは曲が「悲しい」かどうかは分からなくても、ピアニストAのバージョンはピアニストBのバージョンよりも「エネルギッシュで、陰鬱さが少ない」ということを確実に伝えることができるのです。

「感情デコーダー」の物語

クラシックのピアノ曲を、ケーキのレシピのようなものだと考えてみてください。レシピ（楽譜）は、小麦粉、砂糖、卵をどれくらい使うかを正確に指示しています。しかし、想像してみてください、二人の異なる職人が全く同じケーキを作っているところを。一人の職人は少し長めに焼き、少し乾燥してカリカリとしたものを作るかもしれません。もう一人の職人は、より勢いよく生地を混ぜ、ふわふわとしたものを作るかもしれません。材料が同じであっても、最終的な味は異なります。音楽の世界では、これらの「焼き方のテクニック」は**パフォーマンス・ニュアンス（演奏の機微）**と呼ばれます。これらには、音符をわずかに早く、あるいは遅く弾くこと（タイミング）、鍵盤を強く、あるいは弱く叩くこと（ダイナミクス）、そして書かれた通りよりも音を長く、あるいは短く保つこと（アーティキュレーション）が含まれます。

長い間、音楽の感情を理解しようとするコンピュータは、材料リストだけを見ているフードクリティック（料理評論家）のようでした。彼らは、砂糖が多いレシピは通常甘い味になることは知っていましたが、なぜある職人のケーキは「怒っている」ように感じられ、別の職人のケーキは「喜んでいる」ように感じられるのかを説明できませんでした。ジョアン・チンとゲルハルト・ヴィドマー率いるこの研究は、大胆な問いを投げかけました。「もし材料を完全に無視して、ただ職人の手だけを研究したらどうなるだろうか？」

これを行うために、研究者たちはCP-WTCと呼ばれるデータセットを使用しました。これはバッハの『平均律クラヴィーア曲集（第1巻）』の録音を含むものです。このコレクションは、この種の研究にとって宝の山です。なぜなら、バッハは音楽をどのように演奏すべきかについての具体的な指示をほとんど書き残しておらず、演奏者に「焼き方の指示」を広く開放していたからです。これにより、6人の有名なピアニスト――グレン・グールド、フリードリヒ・グルダー、アンジェラ・ヒューイット、スヴャトスラフ・リフテン、アンドラス・シフ、ロザリン・トゥレック――が、同じ48曲に対して自分自身のユニークな解釈を加えることができたのです。

チームは、パフォーマンス・コーデックと呼ばれる特別なツールを作成しました。これは、オーディオ録音を聴き、ピアニストの物理的な動作を、すべての音符に対して以下の4つの単純な数値に変換するハイテクな翻訳機だと想像してください。

1. 拍周期（Beat Period）: ピアニストが書かれたスコアに対して、どのくらい速いか、あるいは遅いか。
2. 速度（Velocity）: 鍵盤をどれくらい強く叩くか（これは音の大きさを制御します）。
3. タイミング（Timing）: 音符をわずかに早く弾いているか、あるいは遅く弾いているか。
4. アーティキュレーション（Articulation）: 書かれた長さに対して、音をどのくらいの長さ保持するか。

決定的なのは、このツールは「何の音を弾いているか」という情報をすべて捨て去るということです。それは、どのように弾かれているかだけにのみ関心を持ちます。これにより、コンピュータが「悲しい」マイナーキーの性質に頼ることができなくなり、純粋に演奏スタイルから感情を導き出さなければならなくなります。

課題：「平均」の問題

研究者たちはまず、これらの4つの数値を用いて、コンピュータに演奏の正確な感情を推測させることを試みました。彼らはコンピュータにこう尋ねました。「この演奏は幸せですか、それとも悲しいですか？ それとも穏やかですか、それとも刺激的ですか？」これらを測定するために、バレンス（快・不快）（感情がいかにポジティブか、あるいはネガティブか）と、アローザル（覚醒度）（感情がいかに穏やかか、あるいはエネルギッシュか）という2つの尺度を用いました。

結果は、少し期待外れなものでした。コンピュータは、演奏の「正確な」感情を当てるのに苦労しました。それは、一人の人物のコートだけを見て、部屋の温度を推測しようとするようなものです。大まかな傾向は掴めるかもしれませんが、大きく外れることもあるでしょう。コンピュータは、演奏の表現力を過小評価する傾向がありました。実際の音符（「レシピ」）を知らなければ、コンピュータは感情を正しく定着させることができないようです。

しかし、研究者たちには素晴らしい「プランB」がありました。「正確な感情は何か？」と問う代わりに、「この演奏は平均からどのように異なるのか？」と問うたのです。

彼らはDelta-VAと呼ばれる新しいフレームワークを考案しました。架空の「平均的な」演奏、例えばロボットによって演奏される平坦で退屈なバージョンを想像してください。Delta-VAモデルは、実在の演奏が感情マップのどこに位置するかを予測しようとはしません。代わりに、そのロボットの平均値から、実際の人間による演奏へのベクトル（方向と距離）を計算します。

これは、道案内をするようなものだと考えてください。「宝物は座標45, 90にあります」と言う代わりに、中心を知らなくても答えやすい方法として、「中心から北に5歩、東に3歩進んでください」と言うようなものです。たとえコンピュータが開始地点を特定するのが完璧でなかったとしても、宝物を見つけるために進むべき「方向」を記述することについては、非常に優れた能力を発揮します。

結果：方向を正しく捉える

この新しい「Delta-VA」アプローチをテストしたとき、結果は非常に興味深いものでした。モデルは、演奏間の「違い」を予測することにおいて格段に優れた能力を示しました。

• 方向（The Direction）: モデルは方向を正しく捉えることにおいて非常に正確でした。もしピアニストAのバージョンがピアニストBよりもエネルギッシュであれば、モデルはその方向を指し示しました。実際、演奏のペアを比較した際、モデルによる「差」の予測は真実にほぼ完璧に一致しており、平均誤差はわずか約8.4度（0度が完璧な状態）でした。
• 大きさ（The Magnitude）: しかし、モデルは「差の大きさ」については少し控えめでした。モデルは「確かに、この演奏はよりエネルギッシュである」とは言えるのですが、「どの程度」エネルギッシュなのかまでは言えませんでした。モデルは数値を圧縮してしまい、大きな違いを小さく見せてしまう傾向がありました。マグニチュード・レシオ（大きさの比率）は約0.48であり、これはモデルが予測した「差」が、実際よりも約半分程度の大きさであったことを意味します。

これを可視化するために、2人のピアニストが同じ曲を演奏している場面を想像してください。一人は情熱的でドラマチックな表現で弾き、もう一人は穏やかで眠たげなタッチで弾いています。Delta-VAモデルは、情熱的な方が穏やかな方よりも「よりポジティブで、よりエネルギッシュである」という方向を正しく識別しました。しかし、実際の差が非常に大きな隔たりであったとしても、モデルはその差を「中程度の差」として記述しました。モデルは感情の「方向」は正しく捉えましたが、「強さ（インテンシティ）」については過小評価したのです。

なぜこれが重要なのか

この研究は、コンピュータが、曲の正確なムードを説明する必要がある人間の音楽批評家に取って代わる準備ができているとはまだ言えないものの、演奏を比較することについては非常に得意になりつつあることを示唆しています。これは、音楽推薦システムなどの分野において大きな前進です。

あなたがバッハの曲を聴いていて、「この録音は好きだけど、もう少し悲しさを抑えて、もっとアップビートな感じにしたい」と思ったとしましょう。これまでは、コンピュータは単に全く別の曲を推薦していたかもしれません。しかし、Delta-VAのようなモデルがあれば、コンピュータは自身のライブラリ内の録音を調べ、「同じ曲の、別のピアニストによる、もう少しアップビートで明るいバージョンの録音はこちらです」と言うことができるのです。

研究者たちは、これらの演奏の特徴（タイミング、強弱など）が、演奏者間で意味のある形で変化していることを確認しました。これらは単なるランダムなノイズではなく、音楽がどのように感じられるかについての真の信号を運んでいます。絶対的な値ではなく「差異」に焦点を当てることで、チームはコンピュータに、音楽の解釈という繊細な人間の芸術を理解させる方法を見出したのです。

結局のところ、この論文は音楽的感情の謎を解明したと主張しているわけではありません。代わりに、より実用的で新しい視点を提示しています。もし私たちが、コンピュータに「演奏が曲の感情をどのように変化させるか」を理解させたいのであれば、ゼロから感情を推測させるのではなく、「ある演奏が標準からどのように感情をシフトさせているか」を記述させるべきだということです。これは視点の小さな転換ですが、それによってコンピュータは、より人間らしい方法で音楽を捉えることができるようになるのです。