From Prediction to Collaboration: Interactive Symbolic Music Analysis

音楽探偵の新しいツールキット

あなたは謎を解こうとしていると想像してください。ただし、手がかりは犯罪現場に残されたものではなく、楽譜です。音楽科学の世界には、「ローマ数字分析」と呼ばれる特別な仕事があります。それは、歌を一種の秘密のコードに翻訳し、それぞれのコードが何をしているのか、そして曲のキーの中にどのように適合しているのかを正確に伝えるようなものです。長い間、コンピュータはこの翻訳を自動で行うために進化してきましたが、通常は「硬直したロボット」のように動作します。曲全体を入力すると、答えを一度にすべて吐き出すのです。もしロボットが途中で小さなミスをしても、その一点だけを修正することはできず、最初からやり直さなければなりません。しかし、本物の音楽の専門家は、そのような働き方はしません。彼らは聴き、推測し、奇妙な箇所を見つけ、考えを変え、ステップ・バイ・ステップで推測を洗練させていくのです。この論文は、シンプルながらもトリッキーな問いを投げかけています。「単に音楽を予測するだけでなく、人間と『協調』できる、修正や欠落した部分の補完を随時行えるコンピュータを構築できるだろうか？」

「一発勝負」の推測から「音楽的な対話」へ

この研究の背後にいる研究者、エマヌエル・カリスティナイオスとそのチームは、音楽分析を単純な「全体を当てる」ゲームとして扱うのをやめることにしました。代わりに、彼らはより「有能な副操縦士（コパイロット）」のように機能する新しいシステムを構築しました。従来のスタイルのコンピュータモデルを、答えを書き留める前に自分の答え合わせをしない学生だと考えてみてください。もし15問目の答えを間違えたとしても、ページ全体を消去することなく簡単に変更することはできません。著者たちがRNHybridと呼ぶ新しいシステムは、もっと「賢い勉強仲間」に近いものです。それは曲全体を見渡すことができますが、同時に「ねえ、ここはGメジャーのコードだと思うよ」と伝えると、その新しいアイデアに合わせて、すべてが依然として整合性が取れているかを確認するために、残りの曲を即座に再計算します。

これを構築するために、チームは2つの強力なAIの「脳」を組み合わせました。一つ目はMusicBERTで、これは何百万もの曲を読み込み、音楽の一般的な「雰囲気」や文脈を理解している「超読解者」のようなものです。二つ目はグラフベースのモデルで、これはすべての音符をその隣接する音と結びつけ、時間的および調和的にどのように関連しているかを理解する「地図」のようなものです。これら二つを融合させることで、システムは両方の良いところを兼ね備えることができます。つまり、大局的な視点と細部のディテール、その両方を把握できるのです。

このインタラクティブな仕組みを実現するために、チームは巧妙なトリックを導入しました。通常、非常にスマートなAIモデルを実行するには、多くの時間と計算能力が必要です。しかし、このチームは、その重い作業を「一度だけ」行い、その成果を再利用する方法を見つけ出しました。街の詳細で巨大な地図を一度だけ作成することを想像してください。もし「家」から「学校」へのルートを変更したい場合、街全体を描き直す必要はありません。既存の地図の上に新しい線を引くだけでよいのです。これにより、人間が分析者が音符をクリックして「これを変えて」と言ったとき、コンピュータは即座に反応できるようになり、操作が遅くて使いにくいものではなく、スムーズで自然なものになります。

彼らが発見したこと（と、発見できなかったこと）

チームは、Dilemmadataと呼ばれる膨大な音楽データコレクションを用いて、新しいシステムをテストしました。これは、この種のテストセットの中で最大かつ最も多様なものです。数値が示す内容は以下の通りです：

• ブラインド予測： システムが何の助けも得ずに（目隠しをした状態でテストを受ける学生のように）曲全体を推測しなければならないとき、非常に優れたパフォーマンスを発揮しました。テストの一部分では、「ローカル・キー」を約**84.6%の確率で正解し、完全なローマ数字のラベルを約57.6%**の確率で正解しました。これは従来のほとんどのモデルよりも優れた結果であり、「超読解者」と「地図作成者」を混ぜ合わせることが本当に効果的であることを示しています。
• 「穴埋め」の力： ここがシステムの真骨頂です。研究者がモデルにいくつかの正しいラベルを与えたとき（例えば、「曲の最初の5%は正しいことがわかっている」と教えるなど）、そして残りを埋めるよう求めたとき、その精度は劇的に跳ね上がりました。ラベルがわずか**5%しか既知でない状態でも、残りの部分を約57.7%の確率で正解しました。しかし、既知のラベルが増えるにつれて、パフォーマンスは着実に上昇しました。ラベルの95%が既知であるとき、モデルは欠落している部分を83.1%**の確率で正解しました。これは、モデルが人間の分析者のように、部分的な手がかりを使って残りの部分を導き出すことに非常に優れていることを証明しています。
• 「修正」ツール： 彼らはまた、音符をクリックすると、そのコードが何であるかについてのトップ3の推測が表示されるプロトタイプ・インターフェース（視覚的ツール）も構築しました。もしあなたが一つを選択すると、システムは、あなたの選択と一致する分析箇所を緑色で、一致しない箇所を赤色でハイライトします。これにより、人間はコンピュータがなぜそのような推測をしたのかという理由を知ることができ、簡単に修正を行うことができます。

論文が「すべきではない」と述べていること

著者が明確に否定した重要な点があります。彼らは、モデルが答えを推測した後にそれらを修正するための、複雑な「ビームサーチ」（一度に多くの経路を試そうとする手法）のような、派手な「後処理」のテクニックをいくつかテストしました。驚くべきことに、モデルがゼロから（盲目的に）曲全体を推測しているとき、これらの派手なテクニックは結果を悪化させるか、あるいは全く役に立ちませんでした。著者たちは、これらの複雑なツールは盲目的な予測のためのものではなく、人間がすでにいくつかの正しい答えを提供している「穴埋めモード」のために設計されたものであると示唆しています。これらを盲目的な予測に使用しようとすることは、高い性能を持つ顕微鏡を使って山を見ようとするようなものであり、その特定の仕事に対しては間違った道具なのです。

大きな展望

この論文は、音楽分析を永遠に解決したとか、あらゆるミュージシャンにとって完璧なツールを作ったと主張しているわけではありません。むしろ、音楽分析を単なる「予測問題」としてではなく、「協調問題」として捉えるべきだと提案しています。結果が示しているのは、強力な予測能力と、人間の編集や部分的な手がかりを受け入れる能力を組み合わせることで、実際の音楽作業に従事する人々にとって真に有用なツールを構築できるということです。著者たちは、この分野の未来は、コンピュータを単独で賢くすることではなく、私たちがそこから学ぶのと同様に、コンピュータが私たちから学ぶことができるような、柔軟なパートナーにすることにあると考えています。彼らは今後、この「副操縦士」的なアプローチが、実際に音楽学者の作業をスピードアップさせ、分析をより良くするかどうかを確認するために、実際の音楽学者たちと協力してさらなる検証を行う予定です。