技術要約：Equivariant Music Transformer (EMT)

1. 問題提起

人間は、時間的なずれ（オンセットの遅延）や音高の移調に関わらず、音楽的なパッセージを認識できるという先天的な能力を持っています。この知覚的な不変性は、**等変性（equivariance）**という概念に対応します。すなわち、入力空間における変換が、出力表現空間における予測可能な対応する変換を生み出すという性質です。

しかし、著者らの分析によれば、標準的な記号的音楽トランスフォーマーには重大な欠陥があることが明らかになりました。これらのモデルは、次トークン予測においては成功しているものの、等変性を維持することには失敗しています。モデルの規模が大きくなったり、学習が長くなったりするにつれて、それらは次第に等変性が低下していくのです。標準的なトランスフォーマーは、共有された音楽構造を学習する代わりに、絶対的なパターン（特定のトークンの位置や音高）を記憶するために、より多くの容量を割り当てるようになります。その結果、音楽的に等価な入力（例：あるメロディとその移調されたバージョン）であっても、潜在空間内では遠く離れた相関のない表現へとマッピングされてしまい、シフトされた入力に遭遇した際に性能が低下するという結果を招きます。

これに対処するための既存のアプローチには、以下のようなものがあります：

• 入力レベルの特徴量エンジニアリング： 相対的な属性（例：Fundamental Music Embedding）を用いて音楽をエンコードする。
• 潜在空間の修正： 相対的な位置エンコーディングを含める。
• データ拡張： データをシフトさせたバージョンを用いて学習を行う。

本論文は、これらの手法はモデルレベルでの等変性を強制するものではなく、標準的な次トークン予測の目的関数だけでは、音楽の並進対称性を捉えるには不十分であると主張しています。

2. 手法

著者らは、二つの目的関数を共同で最適化することにより、自己蒸留を通じて等変性を強制する生成トランスフォーマー・アーキテクチャである**Equivariant Music Transformer (EMT)**を提案しています。

アーキテクチャと損失関数

モデルは、重みを共有するメイン・ブランチと補助ブランチで構成されます：

1. メイン・ブランチ（次トークン予測）： $x_0 \dots x_{t-1}$ というシーケンスが与えられたときに次のトークン $x_t$ を予測する、標準的な自己回帰的学習。クロスエントロピー損失 ($L_{NTP}$) を使用します。
2. 補助ブランチ（等変性正則化）：
   • 入力シーケンス $x$ に対して、ランダムな音楽的変換 $T$（音高および時間的なシフトを含む）を適用し、$T(x)$ を作成します。
   • 重みを共有するトランスフォーマーが $T(x)$ を処理し、出力確率 $p^T$ を生成します。
   • モデルが等変であるならば、$p^T$ は元の予測 $p$ と同一であり、かつ $T$ によってシフトされているはずです。
   • 著者らは $p^T$ に逆変換 $T^{-1}$ を適用し、元の予測（ストップグラディエントを適用したもの）とシフトされた予測との間のKLダイバージェンスを計算します：
     $$L_{equiv} = \frac{1}{t} \sum_{i=1}^{t} KL(\text{sg}(p_i) \parallel T^{-1}(p^T_i))$$
   • ストップグラディエント操作により、メイン・ブランチが安定したアンカーとして機能し、シフトされたブランチがシフトされていないデータに対するモデルの現在の理解に整合するように強制します。

総目的関数は、以下の加重和となります：
$$L_{total} = L_{NTP} + \lambda L_{equiv}$$

アーキテクチャの修正

EMTは、FME（Fundamental Music Embedding）とMRA（Multi-dimensional Relative Attention）を通じて特徴レベルの等変性を組み込んでいるMoonbeam [9] のアーキテクチャに基づいています。主な修正点は以下の通りです：

• 入出力空間全体で変換を容易に適用できるよう、相対的なオンセットではなく絶対的なオンセットを予測し、オクターブ/音高クラスのトークンを統合すること。
• 局所的な相互依存関係を捉えるために、GRUデコーダーをトークン遅延パターンに置き換えること。
• 表現力を高めるために、入力を結合するのではなく、入力埋め込みを追加すること。

3. 主な貢献

1. スケーリングに関する実証的証拠： 本論文は、等変性はスケーリングから創発するものではないという最初の経験的な証拠を提示しています。次トークン予測損失のみで訓練された標準的な記号的音楽トランスフォーマーは、モデルが大型化したり学習が進んだりするにつれて、構造的な汎化よりも絶対的なパターンの記憶を優先するため、次第に等変性が低下します。
2. Equivariant Music Transformer (EMT)： 自己蒸留を介して等変性を強制する、モデルレベルの正則化損失の導入。このアプローチは、入力レベルの特徴量エンジニアリングやデータ拡張単体よりも強力な正則化手法であることが示されています。
3. 二重の改善： 補助的な等変性損失は、人間の知覚と一致する（等変な）潜在表現を生み出すだけでなく、検証用次トークン予測損失の低下によって示されるように、生成能力をも向上させる有益な正則化として機能します。
4. 相補性： 本研究は、モデルレベルの正則化が特徴レベルの等変性（FME + MRA）に対して相補的であることを示しており、これらを組み合わせることで最良の結果が得られることを実証しています。

4. 実験結果

客観的評価

• 生成能力： EMTは、データ拡張のみ、あるいは特徴レベルの等変性のみを用いたすべての内部バリアントの中で、最も低い検証クロスエントロピー損失 ($L_{NTP}$) を達成しました。
• 等変性指標： EMTは、ベースラインと比較して、$L_{equiv}$、Top-1マッチング精度、およびTop-5ジャカード類似度において優れた性能を示しました。
  • スケーリングの傾向： ベースラインモデル（Anticipatory Music Transformer）は、モデルサイズが増大（Small $\to$ Medium $\to$ Large）し、学習ステップが増加（100k $\to$ 800k）するにつれて、明確な等変性の劣化を示しました。
  • 正則化の有効性： モデルレベルの正則化を持つモデル（EMT）は、学習を通じて等変性を維持または向上させましたが、正則化のないモデルは劣化しました。データ拡張のみでは、明示的な損失関数と比較して、未知のシフトに対する汎化性能が弱くなりました。

主観的評価（リスニングテスト）

• 堅牢性： 14人の参加者によるMOS（平均意見スコア）テストにおいて、EMTは音楽的にシフトされたプロンプト（音高の移調 $\pm$6半音、オンセットのシフト最大1秒）に対しても一貫した品質を維持しました。
• 劣化： ベースラインモデル（Anticipatory）は、シフトされた入力でプロンプトを与えられた際、「滑らかさ」および「楽しさ」のスコアが大幅に低下し（それぞれ $\Delta$MOS 0.58 および 0.73）、初期段階で不自然な継続を生成することがよくありました。一方、EMTの劣化は最小限でした（$\Delta$MOS 0.20 および 0.30）。
• 無条件の品質： ベースラインよりも約1.3倍小さいサイズであるにもかかわらず、EMTは同等の無条件生成品質（シフトなしの楽しさスコア：3.02 対 2.98）を達成しました。

5. 意義と主張

本論文は、標準的な言語モデリングの手法だけでは、音楽に内在する並進対称性を捉えるには不十分であると主張しています。著者らは、より優れた音楽表現を生み出すためには、専用の**帰納バイアス（inductive biases）**が必要であると述べています。

本研究の意義は、以下の点にあります：

1. 等変性は大規模な自己回帰的学習から創発する特性ではないということ。それは明示的に強制されなければなりません。
2. モデルレベルの正則化（損失関数を介したもの）は、データ拡張や特徴量エンジニアリング単独よりも、等変性を強制するためのより効果的で汎用性の高い戦略であること。
3. 等変性を強制することは、生成性能を犠牲にするものではなく、むしろモデル容量のより効率的な利用につながり、構造的な堅牢性と生成品質の両方を向上させること。

著者らは、EMTが人間の知覚により近い音楽表現を生成し、変動する入力条件下での記号的音楽生成に対する堅牢なソリューションを提供すると結論付けています。