Latent Space Disentanglement via Activation Steering for Interpretable Attribute Control in Symbolic Music Generation

技術要約：記号論的音楽生成における解釈可能な属性制御のための、活性化ステアリングによる潜在空間の脱絡み合い

問題提起
Transformerベースのアーキテクチャは複雑な記号的シーケンスの生成を進展させてきたが、離散的な信号属性に対してきめ細かく解釈可能な制御を実現するには、依然として大きな隔たりが存在する。既存のモデルは多くの場合「ブラックボックス」として機能しており、高次元の内部活性化と離散的な出力属性（ピッチや音価など）との関係性は不明瞭である。現在の制御可能な合成手法は、計算コストの高い再学習、複雑なアーキテクチャの変更、あるいは特定の内部状態の操作に必要な粒度に欠けるグローバルな条件付けに依存することが多い。モデルの重みを最適化することなく、推論時に生成プロセスを阻害せずに精密な介入を行う手法への切実なニーズがある。

手法
本論文では、Symbolic Orchestral Database (SOD) で学習されたデコーダーのみのアーキテクチャであるMultitrack Music Transformer (MMT) のメカニスティックな解釈可能性を調査する。著者らは、線形表現仮説 (Linear Representation Hypothesis) に基づいた、推論時の活性化ステアリング (inference-time activation steering) による決定論的な属性変調フレームワークを提案している。

1. ベクトル抽出 (DiffMean): 著者らは、DiffMean（平均の差）手法を用いて、モデルの残差ストリーム内にある特定の属性（平均音高および平均音価）の潜在方向を分離する。SODコーパスを分析することで、「高」および「低」の概念クラスター（20パーセンタイルおよび80パーセンタイルに基づく）を定義し、これらのクラスター間の重心の差としてステアリングベクトルを算出する。
2. 層感度分析: フォワードフックを通じて、すべてのデコーダーブロックにおける残差ストリームの活性化をインターセプトする。感度分析により、音価（Note Duration）は初期層（レイヤー2でピーク）で最も線形分離可能であり、音高（Note Pitch）はより深い層（レイヤー11でピーク）で最も分離可能であることが明らかになった。
3. ステアリング・メカニズム: 推論中、隠れ状態はステアリングベクトルをスケーリングして注入することで修正される ($h^{(l)}_{steer} \leftarrow h^{(l)} + \alpha v^{(l)}$)。著者らは注入戦略を評価し、All-to-All アプローチ（各層に層固有のベクトルを注入する手法）が、ステアリングの強力さと生成品質の間の最も堅牢なトレードオフをもたらすことを見出した。
4. デュアル・ステアリングと脱絡み合い: 特徴量の絡み合い（例：高いピッチと短い音価の自然な相関）に対処するため、本論文ではデュアル・ステアリング・フレームワークを導入する。ここでは、単純なベクトル加算とグラム・シュミットの直交化 (Gram-Schmidt Orthogonalization) を比較する。具体的には、「ピッチ優先 (Pitch Priority)」戦略において、概念的な干渉を防ぐために音価ベクトルをピッチベクトルに対して直交化し、両属性の独立した変調を可能にする。

主な貢献

• 音楽における線形表現の検証: 本研究は、高レベルの音楽的概念（ピッチと音価）がMMTの潜在空間内で線形ベクトルとして表現されていることを確認し、記号的音楽ドメインにおける線形表現仮説を検証した。
• 学習フリーの制御: 提案されたフレームワークは、事前学習済みモデルの再学習やファインチューニングを必要とせず、音楽的属性に対する精密かつ決定論的な制御を可能にする。
• 幾何学的デカップリング: グラム・シュミットの直交化の導入により、相関のある特徴間の概念的干渉を正常に減少させ、強い自己回帰的条件付けに対しても独立した制御を実現した。
• 層固有の知見: 著者らは、リズム的特徴が旋律的特徴よりもネットワークの早い段階でエンコードされることを示す、層ごとの感度マップを提供した。

実験結果
著者らは、無条件生成および条件付き生成（ステアリングが強い自己回帰的事前分布を持つ16拍のプレフィックスを上書きしようとする試行）を通じてフレームワークを評価した。

• 単一属性ステアリング:
  • ピッチ: ステアリングの大きさとしきい値の変化との間で、$r = 0.9030$ のピアソン相関係数を達成し、$\alpha$ 単位あたり約 +13.35 セミトンの線形応答を示した。
  • 音価: $r = 0.9263$ のピアソン相関係数を達成し、$\alpha$ 単位あたり +10.77 ティックの線形応答を示した。
  • コンテキストの上書き: ピッチの試行では 93.4%、音価の試行では 91.7% において、強い局所的コンテキストを上書きすることに成功し、最大2.6オクターブのシフトや大幅なティック拡張を実現した。
• デュアル・ステアリング:
  • デュアル属性シナリオにおいて、**グラム・シュミット（ピッチ優先）**は単純な加算や対称的な直交化よりも優れており、最も低い品質劣化 ($\delta = 2.14$) を伴う 88.5% の成功率を達成した。
  • 本手法は、上方へのステアリング（成功率 96.1%）が下方へのステアリング（82.2%）よりも一般に効果的であることを示した一方で、直交化戦略が干渉を効果的に軽減し、モデルの学習分布が自然には好まないようなピッチと音価の新しい組み合わせを可能にすることを実証した。
  • 最適なステアリング範囲内では品質劣化は低く（$\delta \leq 3$）維持され、知覚的な一貫性を示したが、極端なステアリング値は指数関数的な劣化を招いた。

意義
本論文は、高品質な自己回帰生成と精密で解釈可能な制御の間の溝を埋めるものであると主張している。事前学習済みMMTの潜在表現をリバースエンジニアリングすることにより、著者らは複雑な音楽的属性が推論時に決定論的に操作可能であることを示した。その意義は、グローバルな条件付けの限界を克服しながら、モデルの内部構造を尊重したきめ細かな、学習フリーの介入を可能にした点にある。幾何学的デカップリング（グラム・シュミット）の適用による、絡み合った音楽的特徴の分離は、より制御可能で透明性の高いAI駆動型音楽作曲ツールへの道を開くものである。著者らはこれを、連続的なオーディオ合成手法とは異なる、記号的音楽ドメインにおける説明可能なAIへの基礎的なステップとして位置づけている。