技術要約: GRAMformer – 体積的マルチモーダル・クロスアテンションによる任意の次数のモダリティ間相互作用

問題提起

現在のマルチモーダル・トランスフォーマー・アーキテクチャは、異種情報の統合にアテンション機構を多用している。しかし、既存のアプローチには、複数のモダリティ間の相互作用をモデル化する際に、以下のような根本的な限界が存在する：

1. ペアワイズ（二者間）の限界: 標準的なクロスアテンションは、クエリと各モダリティ固有のキーとの間の関連性を独立して計算する。このペアワイズなドット積の定式化では、複数の表現が共通の低次元部分空間に存在するかどうかといった、「結合された構成」に依存する相互作用を明示的にモデル化することができない。
2. スケーラビリティと効率性:
   • 結合戦略: 早期融合（early-fusion）手法は、すべてのモダリティのトークンを単一のシーケンスとして結合し、共同のセルフアテンションを行う。これは、モダリティの数が増えるにつれてメモリと計算量の二次関数的な増加を招き、結合されたモダリティ同士の間の相互作用を計算することもできない。
   • ペアワイズ・アーキテクチャ: 各モダリティのペアに対して個別のクロスアテンション・モジュールを使用する手法は、パラメータとメモリに関してモダリティ数の二乗でスケールするが、それでもなお、3つ以上のモダリティが同時に関与する高次依存性を捉えることはできない。
   • テンソル化アプローチ: テンソル積や因子分解を用いてアテンションを3つのモダリティへと拡張しようとする最近の試みは、しば密な近似やランク選択を必要とし、それが微細な、あるいはモダリティ固有の依存性を抑制してしまうことが多い。

その結果、膨大な計算コストをかけることなく、真の高次マルチモーダル・アライメントを捉えるために、一連のモダリティ表現上の関数としてアテンションを明示的に定義できるメカニズムが欠如している。

手法

体積的マルチモーダル・クロスアテンション (VMA)

著者らは、ペアワイズの類似性に代わる統一的な幾何学的尺度として、体積的マルチモーダル・クロスアテンション (VMA) を提案する。VMAは、トークンごとに類似度を評価する代わりに、クエリと複数のモダリティ固有のキーの結合幾何学に基づいてアテンション・スコアを計算する。

• 幾何学的定式化: クエリ・トークン $q$ と、$M$ 個のモダリティからの整列されたキー・トークン集合 $\{k_1, \dots, k_M\}$ に対して、手法は行列 $Z = [q, k_1, \dots, k_M]$ を構築する。結合マルチモーダル類似度は、これらのベクトルによって張られる平行六面体の体積として定義される。これは、関連するグラム行列 $G = Z^\top Z$ の行列式の平方根として計算される：
  $$\text{Vol}(q, k_1, \dots, k_M) = \sqrt{\det(G) + \epsilon}$$
  この体積は、結合線形依存性のスカラー尺度として機能する。ベクトルが互いに整列している（低次元の部分空間に近い）ときは低くなり、ベクトルがより高次元の領域を張るにつれて増加する。
• アテンション・ロジット: 最終的なアテンション・ロジットは、強力な二峰性相互作用を維持するために、標準的なドット積による正則化と、この高次幾何学的項を組み合わせる：
  $$s(q, k_1, \dots, k_M) = -\beta \cdot \text{Vol}(q, k_1, \dots, k_M) + \sum_{m=1}^M \frac{\langle q, k_m \rangle}{\sqrt{d}}$$
  ここで、$\beta$ は高次情報の注入を制御する。体積項は、直交変換および条件付けられるモダリティの置換に対して不変である。
• 値の集約: 各モダリティからの抽出された情報を動的に制御するために、クエリ依存のゲーティング・メカニズムが、最終的な出力を形成するための平均化の前に各モダリティからの情報を変調する。
• マルチヘッド拡張 (M-VMA): このメカニズムはマルチヘッド定式化へと拡張され、体積的アテンションは $H$ 個の部分空間にわたって独立して計算される。ただし、これは「モダリティの数 + 1」がヘッドの次元を超えない限り、数学的に有効である。

GRAMformer アーキテクチャ

著者らは、VMAを新しいトランスフォーマー・アーキテクチャである GRAMformer に統合している。

• 設計: GRAMformerは、標準的なトランスフォーマー・エンコーダ構造（残差接続、レイヤー正規化、フィードフォワード・ネットワーク）に従うが、従来のクロスアテンション層をVMAまたはM-VMAに置き換えている。
• 融合戦略: マルチモーダル分類の設定では、一つのモダリティ（通常はテキスト）がクエリ・ストリームとして機能し、残りのモダリティが条件付けストリームとして機能する。VMAブロックは、各レイヤーにおいてすべての条件付けモダリティに共同でアテンションを向け、ペアワイズな融合に頼ることなく、それらの相互作用を明示的にモデル化する。
• 効率性: このアーキテクチャは軽量に設計されている。結合やペアワイズの戦略とは異なり、VMAはパラメータやメモリの大幅な増加を必要とすることなく、モダリティの数に対して効率的にスケールする。

主な貢献

1. 限界の特定: 本論文は、ペアワイズのアテンション・メカニズムが、高次のマルチモーダル依存性をモデル化できないという根本的な能力不足と、現在の融合戦略の非効率性を浮き彫りにしている。
2. 体積的マルチモーダル・クロスアテンション (VMA): クエリと複数のキーの結合幾何学（体積）をアテンション・スコアとして定義し、任意の次数のモダリティ間相互作用をネイティブにモデル化することを可能にする、新しいアテンション・メカニズムの導入。
3. GRAMformer: VMAを軽量なトランスフォーマー・アーキテクチャに統合することで、ペアワイズ計算のみに依存することなく、様々なマルチモーダル・タスクにおいて優れた有効性と効率性を実証した。

実験結果

提案モデルは、感情分析（MOSI, MOSEI）、ユーモア/皮肉検出（UR-FUNNY, MUsTARD）、およびロボティクス・データセット（MuJoCo Push, Vision & Touch）を含む MultiBench スイートを用いて評価された。

• 性能: GRAMformerは、複数のデータセットにおいて最先端（SOTA）または競争力のある結果を達成した。
  • MOSI において、Acc-2で 87.90%（特徴量抽出済みの場合）および 89.94%（BERTファインチューニング時）を達成し、MMML、MulT、Self-MMといった強力なベースラインを上回った。
  • MOSEI において、Acc-2で 84.07%（抽出済み）および 87.39%（ファインチューニング時）を達成した。
  • UR-FUNNY および MUsTARD において、それぞれ 62.46% および 63.96% の精度を達成し、MulT や TF などのベースラインを凌駕した。
• 効率性:
  • パラメータ数: GRAMformerは大幅に軽量である。例えば、BERTファインチューニングを用いたMOSIデータセットにおいて、TeTFNの 110.7M パラメータに対し、GRAMformerは 110.1M を使用し、抽出済み設定ではわずか 0.66M パラメータを使用した（MMMLは 889.6M）。
  • スケーラビリティ: モダリティの数が増加（2から6へ）しても、GRAMformerはパラメータ数とメモリ使用量において線形またはほぼ線形な成長を維持するのに対し、ペアワイズおよび結合手法は二次関数的な成長を示す。

意義と主張

本論文は、GRAMformerが、暗黙的な、あるいはペアワイズな近似に頼るのではなく、結合されたマルチモーダル・アライメントを明示的にモデル化するメカニズムを提供することで、マルチモーダル学習における重要なギャップを埋めるものであると主張している。表現空間の幾何学的体積を利用することで、標準的なドット積アテンションでは失われてしまう高次の依存性を捉えることができる。

著者らは、このアプローチにより以下のことが可能になると強調している：

1. 任意の次数の相互作用のネイティブなモデリング: このメカニズムは、制限的な低ランク仮定やテンソル分解を必要とせずに、任意の数のモダリティに対して機能する。
2. 計算効率: 既存の高精度なマルチモーダル・トランスフォーマーと比較して、大幅に削減されたパラメータ数とメモリ・フットプリントとともに、優れた性能を実現する。
3. アーキテクチャの互換性: この設計は、標準的なトランスフォーマーの帰納バイアスと訓練手順を維持しており、既存のシステムにおけるクロスアテンション層のドロップイン・リプレースメント（そのまま置き換え可能なもの）となる。

本研究は、ペアワイズな類似性を超えて、幾何学的な体積に基づくアテンションへと移行することが、複雑なマルチモーダル・シナリオに向けてマルチモーダル・システムをスケールアップするための、実行可能かつ効果的な道筋であることを示唆している。