技術要約: LF²AR – 言語モデルのマルチモーダル適応を改善するための層別ダイナミクスの考慮

問題提起

テキスト事前学習済みの大規模言語モデル（LLM）は豊かな世界知識を保有しているが、それらの知識を効果的に活用しながら、知覚的モダリティ（音声や画像など）を処理および生成するように適応させることは依然として困難である。核心的な困難は、表現の粒度の不一致にある。テキストトークンは意味的に高密度であるが、知覚信号（ピクセル、音声フレーム）はより細粒度で低レベルであり、空間的または時間的な次元に沿って疎に分布している。

既存のアプローチの多くは、複雑なマルチステージ・パイプラインや、モダリティをモノリシックに扱う「早期融合（early fusion）」アーキテクチャ（軽量な線形写像）に依存している。しかし、これらの手法はしばしば不完全な転移をもたらし、非テキスト入力に対して性能が低下したり、テキストのみの能力の壊滅的忘却を引き起こしたりする。著者らは、これらの失敗は、トランスフォーマーLMに固有の内部的な**層別抽象化・洗練ダイナミクス（layerwise abstraction-refinement dynamics）**を考慮できていないことに起因すると主張している。

手法: LF²AR

本論文では、テキスト事前学習済みトランスフォーマーの自然な計算フローにマルチモーダル処理を適合させるよう設計されたアーキテクチャであるLF²AR（Late Fusion and Late Fission with Attention Residuals）を提案する。このアプローチは、トランスフォーマーの層が以下の2つのフェーズを示すという観察に基づいている：

1. 抽象化フェーズ（Abstraction Phase）: 初期の層が、低レベルの特徴を抽象的かつ構成的な表現へと合成する。
2. 洗練フェーズ（Refinement Phase）: 後期の層が、これらの抽象化を、細粒度の構造を予測するための低レベルの特徴へと洗練させる。

知覚的モダリティはテキストよりも細粒度であるため、著者らは、効果的な適応にはこれらのダイナミクスに一致させるための追加の処理ステージが必要であると仮定している。

1. 遅延融合（Late Fusion / 入力側）

細粒度な知覚入力を扱うために、LF²ARは事前学習済みバックボーンの前に**構成層（composition layers）を追加する。これらの層は細部から粗大への処理（fine-to-coarse processing）**を行い、生の知覚信号（例：画像パッチや音声トークン）を、テキスト事前学習済みモデルの初期層と整合する抽象的な表現へと変換する。これにより、バックボーンが適切な抽象レベルの入力を受け取れるようになる。

2. 遅延分裂（Late Fission / 出力側）

知覚出力を生成するために、LF²ARはバックボーンの後に**洗練層（refinement layers）を追加する。これらの層は粗大から細部への処理（coarse-to-fine processing）**を行い、バックボーンの高レベルな意味的予測を、ターゲットとなるモダリティに必要な特定の低レベルの詳細へと翻訳する。

3. アテンション・レジデュアル（Attention Residuals）

主要な革新は、分裂メカニズム内でのアテンション・レジデュアルの使用である。低レベルの詳細を（高レベルの特徴形成を妨げる可能性がある）バックボーン全体に強制的に伝播させるのではなく、分裂モジュールには、すべてのバックボック層の残差ストリーム状態への動的かつ入力依存のアクセスが与えられる。

• モジュールは、層の表現の要約を構築する。
• セレクター・ネットワークがアテンションの重みを生成し、加重された残差要約（$\bar{c}_i$）を形成する。
• これにより、分裂モジュールは、必要に応じて高レベルの意味構造（次の単語を予測するため）または低レベルの局所的詳細（特定の音素やピクセルを予測するため）を選択的にアクセスできる。

実験設定

著者らは、テキストとの意味的対応関係を厳密に制御できる2つのモダリティを用いてLF²ARを評価した：

• Text-as-Images（画像としてのテキスト）: テキストがバイナリ画像パッチとしてレンダリングされるピクセル言語モデリング。
• Speech（音声）: ベクトル量子化された自己教師あり音声表現。

実験は、135Mから1.7Bパラメータの範囲のSmolLMバックボーンを用いて行われた。研究では、以下と比較した広範なアブレーション（切除実験）を実施した：

• Base: 早期融合/分裂モデル（標準的な軽量適応）。
• Ablated Variants（切除バリアント）: 遅延融合のみ、遅延分裂のみ、または静的（非動的）なレジデュアルを持つモデル。

評価には、層別表現分析（固有次元、クロスモーダル類似度、BERTアライメント、パープレキシティ・プローブ）および、様々なクロスモーダル構成（例：Image $\to$ Text、Speech $\to$ Text）におけるダウンストリーム・ベンチマーク（MMLU、HellaSwag、StoryCloze）が含まれる。

主な結果

表現ダイナミクス

• 抽象化と整合性: LF²ARは、Baseモデルと比較して、一貫して高いデータセット固有次元と単語レベルのクロスモーダル類似性を達成した。遅延融合は、よりテキストに近い初期層の特徴を誘導し、より優れた意味的な中間表現をもたらすことが判明した。
• テキスト構造の保持: 遅延分裂は、バックボーンの最も深い層が細粒度の予測に過度に特化することを防ぎ、それによって次のテキストトークンを予測する事前学習済みモデルの能力を保持した。
• 意味性: LF²ARの画像および音声表現は、テキスト表現と同様に意味的かつ予測的であり、これは標準的な適応において失われがちな特性である。

ダウンストリーム・パフォーマンス

• クロスモーダルな利得: LF²ARは、特にクロスモーダルな推論タスク（例：画像や音声の入力に基づいてテキストの質問に答える）において、Baseモデルを大幅に上回った。
• スケーリング効率: アーキテクチャの改善により、LF²ARはより大きなベースラインモデルを凌駕することができた。例えば、150MのLF²ARは360MのBaseと同等以上の性能を示し、400MのLF²ARは一貫して1.7BのBaseを上回った。
• 効率性: アテンション・レジデュアルは、バックボーンの深さの疎で解釈可能な利用を誘導した。モデルは、特定のポイント（単語の境界に関連する）においてのみ、高レベルのテキスト的特徴を参照することを学習した。

早期終了デコーディング（Early-Exit Decoding）

アテンション・レジデュアルの疎性を活用し、著者らは動的な深さ割り当てメカニズムを実装した。トークンが深いバックボック処理を必要とするか、あるいはプレフィックスのみの近似で処理可能かを判断する軽量なルーターを訓練することで、性能の損失を最小限に抑えつつ、1.9倍の生成速度向上（スループット向上）を達成した。

意義と主張

本論文は、効果的なマルチモーダル適応には、バックボーンを静的な特徴抽出器として扱うのではなく、テキスト事前学習中に学習された層別組織に一致させることが必要であると主張している。

• アーキテクチャ的洞察: 入力側でのモダリティ固有の層の追加（抽象化のため）と、出力側での洗練（精緻化のため）が、モノリシックな早期融合よりも優れていることを示している。
• 動的アクセス: アテンション・レジデュアルの使用により、モデルは粗い意味的ガイダンスと細粒度な知覚的詳細の間を動的に切り替えることができ、高レベルのテキスト知識の保持と低レベルの知覚的信号の生成との間の緊張関係を解消する。
• 効率性: 提案されたアーキテクチャは、精度を向上させるだけでなく、可変深さの割り当てを通じた計算効率の高い推論を可能にし、マルチモーダル能力がこれまで考えられていたよりも小さなパラメータスケールで出現し得ることを示唆している。

著者らは、これらの設計上の選択が、構成性、クロスモーダルな整合性、およびテキストのような予測構造の保持を一貫して改善し、より細粒度なモダリティに適応するための原理的な道筋を提供すると結論づけている。