技術要約：組成型アダプターによるコンテキスト・パラメータ化 (COMPAS)

1. 問題提起

大規模言語モデル（LLM）は通常、インコンテキスト学習（ICL）または教師あり微調整（SFT）を通じて新しいタスクに適応します。しかし、これら両方のアプローチには、複数のデモンストレーションや検索されたパッセージへとスケールする際に、以下のような重大な限界が存在します。

• ICLの非効率性: 指示、デモンストレーション、エビデンスなどのコンテキスト・トークンの数が増えるにつれ、ICLは推論コストが線形に増大するため、計算コストが高くなります。さらに、長いコンテキストはアテンション機構を不安定にし、「Lost in the Middle（中だるみ）」現象による性能低下を招きます。
• SFTの硬直性: SFTは特定のタスクやコンテキストごとに個別のモデルまたはアダプターを訓練する必要があり、高い訓練オーバーヘッドが発生し、再学習なしに新しい情報を動的に統合する柔軟性に欠けます。
• コンテキスト・ウィンドウの制限: 入力がモデルのコンテキスト・ウィンドウを超えた場合、ICLも標準的なSFTも、情報の全容を効果的に活用することができません。

先行研究では、単一のコンテキストからアダプターを生成する手法が探索されてきましたが、複数の情報のチャンクを統合する必要性については、概して見落とされてきました。既存の手法は、連結されたコンテキストを表現するためにアダプターを代数的に合成するための原理的なメカニメントを欠いており、LLMが複数の情報源をどのように組み合わせるかを捉えきれていません。

2. 手法：COMPAS

著者らは、コンテキストを組成的な構造を持つアダプター・パラメータへと変換し、それらを代数的にマージすることを可能にするメタ学習フレームワークであるCOMPAS（Compositional Adapters）を提案します。

2.1. 理論的基礎

このフレームワークは、個々のコンテキストから生成されたアダプターをパラメータ空間で合成することで、入力空間におけるコンテキスト連結の効果を複製することを目的とした、ティーチャー・スチューデント構成に基づいています。

• ティーチャー・モデル ($f_T$): 連結された入力 $[c_1; \dots; c_k; q]$ を処理します。
• スチューデント・モデル ($f_S$): ベース・パラメータ $\theta$ にアダプターの総和 $\sum \phi_i$ を加えたものを用いて、クエリ $q$ のみを処理します。
• ジェネレーター ($G$): コンテキスト $c$ をアダプター・パラメータ $\phi = G(c)$ にマッピングするネットワークです。

核心となる要件は、ジェネレーターが、コンテキストの自由モノイド（連結）からアダプター・パラメータの加法モノイド（加算）へのモノイド準同型として機能することです。理想的には、$G([c_1; c_2]) = G(c_1) + G(c_2)$ が成立する必要があります。本論文では、スチューデントの出力（アダプターの総和）とティーチャーの出力（連結されたコンテキスト）の間の誤差が、ジェネレーターの加法誤差とスチューデント・ティーチャーの不一致によって決まり、スチューデントのリプシッツ定数によってスケールされることを示す組成性境界（定理 2.1）を証明しています。

2.2. アーキテクチャ

• ジェネレーター: ベースとなるLMに、訓練可能なコンポーネントを追加します。これは、LMに挿入されたLoRAアダプターと、リニア・ボトルネックおよびプロジェクション・トランク（projection trunks）で構成されます。これはコンテキスト $c$ を処理して、プーリングされた隠れ表現を生成し、それをコンパクトな潜在空間 $z(c)$ へ投影します。この潜在ベクトルは、線形投影を介して、スチューデント・モデルのすべてのターゲット・モジュールに対するLoRA行列（$A$ および $B$）を生成するためにマッピングされます。
• スチューデント: LoRAアダプターを備えた標準的なLLMです。推論時には、関連するコンテキストに対して生成されたアダプターの総和と、クエリのみを受け取ります。

2.3. 訓練目的関数

訓練損失（$L_{COMPAS}$）は、組成性と忠実性を強制するために設計された、以下の3つの要素の加重和です。

1. スチューデント・ティーチャー・アライメント ($L_{ST}$): スチューデントの分布（加算されたアダプターを使用）とティーチャの分布（連結されたコンテキストを使用）の間のKLダイバージェンスを最小化します。これは、組成的一貫性を強制するために、単一コンテキスト（$k=1$）と連結コンテキスト（$k=2$）の両方に適用されます。
2. 加法正則化 ($L_{ADD}$): 連結されたコンテキストに対して生成されたアダプター $G([c_1; c_2])$ と、個々のアダプターの和 $G(c_1) + G(c_2)$ の間の不一致にペナルティを課します。これにより、ジェネレーターの加法誤差 $\eta$ を直接最小化します。
3. 再構成 ($L_{RECON}$): アダプター状態から特別な [RECON] トークンを使用して元のコンテキスト・トークンを自己回帰的に再構成させる補助的な目的関数です。これにより、アダプターが入力情報を忠実にエンコードしていることを保証し、自明な解を防ぎます。

3. 主な貢献

1. COMPASフレームワーク: コンテキストを組成的なアダプターにエンコードし、パラメータ空間での代数的な結合を可能にする、ティーチャー・スチューデント型のメタ学習フレームワーク。
2. 理論的保証: パラメータ空間での加算が、コンテキスト連結の挙動を近似できることを証明する理論的条件（定理 2.1）の確立。誤差を解釈可能なソースへと分解します。
3. 実証的検証: 大規模なデモンストレーションや検索されたパッセージへとスケールする場合において、標準的なICL、ファインチューニング、および既存のジェネレーターベースの手法（GenAdaなど）を上回る性能を示すことを実証。

4. 実験結果

著者らは、LLaMA-3.1 (8B)、LLaMA-3.2 (3B)、Qwen-2.5 (7B) を用いて、多肢選択式（MMLU、ARC-Challenge）および抽出型QA（HotpotQA）タスクでCOMPASSを評価しました。

• ICLとの比較: COMPASは、すべてのモデルとショット数において、標準的なICLを一貫して上回りました。性能向上は、コンテキスト長によりICLの性能が低下しやすい高ショット数（例：12〜16デモンストレーション）において最も顕著でした。
• SFTおよびジェネレーターとの比較: COMPASは、単一のコンテキストごとに特定のアダプターを微調整するWILDAと同等以上の性能を維持しつつ、単一のジェネレーターの効率性を維持しました。また、明示的なリニア・ボトルネックと加法制約を欠くGenAdaを大幅に上回りました。
• スケーリング: 16デモンストレーションを用いた実験において、COMPASはICLやGenAdaよりも高い精度を達成しました。例えば、LLaMA 8Bを用いたMMLUにおいて、COMPAS（4×4組成）は72.2%の精度に達し、ICLの64.2%を上回りました。
• 堅牢性: COMPASは、ノイズを含む、あるいは矛盾した、または無関係なコンテキストに対しても、ICLと比較して優れた堅牢性を示しました。これは、コンテキストをパラメータに圧縮することで、偽の信号の影響を軽減できることを示唆しています。
• 効率性: コンテキスト長から推論コストを切り離すことで、COMPASはICLと比較して大幅な高速化（16ショット時で最大4.1倍）と、ピークメモリ使用量の削減を実現しました。
• 再構成: フレームワークは高い再構成忠実度（単一ユニットに対してF1 > 85%）を維持しており、アダプター・パラメータが元のコンテキストのセマンティックな内容を保持していることを確認しました。

5. 意義と主張

本論文は、COMPASが、LLMのデプロイメントをスケールさせるための実用的かつ効率的な代替案として、組成型アダプター生成を確立したと主張しています。その意義は以下の通りです。

• 効率性: 長いプロンプト・トークンをコンパクトで再利用可能なアダプター・パラメータに置き換えることで、推論コストとメモリ・フットプリントを削減します。
• 安定性: トランスフォーマーにおけるロングコンテキスト処理に伴う不安定性と性能低下を緩和します。
• スケーラビリティ: アダプターを独立して生成・合成することにより、入力がモデルのコンテキスト・ウィンドウを超える場合の原理的な解決策を提供します。
• 安全性と解釈性: 情報のアダプターへの可逆的なエンコーディングは、元の入力コンテキストの復元を容易にし、安全性や監査において重要となります。

著者らは、本研究をすべての適応戦略に代わるものではなく、従来のプロンプティングに伴う計算上のペナルティや、タスクごとの微調整の硬直性を回避しながら、外部のエビデンスや複数のデモンストレーションを統合するための、スケーラブルなメカニズムとして位置付けています。