COMI: Coarse-to-fine Context Compression via Marginal Information Gain

本論文は、関連性と多様性を同時に最適化し、高圧縮率下でも冗長性を排除して重要な情報を保持する「Marginal Information Gain（MIG）」指標を導入した粗粒度から細粒度への適応的コンテキスト圧縮フレームワーク「COMI」を提案し、長文脈タスクにおいて既存手法を大幅に上回る性能を示すことを実証しています。

要約

COMI：長い物語を「要約」する賢いメモの作り方

この論文は、**「COMI（コミ）」という新しい技術について書かれています。
AI（大規模言語モデル）が長い文章を読んだり、複雑な質問に答えたりするときに、「情報過多（情報が多すぎて頭がパンクする）」や「同じ話の繰り返し（無駄な情報）」**に悩まされている問題を解決する、とても賢い「要約の仕方」を提案しています。

これをわかりやすく、日常の例え話で解説しましょう。

---

1. 問題：長い本を全部読まなきゃいけない大惨事

Imagine you are a detective trying to solve a mystery. You are given a library full of 100 books (the "long context").

• 問題点 1（計算コスト）： 全部の本をパラパラめくって読むのに、時間とエネルギーが莫大にかかります。
• 問題点 2（情報の無駄）： 本の中には「犯人は赤い服を着ていた」という重要な情報がある一方、同じことを 10 回も繰り返しているページや、全く関係ない「天気の話」が 50 ページも挟まっています。

これまでの AI は、この「長い本」を処理する際、**「重要な部分だけ残す」**という作業をしていました。しかし、これまでのやり方には 2 つの大きな欠点がありました。

1. 単なる「関連性」だけ見ていた： 「犯人の話」に関連するページを全部残そうとした結果、「犯人は赤い服」という同じ話が 10 回も残ってしまい、AI が混乱してしまった。
2. 均等に削っていた： どのページも同じ割合で削ろうとしたため、本当に重要な「決定的な証拠」まで削られてしまった。

---

2. 解決策：COMI（コミ）の「2 段階作戦」

COMI は、この問題を解決するために**「粗い整理（Coarse）」と「細かい整理（Fine）」**の 2 段階で、情報を賢く圧縮します。

第 1 段階：粗い整理（グループの再配分）

「本のどの章に、どれだけのページを割り当てるか決める」

• 従来のやり方： 本の全ページを均等に 10 分の 1 に切る。
• COMI のやり方：
  • まず、本をいくつかの「章（グループ）」に分けます。
  • 質問（クエリ）に対して、どの章が最も重要で、かつ他の章と重複していないか（＝**「限界情報利得：MIG」**という指標）を計算します。
  • 重要な章（犯人の動機が書かれている章）にはページ数を多く割り当て（圧縮率を低く）、どうでもいい章（天気の話）にはページ数を極端に減らします（圧縮率を高く）。
  • 例え： 事件の核心が書かれた「第 3 章」には 10 ページ分残し、単なる挨拶の「第 1 章」は 1 ページにまとめる、といった具合です。

第 2 段階：細かい整理（トークンの融合）

「同じ章の中で、重複している話を 1 つにまとめる」

• 従来のやり方： 重要な章の中でも、「犯人は赤い服」という文を 5 回見つけたら、5 回すべて残す。
• COMI のやり方：
  • 章の中で、同じような意味を持つ文（トークン）同士を比較します。
  • **「新しい情報」を含んでいる文は残し、「すでに知っている同じ話」は消去したり、他の文と「融合（マージ）」**させます。
  • 例え： 「犯人は赤い服を着ていた」「犯人の服は赤かった」「赤い服の男がいた」という 3 つの文があったら、これらを**「犯人は赤い服」**という 1 つの完璧な文にまとめて、AI の脳内メモリに 1 つだけ保存します。

---

3. 核心となるアイデア：MIG（限界情報利得）

この技術の心臓部は**「MIG（Marginal Information Gain）」**という指標です。

• 従来の指標： 「この文は質問に関連しているか？」（Yes/No）
• COMI の MIG： 「この文は質問に関連しているが、すでに持っている情報と重複していないか？」

例え話：
あなたが料理のレシピをメモしています。

• A さん（従来の AI）： 「塩を小さじ 1 杯入れる」「塩を小さじ 1 杯入れる」「塩を小さじ 1 杯入れる」と、同じことを 3 回書き写します。
• B さん（COMI）： 「塩を小さじ 1 杯入れる」と一度だけ書き、その後に「胡椒を少々」という新しい情報を書き加えます。

COMI は、**「関連性が高く、かつ重複が少ない（＝新しい価値がある）」**情報だけを厳選して残すので、AI が混乱せず、正確に答えられるようになります。

---

4. 結果：どれくらいすごいのか？

実験の結果、COMI は既存の技術よりも圧倒的に優れていることがわかりました。

• 圧縮率 32 倍（100 ページの文章を 3 ページに圧縮）という過酷な条件でも、正解率が 25 ポットも向上しました。
• 従来の方法だと、32 倍に圧縮すると AI が「うわ、何書いてあるの？」と混乱して間違った答えを出していましたが、COMI を使えば、**「必要な情報だけギュッと凝縮された、高品質なメモ」**として AI に渡せるため、正解率が跳ね上がります。

---

まとめ

COMIは、AI に長い文章を読ませる際に、**「同じ話を繰り返さないように注意しつつ、本当に重要な部分に集中してリソースを配分する」**という、人間の「要約力」を AI に搭載したような技術です。

• 粗い整理で「どこに重点を置くか」を決め、
• 細かい整理で「無駄な重複を消す」ことで、
• AI がより速く、より正確に、長い文章を理解できるようにする魔法のツールです。

これにより、AI は長い小説や複雑な報告書を読んでも、疲れることなく、核心を突いた回答ができるようになるのです。

技術概要

COMI: 限界情報利得（MIG）による粗粒度から微粒度への文脈圧縮技術の概要

本論文は、ICLR 2026 にて発表された「COMI (COarse-to-fine Context Compression via Marginal Information Gain)」に関する研究です。大規模言語モデル（LLM）の長文脈処理における計算コストと情報冗長性の課題を解決するため、意味的関連性と多様性を同時に最適化する新しい文脈圧縮フレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 背景と問題定義

LLM は多様なタスクで卓越した性能を示していますが、長文脈シナリオ（RAG など）への展開には以下の 2 つの重大な課題が存在します。

1. 計算コストの増大: Transformer のアテンション機構は入力長に対して二次的な複雑度（$O(N^2)$）を持つため、長いシーケンスでは推論効率が著しく低下します。
2. 情報の冗長性: 長い文脈には多くの冗長な情報が含まれており、これがモデルの性能を低下させる要因となります。

既存の文脈圧縮手法には以下の限界がありました。

• タスク非依存型: クエリを考慮しないため、高圧縮率ではクエリに関連する重要な情報が失われるか希薄化します。
• タスク依存型（既存）: クエリとの「関連性」のみを基準に圧縮を行うため、**「関連性はあるが、他の情報と非常に似ている（冗長性が高い）」**コンテンツを重複して保持してしまいます。図 1 に示されるように、クエリ関連トークンは互いに高い類似性を持つ傾向があり、これをそのまま残すとモデルを誤った出力に誘導するリスクがあります。

研究課題: 高圧縮率下において、クエリに関連する情報を保持しつつ、圧縮表現間の意味的冗長性を特定・排除し、関連性と多様性を同時に最適化する方法は何か？

2. 提案手法：COMI

COMI は、**限界情報利得（Marginal Information Gain: MIG）という新しい指標を導入し、「粗粒度（Coarse-Grained）」から「微粒度（Fine-Grained）」**へと段階的に圧縮を行う適応型フレームワークです。

2.1 核心となる指標：限界情報利得（MIG）

MIG は、ある単位（トークンやセグメント）がクエリに対して持つ「関連性」から、他の単位との「意味的冗長性」を差し引いた値として定義されます。

$$G(x_i, q, X) = \text{CosineSimilarity}(x_i, q) - \max_{x_j \in X, j \neq i} \text{CosineSimilarity}(x_i, x_j)$$

• 第 1 項: トークン $x_i$ とクエリ $q$ のコサイン類似度（関連性）。
• 第 2 項: $x_i$ と文脈内の他のトークン $x_j$ の最大コサイン類似度（冗長性）。

この指標により、単に「関連性が高い」だけでなく、「他の情報と被っていない（多様性がある）」情報が優先的に選択されます。

2.2 2 段階の圧縮プロセス

COMI はエンコーダ・デコーダアーキテクチャに基づき、以下の 2 つの段階で動作します。

段階 1: 粗粒度グループ再配分 (Coarse-Grained Group Reallocation)

1. 入力文脈を等しい長さのセグメント（グループ）に分割します。
2. 各セグメントの代表トークンに対して、セグメント間での MIG を計算します。
3. MIG が高いセグメント（関連性が高く、他のセグメントとの冗長性が低い）には低い圧縮率（より多くのトークンを保持）を割り当て、逆に MIG が低いセグメントには高い圧縮率を適用します。
4. これにより、文脈内の情報価値の分布に応じて、圧縮予算（出力トークン数）を動的に再配分します。

段階 2: 微粒度トークンマージ (Fine-Grained Token Merging)

1. 各セグメント内で、トークンごとの MIG を計算します。
2. MIG 値を重みとして用い、セグメント内のすべてのトークンを単一の圧縮トークンにマージ（融合）します。
   $$\tilde{h}_i = \sum_{h_k \in S_i} \frac{e^{G(h_k, q, S_i)}}{\sum e^{G(h_k, q, S_i)}} \cdot h_k$$
3. この重み付けマージにより、重要な意味単位は保持されつつ、「関連はあるが冗長な」情報の蓄積を防ぎます。

2.3 学習アプローチ

• LSA (Layer Semantic Alignment): エンコーダとデコーダ間のセマンティックなミスマッチを解消するため、既存の手法（GMSA など）と同様に、高レベルの要約ベクトルと低レベルの入力セマンティクスをアライメントするモジュールを使用します。
• トレーニング: 圧縮された表現に基づいて、エンコーダ、LSA、およびデコーダの Q, K, V, O 行列を共同でファインチューニングします。

3. 主要な貢献

1. MIG 指標の導入: 文脈圧縮において「タスク関連性」と「意味的冗長性」を同時にモデル化する新しい指標を提案しました。これにより、既存の関連性のみを重視する手法の限界を克服し、長文脈圧縮における情報価値の評価をより差別化しました。
2. COMI フレームワークの提案: 粗粒度でのセグメント間再配分と、微粒度でのトークン内融合を組み合わせた階層的な適応圧縮戦略を構築しました。これにより、高圧縮率下でも多様性を保ちながら重要な情報を保持できます。
3. 広範な実験による実証: 質問応答（QA）タスク（NaturalQuestions, 2WikiMQA, HotpotQA, NarrativeQA）と要約タスク（MultiNews）において、既存の SOTA 手法を大幅に上回る性能を示しました。

4. 実験結果

実験は LLaMA-2-7B と Qwen2-7B をベースモデルとして、最大 32 倍の圧縮率条件下で行われました。

• 性能の向上:
  • NaturalQuestions (Qwen2-7B, 32 倍圧縮): 既存の最良のベースラインと比較して、Exact Match (EM) スコアが約 25 ポイント向上しました（例：Activation Beacon が 11.67 に対し、COMI は 56.31）。
  • 2WikiMQA: 同様に、32 倍圧縮条件下で EM が 48.89 と、大幅な改善が見られました。
  • 要約タスク: MultiNews においても、F1 スコアで他手法を上回りました。
• 圧縮率への耐性: 圧縮率が 2 倍から 32 倍に増加しても、COMI は性能の低下が緩やかであり、特に EM スコアにおいて他手法を大きく引き離しました。これは、COMI が「真に必要な情報」を正確に抽出できていることを示唆しています。
• アブレーション研究:
  • 「粗粒度グループ再配分」や「微粒度トークンマージ」のいずれかのコンポーネントを削除すると性能が低下し、両方のコンポーネントが必須であることを示しました。
  • 冗長性を考慮しない場合（関連性のみで圧縮）、性能が低下することも確認されました。
• ネイティブ長文脈モデルへの適用: 元々 256K トークンの長文脈をサポートする Qwen3-4B-Instruct に対しても適用したところ、フルテキスト入力よりも圧縮された入力（COMI）の方が高い性能を発揮しました。これは、冗長性の除去がモデルの推論能力を向上させることを示しています。

5. 意義と結論

COMI は、LLM の長文脈処理において、単なる「長さの短縮」ではなく、「情報の質と多様性の維持」に焦点を当てた画期的なアプローチです。

• 理論的意義: 情報理論的な観点から、関連性と冗長性のトレードオフを明示的に管理する MIG 指標の有用性を示しました。
• 実用的意義: 高圧縮率（32 倍など）でも高い精度を維持できるため、RAG システムや長文書分析における推論コストの削減と、メモリ使用量の削減に大きく貢献します。
• 将来的展望: この手法は、モデルのアーキテクチャ変更を最小限に抑えつつ（エンコーダ・デコーダのファインチューニングのみ）、既存の LLM の長文脈処理能力を大幅に強化する汎用的なソリューションとして期待されます。

結論として、COMI は「関連性」と「多様性」の両立を可能にする新たな基準（MIG）を確立し、LLM の効率的かつ効果的な長文脈モデリングの重要な一歩を踏み出しました。