💻 computer science

Latent Noise Mask for Reducing Visual Redundancy in Multimodal Large Language Models

本論文は、モデルのバックボーンを変更することなく、無関係な画像トークンに対して潜在的なノイズを適応的に注入することで、マルチモーダル大規模言語モデルにおける視覚的な冗長性を低減し、微細な推論およびグラウンディング性能を大幅に向上させる、軽量で質問条件付きのフレームワークであるLensを提案する。

原著者： Kai Jiang, Ruishu Zhu, Siqi Huang, Hongyuan Zhang, Xuelong Li

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kai Jiang, Ruishu Zhu, Siqi Huang, Hongyuan Zhang, Xuelong Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

パズルを解こうとしている場面を想像してみてください。しかし、誰かがあなたが本当に必要としているピースの上に、無関係な余分のピースを大量にぶちまけてしまったとしたらどうでしょう？これこそが、マルチモーダル大規模言語モデル（MLLM）が画像を見る時に直面している問題の本質です。

これらのモデルは読み書きや会話に関しては非常に賢いのですが、画像を見ると、あらゆるものを「トークン」と呼ばれる膨大な数の小さな断片のリストとして捉えてしまいます。例えば、「空には何機の飛行機がいますか？」と尋ねられたとき、モデルは飛行機も見えていますが、同時に雲や鳥、背景の木々、芝生の質感なども見ています。これらすべての「ディストラクター（注意をそらすもの）」となる断片が混ざり合ってしまうため、モデルが質問に答えるために必要な特定のヒントに集中することが難しくなるのです。

現在の解決策の多くは、推論プロセスにステップを追加することで、モデルに「より深く、より長く」考えさせようとします。これは、混乱している探偵に対して、「目に見えるものすべてについて、もっと長い報告書を書きなさい」と命じるようなものです。しかし、この論文では、その方法がうまくいかない理由を説明しています。なぜなら、探偵は依然として無関係な詳細情報の海に溺れているからです。

そこで登場するのが、LENS（Latent Noise Mask）です。

LENSを、情報を追加するツールではなく、**モデルの目のための「スマートなノイズキャンセリング・ヘッドフォン」**だと考えてください。

その仕組みを、簡単な比喩を使って説明します。

1. 「レンズ証拠トークン（Lens Evidence Token）」（スマートなスカウト）

モデルの中に、一時的な小さな助手（レンズ証拠トークン、または LET と呼ばれます）がいると想像してください。この助手が、画像と質問の両方を一緒に観察します。

役割： この助手は画像を素早くスキャンし、画像のあらゆる断片に対してスコアを付けます。
結果： もし画像の一部が（あなたが飛行機について尋ねた場合の）飛行機であれば、助手はその部分に高いスコア（青信号）を付けます。もし画像の一部が雲や木であれば、低いスコア（赤信号）を付けます。
重要な点： この助手は画像自体を変更するわけではありません。単に、あなたの質問に基づいて断片をランク付けするだけです。

2. 「潜在的ノイズマスク（Latent Noise Mask）」（音量調節つまみ）

助手が断片のランク付けを終えた後、LENSは「スコアの低い」断片を捨て去ることはしません。何かを捨て去ることはリスクを伴います。もし助手が間違った判断をした場合、モデルが重要な手がかりを見失ってしまう可能性があるからです。代わりに、LENSは**「音量調節つまみ」**を使用します。

高スコアの断片（証拠）： これらはそのままの状態にされます。大きく、はっきりと聞こえます。
低スコアの断片（ディストラクター）： LENSはこれらの断片に、特殊な種類の「静電気」や「ノイズ」を加えます。これらを削除するのではなく、それらをぼやけさせ、信頼性を低くします。これは、背景の雑談のボリュームを下げて、モデルが重要な声だけを聞き取れるようにするようなものです。

なぜこれが優れているのか？

この論文は、モデルに「より長く考えさせる」ことを教える（それはさらなる混乱を招きます）よりも、**「すでにモデルが見ているものを整理する」**方が良いと主張しています。

手術は不要： モデルの脳（バックボーン）は全く同じままです。画像の切り出しを行ったり、モデルの構造を変更したりすることはありません。
ソフトな抑制： 画像の一部を攻撃的に削除する（それはモデルが予測を外した時に壊れてしまう可能性があります）のではなく、LENSはディストラクション（邪魔なもの）を優しく「消音」します。
効率性： これは、助手の素早い一瞥のような、ごくわずかな追加作業しか行いませんが、その結果、モデルが問題を解くための極めてクリアな画像を提供します。

結果

研究者たちがこの「ノイズキャンセリング」アプローチを様々なタスクでテストしたところ：

視覚的質問応答（VQA）： モデルは、背景に惑わされることがなくなったため、特定の質問（物体のカウントや画像内のテキストの読み取りなど）に対して回答する能力が大幅に向上しました。
グラウンディング（接地）： モデルは、画像内のオブジェクトが正確にどこにあるかを指し示す能力が向上しました。これは、近くにある似たようなオブジェクトからの「ノイズ」が消音されたためです。

要約すると： この論文は、AIの「見る」能力を賢くするためには、単に考える時間を増やすのではなく、ノイズを無視して「信号（シグナル）」に集中できるよう手助けすべきであると示唆しています。LENSは、画像内の無関係な部分のボリュームを下げ、モデルが答えをはっきりと聞き取れるようにするためのツールなのです。

技術要約：マルチモーダル大規模言語モデルにおける視覚的冗長性を削減するための潜在ノイズマスク（Latent Noise Mask）

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、きめ細かな視覚的推論タスクにおいて頻繁に課題に直面します。これらのモデルは強力な言語推論能力を継承していますが、その視覚的推論は視覚的冗長性によって妨げられることがよくあります。標準的なMLLMアーキテクチャでは、画像は高密度のトークンシーケンスへとエンコードされます。しかし、特定の質問に対しては、そのうちのわずかなサブセットのみが関連する証拠を構成しています。残りのトークン（背景領域、無関係な物体、または視覚的に類似したディストラクター［妨害要素］）は、重要な手がかりを希釈してしまいます。

既存のアプローチは、推論プロセス（Chain-of-Thoughtなど）を拡張したり、より多くの視覚的／潜在的なコンテキスト（画像のクロップや中間的な潜在トークンなど）を追加したりすることで、この問題に対処しようとしています。著者らは、これらの「追加的」な手法は根本的な問題を解決できていないと主張しています。すなわち、無関係な視覚トークンが依然としてコンテキスト内に残り続けていることが、証拠との競合を引き起こし、デコーディングプロセスを困難にしているのです。本論文は、証拠がすでに存在する場合、主要な課題は「新しい証拠を見つけること（視覚的可用性）」ではなく、「ディストラクターをフィルタリングすること（視覚的選択性）」であると断定しています。

2. 手法：潜在ノイズマスク（LENS）

著者らは、モデルのバックボーンやトークンシーケンスの構造を変更することなく、デコーディングフェーズの前に視覚的証拠を浄化するために設計されたフレームワークであるLENS（LatEnt Noise maSk）を提案しています。この手法は、結合された2つのステージで動作します。

A. 証拠プロービング（Evidence Probing）

LENSは、軽量で一時的なレンズ証拠トークン（Lens Evidence Token: LET）、すなわち `` を導入し、これを視覚トークン（ $V$ ）とテキストトークン（ $T$ ）の結合入力に付加します。

メカニズム: この一時的なトークンの隠れ状態は、単純な多層パーセプトロン（MLP）ヘッド（ $f_\theta$ ）によってデコードされ、関連度スコアベクトル $\mathbf{a} \in [0, 1]^N$ を生成します（ここで $N$ は視覚トークンの数）。
条件付け: これらのスコアは質問に条件付けられています。つまり、同じ画像領域であっても、ある質問に対しては高いスコアを受け、別の質問に対しては低いスコアを受ける可能性があります。
教師あり学習: LETは、高価な思考の連鎖（Chain-of-Thought）の根拠ではなく、オブジェクトレベルのアノテーション（バウンディングボックス）を用いて学習されます。あるトークンが質問に関連するバウンディングボックスと重なる場合、そのトークンはポジティブとラベル付けされます。学習目的関数は、予測されたスコアとこれらのバイナリラベルとの間のバイナリクロスエントロピー（BCE）損失を最小化します。

B. 潜在的抑制（Latent Suppression）

関連度スコアが生成されると、`` トークンは除去され、スコアが潜在空間におけるソフト抑制メカニズムをガイドします。

ノイズ生成: 軽量なノイズ生成器（ $G_\phi$ ）が、各視覚トークン $v_i$ に対して、トークン固有のガウスノイズ分布の平均（ $\mu_i$ ）とスケール（ $\sigma_i$ ）を予測します。
適応的摂動: 実際のノイズ $r_i$ は再パラメータ化によってサンプリングされます： $r_i = \mu_i + \sigma_i \odot \epsilon_i$ （ここで $\epsilon_i \sim \mathcal{N}(0, I)$ ）。
ゲーティング: 抑制ゲート $g_i$ $g_{i}$ は、LETスコア $a_i$ $a_{i}$ と閾値 $\tau$ $τ$ に基づいて計算されます： $g_i = \frac{1}{\tau} \text{ReLU}(\tau - a_i)$ $g_{i} = \frac{1}{τ} ReLU (τ - a_{i})$ 。
- $a_i \geq \tau$ の場合（関連度が高い場合）、 $g_i = 0$ となり、トークンは変更されません。
- $a_i < \tau$ の場合（関連度が低い場合）、 $g_i > 0$ となり、適応的なノイズが注入されます。
浄化されたシーケンス: 最終的な視覚シーケンスは $\tilde{V} = \{v_i + g_i r_i\}$ となります。これにより、元のトークンレイアウト（既存のバックボーンとの互換性に不可欠）を維持しながら、ディストラクター・トークンの表現を不安定化させ、潜在空間内でそれらを効果的に「マスク」します。

C. 最適化

フレームワークは2つのフェーズで学習されます。

教師あり微調整（SFT）: モデルは、浄化されたシーケンス $\tilde{V}$ を用いて質問に回答するように訓練されます。総損失は、回答生成損失とLETの教師あり損失の組み合わせです（ $\mathcal{L}_{SFT} = \mathcal{L}_{ans} + \beta \mathcal{L}_{LET}$ ）。
強化学習による微調整（RFT）: 証拠選択ポリシーを洗練させるため、著者らはLETスコアをベルヌーイ・ポリシーとしてモデル化します。選択されたトークンと正解のボックスとの重なりに基づくセットレベルの報酬（F1スコア）を最適化し、SFTチェックポイントからのKLダイバージェンスによって正規化します。

3. 主な貢献

問題の再定義: 本論文は、高密度な視覚トークンには、きめ細かな推論を阻害する質問とは無関係なディストラクターが含まれていることを特定しました。著者らは、単に推論コンテキストを「追加」することよりも、これらのディストラクターを「抑制」することの方が効果的であると主張しています。
軽量なフレームワーク: LENSは、1つの一時的な学習可能な制御トークンと軽量なノイズ生成器のみを必要とする、質問条件付きの浄化メカニズムを導入しています。これは、バックボーンのアーキテクチャを変更したり、画像をクロップしたり、中間的な視覚出力を生成したりすることを必要としません。
ソフトな潜在的介入: トークン・プルーニング（削除）やハードな領域選択とは異なり、LENSは適応的な潜在ノイズを使用して、低関連度のトークンをソフトに抑制します。これにより、トークンシーケンスの構造的完全性を維持しながら、ディストラクターの影響を軽減します。

4. 実験結果

著者らは、Qwen3-VL、InternVL3.5-VL、およびQwen3.5ファミリーのベースモデルを使用し、10のベンチマーク（VQAおよびグラウンディング・タスクを網羅）でLENSを評価しました。

パフォーマンスの向上:
- VQA: LENSは、ほとんどのVQAデータセット（例：CUB、GQA、OpenImages）において、ベースとなるMLLMを2.4〜6.4ポイント向上させました。LENS-GRPO変種は、最強の非LENSベースラインに対して平均6.65ポイントの改善を達成しました。
- グラウンディング: 改善はさらに顕著であり、グラウンディング・タスク（例：COCO、Objects365）において4.1〜6.4ポイントの向上を見せました。VisDroneにおいて、LENS-GRPOはSFTに対して18.81ポイント向上しました。
- 汎用性: この手法は、異なるモデルスケール（2Bから9B）およびアーキテクチャ間で転移可能であることが証明され、タスク固有のアーキテクチャ変更なしに一貫してパフォーマンスを向上させました。
アブレーション研究:
- 潜在的抑制（潜在的抑制なしで証拠プロービングのみを使用）を除去すると、得られる利点は限定的であり、証拠を特定するだけではディストラクターを能動的に抑制することには不十分であることを確認しました。
- 学習されたソフトノイズを、ランダムなマスキング、ゼロパディング、またはアテンションベースのマスキングに置き換えると、大幅な性能低下を招きました。これにより、学習された適応的なソフト抑制の必要性が検証されました。
- 強化学習によるチューニング（GRPO）はさらなる結果向上をもたらし、証拠選択ポリシーをセットレベルで最適化することが有益であることを示唆しました。

5. 意義と主張

本論文は、推論のトレースを拡張することよりも、よりクリーンで質問に関連する視覚的証拠を得ることの方が、マルチモーダル推論を向上させるためのより直接的な道であると主張しています。ディストラクターを抑制することが、コンテキストを追加することよりも優れた結果をもたらすことを示すことで、著者らはMLLMの推論におけるパラダイムシフトを提案しています。すなわち、「視覚的追加」から「視覚的浄化」への転換です。

その意義は、このアプローチの効率性と汎用性にあります。LENSは、最小限のオーバーヘッドで、きめ細かな推論と空間的な局在化における最先端の向上を実現しており、現在のMLLMのボトルネックは、多くの場合、視覚的入力における「推論能力の欠如」ではなく、むしろ「ノイズ」にあることを証明しています。可視化の結果は、LENSが背景やディストラクターを抑制しながら、重要な領域（属性、物体、関係性）に注意を集中させることに成功しており、これにより、より信頼性の高いきめ細かな視覚・言語推論が可能になることを裏付けています。