🤖 machine learning

Mitigating Manifold Departure: Uncertainty-Aware Subspace Rectification for Trustworthy MLLM Decoding

本論文は、多様体からの逸脱を防ぎつつ意味的な一貫性を維持するために、学習された部分空間内における言語的事前分布を適応的に減衰させることで、マルチモーダル大規模言語モデルにおけるハルシネーションを軽減する、トレーニングフリーのデコーディング手法であるManifold-Guided Adaptive Projection（MGAP）を提案する。

原著者： Yingxuan Zhuang, Jingxiao Yang, Miao Pan, Cheng Tan, Yuxiang Cai, Siwei Tan, Chen Zhi, Xuhong Zhang, Jianwei Yin, Jintao Chen

公開日 2026-06-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yingxuan Zhuang, Jingxiao Yang, Miao Pan, Cheng Tan, Yuxiang Cai, Siwei Tan, Chen Zhi, Xuhong Zhang, Jianwei Yin, Jintao Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題点：モデルの「内なる声」と現実の乖離

マルチモーダル大規模言語モデル（MLLM）を、あなたが見せている絵を描写しようとしている非常に賢いアーティストだと想像してみてください。このアーティストの頭の中には、2つの声があります。

視覚の声（Visual Voice）： 絵の中に実際に何が見えているか。
言語の声（Language Voice / Prior）： これまで読んだり学んだりしてきた知識に基づき、何が見えるはずだと「予想」しているか。

ハルシネーション（幻覚）の問題：
時として、この「言語の声」が大きくなりすぎることがあります。もしアーティストに青いバナナの絵を見せたとしても、「言語の声」が「バナナは黄色だ！絶対に黄色に違いない！」と叫んでしまうのです。アーティストは自分の学習内容をあまりに信頼しているため、青い色を無視して「黄色いバナナ」と描写してしまいます。これがハルシネーションと呼ばれる現象です。

旧来の解決策（とその失敗）：
これまでの手法は、モデルが「予想」を口にするたびに、単にその「言語の声」を**黙らせる（シャウトダウンする）**ことで解決しようとしてきました。彼らはモデルに対し、「自分が何を考えているかではなく、絵だけを見ろ！」と命じたのです。

論文による発見：
著者たちは、この「すべてを遮断する」アプローチは、ナッツを割るのにスレッジハンマー（大槌）を使うようなものだと気づきました。

良い点： 「言語の声」が正しい場合もあります（例：黄色いバナナを見せたとき、モデルが正しく「黄色」と言う場合）。
悪い点： 「言語の声」が間違っている場合もあります（例：青いバナナの場合）。
結果： 「言語の声」を盲目的に封じ込めることで、以前の手法は、画像が学習内容と一致しているときでさえ、モデルが正しく描写する能力を誤って破壊してしまいました。モデルの自然な思考の流れを壊してしまったのです。

著者たちは、この壊れた状態を**「多様体からの逸脱（Manifold Departure）」**と呼んでいます。モデルの正しく自然な思考を、よく整備された「高速道路」だと考えてみてください。以前の手法は、車を高速道路から無理やり押し出し、泥沼の中へと走らせるようなものでした。たとえ車が（ハルシネーションという）路面の穴を避けようとしていたとしても、結局は泥の中に足を取られ、うまく進めなくなってしまうのです。

解決策：MGAP（スマートな交通整理員）

著者たちは、MGAP（Manifold-Guided Adaptive Projection）と呼ばれる新しい手法を提案しています。MGAPは「言語の声」を完全に黙らせるのではなく、必要な時にだけ介入するスマートな交通整理員のように振る舞います。

MGAPの仕組みをステップごとに説明します。

1. 「言語の高速道路」のマッピング（オフライン工程）

モデルが絵の描写を開始する前に、MGAPは隔離された状態でモデルの「言語の声」を研究します。画像を見せる代わりに、テキストだけでモデルに空想させるのです。

比喩： これはモデルの「デフォルトの白昼夢」を研究することに似ています。
数学的プロセス： SVD（特異値分解）という手法を用いて、これらの白昼夢における主要なパターンを見つけ出します。これにより、モデルの脳内のどこに「期待（予想）」が住んでいるのかを示す「言語部分空間（Language Subspace）」の地図を作成します。

2. リアルタイムのチェック（オンライン工程）

次に、モデルは実際の画像を見ます。モデルが言葉を生成する際、MGAPは2つのことをチェックします。

整合性チェック（Consistency Check）： モデルの現在の思考は、自身の「言語の白昼夢」と一致しているか？
- 一致している場合： モデルはおそらく正しいです。MGAPは「そのまま進んでください、修正の必要はありません」と伝えます。
- 食い違っている場合： モデルは何か（青いバナナなど）を見ているものの、それが白昼夢（黄色いバナナ）と矛盾しています。これはレッドフラグ（警告）です。
信頼度チェック（Confidence Check）： モデルは確信を持てているか？
- MGAPは、エントロピーを用いてモデルがどれほど「混乱」しているかを測定します。モデルが自信を持っているときは、MGAPは優しく接します。モデルが混乱しているときは、より強く介入します。

3. 「部分空間選択的」な補正

MGAPが衝突（青いバナナ vs 黄色の期待）を検知したとき、モデルを高速道路から突き落とすことはしません。

旧来の手法： 車全体をオフロードへ押し出した。
MGAP： 逸脱している特定のパーツだけを押し戻す。モデルの思考から「言語的な期待」の成分だけを取り出し、それを優しく元の位置へと押し戻しますが、「視覚的な現実」の成分には一切触れません。
比喩： モデルの思考を一つの「歌」だと想像してください。「言語の声」はベースラインであり、「視覚の声」はメロディです。もしベースラインが間違った音を奏でていたら、MGAPIは曲全体を消音するのではなく、メロディが鮮明に響くように、ベースの音だけを修正するのです。

なぜこれが重要なのか（結果）

著者たちは、AIの「ハルシネーション試験」とも言える2つの主要なベンチマーク（POPEおよびCHAIR）でこの手法をテストしました。

精度の向上： MGAPは、以前の手法よりもはるかに効果的に、モデルが勝手に物体を作り出すこと（青いバナナのようなケース）を防ぎました。
副作用の回避： 以前の手法とは異なり、MGAPは画像が期待通りであった場合に、モデルが正しく描写する能力を損なうことがありませんでした。つまり、「高速道路」を滑らかに保つことができました。
スピード： MGAPは、回答の異なるバージョンを比較するためにモデルを何度も実行する必要がないため、非常に高速で効率的です。

一文でのまとめ

MGAPは、モデルの思考のうち「間違った期待に基づいている部分」だけを優しく修正することで、モデルが実際に目にしている部分を邪魔することなく、AIのハルシネーションを修正する、スマートで外科的なツールです。

技術要約：不確実性を考慮した部分空間補正による多様体離脱の軽減

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、流暢で妥当に見えるものの、視覚入力と一致しない内容を生成してしまう**オブジェクト・ハルシネーション（物体幻覚）に頻繁に陥る。この現象は、主に事前学習中に学習された言語的プライア（言語的先入観）**への過度な依存に起因しており、これが弱い、あるいは曖昧な視覚的証拠を覆してしまう。

近年の学習フリーのデコーディング戦略は、言語的プライアに対してペナルティを課すこと（例：コントラスティブ・デコーディング）によってこれを軽減しようと試みているが、著者らはこれらの手法における決定的な欠陥を指摘している。すなわち、言語的プライアを一律に有害なものとして扱っている点である。実際には、プライアには二面性がある：

有害な側面： 視覚的証拠と言語的証拠が衝突する場合（例：画像には青いバナナが写っているのに、「黄色いバナナ」と予測する場合）、ハルシネーションを誘発する。
有益な側面： 視覚的証拠と一致している場合（例：画像が実際に黄色いバナナであるときに「黄色」という情報を強化する場合）、生成を安定させ、鮮明にする。

プライアを無差別に抑制することは、モデルの内部的な**意味論的多様体（semantic manifold）を乱し、隠れ状態を高密度領域から外れた低密度領域へと押しやってしまい、妥当なケースにおいてさえ性能を低下させる。著者らは、この失敗モードを多様体離脱（Manifold Departure）**と呼んでいる。

2. 手法：多様体誘導型適応投影（MGAP）

多様体離脱に対処するため、本論文では、幾何学的な性質を考慮した学習フリーのデコーディング・フレームワークであるMGAPを提案する。グローバルな線形抑制手法とは異なり、MGAPはモデルの直交する意味構造を保持する部分空間選択的な更新を行う。

2.1. オフライン：ラベルフリーな言語的プライア部分空間の構築

MGAPはまず、ラベルや画像内容を必要とせずに、言語的プライアの低次元表現を構築する：

データ収集： モデルに対し、「ブラインド」入力（例：ヌルまたは摂動を加えた画像）を用いてテキストクエリを処理させ、最終層の隠れ状態 $\{h_{blind}^{(i)}\}$ を抽出する。
部分空間推定： これらのブラインド状態のセンタリングされた行列を作成し、特異値分解（SVD）を適用する。上位 $K$ 個の右特異ベクトル（ $V_{prior}$ ）が、言語的な規則性によって誘発される主要な変動を捉える言語的プライア部分空間を定義する。

2.2. オンライン：一貫性を考慮した適応的投影

標準的なマルチモーダル・デコーディング中、MGAPは各ステップ $t$ において介入を行い、必要な場合にのみ選択的にプライアを減衰させる：

投影： 現在の隠れ状態 $h_{orig}$ をプライア部分空間に投影する： $h_{proj} = V_{prior}V_{prior}^\top h_{orig}$ 。
一貫性チェック（保護）： 元の状態とプライア投影との間の整合性をコサイン類似度によって測定する。不一致スコア $\delta = 1 - \cos(h_{orig}, h_{proj})$ を算出する。 $\delta$ が小さいことは、状態がプライアと一致していること（抑制の必要がないこと）を意味する。
不確実性ゲーティング： トークン分布のシャノン・エントロピー（ $H$ ）を用いて予測不確実性を推定する。ゲーティング係数 $\gamma = \tanh(\lambda H)$ を導出し、モデルが不確実な場合にのみ介入を増幅させる。
適応的補正： 補正後の隠れ状態は次のように計算される：
$h_{cut} = h_{orig} - \alpha \cdot \gamma \cdot \delta \cdot h_{proj}$
この定式化により、補正は有界かつ選択的であることが保証される。視覚的証拠がプライアと一致している場合（低 $\delta$ ）、あるいはモデルが確信を持っている場合（低 $H$ ）、この操作は恒等写像に近似され、意味論的多様体が保持される。

3. 主な貢献

本論文は、主に以下の3つの貢献を行う：

多様体離脱の特定： 著者らは、「多様体離脱」を、一律な線形抑制が隠れ状態を高密度な意味論的多様体から遠ざけてしまう幾何学的な失敗モードとして正式に定義し、分析した。これにより、既存の学習フリー手法がなぜ正しいプライアが存在する場合でも性能を低下させるのかを説明した。
MGAPの提案： ブラインド状態から言語的プライア部分空間を学習し、不確実性を考慮した部分空間選択的投影を適用する、新しいデコーディング・フレームワークを提案する。これにより、直交する意味成分を乱すことなく、ハルシネーションを抑制することが可能となる。
理論的および経験的な検証： MGAPの更新が有界であり、かつ部分空間選択的であることを示す理論的証明を提供する。広範な実験により、MGAPが従来のベースラインと比較して、ハルシネーションの軽減と記述の忠実度の間で優れたトレードオフを実現することを実証した。

4. 実験結果

著者らは、2つの代表的なバックボーン（LLaVA v1.5-7B および Qwen3-VL-8B）を用いて、複数のベンチマークでMGAPを評価した。

POPE (物体ハルシネーション)： MGAPは、Random、Popular、Adversarialの各スプリットにおいて、バニラ・デコーディングおよび他の学習フリー・ベースライン（VCD、ICD、HalTrapper、DeCo、MoD）を一貫して上回った。特に、VCDなどの手法が標準的なスプリットで性能を低下させた一方で、MGAPは高い精度（Accuracy）を維持しながら、PrecisionとF1スコアを向上させた。
CHAIR (画像キャプション生成)： MGAPは、すべてのベースラインと比較してハルシネーション率（低いCHAIRsおよびCHAIRiスコア）を大幅に減少させると同時に、適合率（precision）も向上させた。これは、過度に保守的な生成を行うことなく、ハルシネーションの軽減が達成されたことを示している。
AMBER ベンチマーク： MGAPはこの多様なベンチマークにも良好に適応し、学習されたプライア部分空間が、特定の評価プロトコルを超えた転移可能なハルシネーションの構造的特性を捉えていることを示した。
効率性： 複数のフォワードパスを必要とするコントラスティブ・デコーディング手法（例：VCD、ICD）とは異なり、MGAPは単一のフォワードパス内で動作する。これにより、完全に学習フリーのまま、コントラスティブなベースラインと比較して推論レイテンシを約**50%**削減した。

5. 意義と主張

本論文は、言語的プライアの無差別な抑制が、現在の学習フリーのデコーディング戦略における根本的な限界であると主張している。問題を表現幾何学の観点から再定義することで、著者らは、多様体離脱こそが既存の手法の性能低下の根本原因であることを示した。

MGAPの意義は、その選択的介入メカニズムにある。プライアを低ランクの部分空間としてモデル化し、適応的かつ不確実性を考慮したゲーティングを適用することで、MGAPはグローバルな線形シフトという「鈍器」のようなアプローチを回避している。著者らは、このアプローチにより、MLLMが正しい場合には言語的プライアの安定化効果を保持しつつ、視覚的証拠と衝突する場合にのみ効果的にそれらを抑制できるため、より堅牢で信頼性の高いデコーディングプロセスを実現できると主張している。

結論として、ハルシネーション・プライアは単に特定のベンチマークのアーティファクトではなく、表現空間における転移可能な構造的特性を有しており、選択的なプライア補正は大規模な視覚言語モデルを改善するための汎用的なメカニズムであることを示唆している。