🤖 AI

MuCRASP: Multimodal Chain-of-thought Reasoning aware Structured Pruning

MuCRASP は、推論に不可欠なピボットトークンを特定・保護し、クロスモーダルな活性化の差異に対処することでマルチモーダルな連鎖思考推論の精度を維持する、ビジョン・ランゲージモデル向けの新しい構造化プルーニングフレームワークであり、既存の手法を高い圧縮率においても上回ります。

原著者： Aritra Dutta, Somak Aditya

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Aritra Dutta, Somak Aditya

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが複雑なパズルを解くのが非常に得意な、多才で優れたアシスタントを持っていると想像してください。このアシスタントは、写真（例えば散らかった部屋の画像）を見て、質問（例えば「花瓶を倒したら、猫は濡れるでしょうか？」）を読み取ることができます。答えを出す際、このアシスタントは単に推測するのではなく、思考のステップを段階的に日記のように書き出し、どのように情報を結びつけているかを説明します。これを思考の連鎖（Chain-of-Thought: CoT）推論と呼びます。

しかし、このアシスタントは巨大です。実行するには膨大なコンピュータメモリとエネルギーを必要とするため、多くの人々が日常生活で利用するには高すぎます。

課題：「ハサミ」の誤り
科学者たちは、このアシスタントを小さくするために「剪定（プルーニング）」を試みました。つまり、使われていないと考えられる脳の部分を切り取るのです。まるで庭師が巨大な茂みを小さな鉢に収まるように剪定するようなものです。

従来の方法の問題点は、それが目隠しをしたハサミを持った庭師のようだったことです。彼らは、茂みが実際になにをしているかを理解することなく、全体的に「重さ」や「活動度」がどう見えるかという基準に基づいて枝を切り取っていました。

結果： 茂みを小さくするために切り取った際、論理的なステップをつなぐ非常に具体的で小さな枝まで誤って切り落としてしまいました。アシスタントは小さく高速になりましたが、論理的に思考する能力を失いました。流暢に話すことはできても、推論は破綻しており、まるで文自体は意味をなしていても、物語の筋が通っていないような状態です。

解決策：µCRASP（賢い庭師）
この論文の著者、アリティラ・ Dutta とソマク・アディティヤは、µCRASPという新しい手法を開発しました。目隠しをした庭師ではなく、µCRASP は、その茂みが果たしている特定の役割、すなわち推論を理解する賢い庭師です。

以下に、3 つの簡単な比喩を用いてµCRASP の仕組みを説明します。

「ピボットポイント」の発見（方向指示器）：
長い推論の連鎖において、ほとんどの言葉は単なるつなぎ言葉です。しかし、アシスタントが一つの思考から次の思考へ切り替わる重要な瞬間がいくつか存在します（例：「花瓶が見える」 $\rightarrow$ 「したがって、倒れる可能性がある」）。著者らはこれをピボットトークンと呼びます。
- 比喩： 列車の旅を想像してください。軌道の大部分は単なる直線です。しかし、列車が線路を切り替える分岐点が最も重要な部分です。もし分岐点で軌道を切断すれば、列車は脱線します。µCRASP はこれらの分岐点を特定し、直線で退屈な軌道部分をより多く切り取ることを許容しても、分岐点は決して切断しないようにします。
「二つの脳」システム（視覚＋言語）への尊重：
このアシスタントには、画像を見るための思考（視覚）と、言葉を読むための思考（言語）という、2 つの明確な思考方法があります。これら 2 つの部分は常に互いに会話する必要があります。
- 比喩： 写真家と作家という 2 人のチームが、謎を解くために協力していると想像してください。従来の剪定方法は、彼らを一つの大きな塊として扱い、無作為に切り取っていました。µCRASP は、写真家と作家をつなぐ人々を切断すればチームが崩壊することを理解しています。したがって、これら 2 つの脳をつなぐ「会議室」を特に保護します。
グローバルな予算（ナップサック）：
目標は、脳を小さくするために特定の割合（例：30%）を切り取ることです。
- 比喩： 背負うリュックサック（コンピュータメモリ）があり、そこに多くの装備を収める必要があると想像してください。従来の方法は、重いブーツの 30% と軽いソックスの 30% を切り取り、結果としてブーツがなくなりソックスが多すぎる状態にするかもしれません。µCRASP は賢いパッカーのように振る舞います。各アイテム（ニューロン）の重さに対する価値を個別に評価します。重いブーツ（推論に不可欠であるため）は残し、軽いソックスを多く切り取ることを決定し、リュックサックは小さくても完全に機能するようにします。

結果
研究者たちは、いくつかの異なる「アシスタント」（AI モデル）でこれをテストし、以下の結果を得ました。

従来の方法は、推論能力を非常に早く破壊しました。モデルの 25〜30% 以上を切り取ると、論理は完全に崩壊しました。
µCRASPは、モデルの**50%**を切り取っても、論理を維持しました。
モデルは元の半分のサイズになりましたが、巨大で高価なバージョンと同じ論理的明瞭さで、複雑な視覚パズル（物理の問題や物体の数を数えるなど）を解決することができました。

まとめ
µCRASP は、AI の脳を壊すことなく、賢い AI モデルを縮小する新しい方法です。これは、AI が一つの思考から次の思考へ切り替わる際の、小さくも重要な瞬間を慎重に特定・保護し、AI の「目」と「口」が接続されたままであることを保証することによって実現されます。これにより、強力な推論ツールは、ステップバイステップで思考する能力を失うことなく、より小さく安価なコンピュータで実行できるようになります。

技術的概要：µCRASP

問題定義

視覚言語モデル（VLM）は、最終的な答えに先立って明示的な中間ステップを生成する Chain-of-Thought（CoT）推論を活用することで、複雑なマルチモーダルタスクにおいて大きな成功を収めています。しかし、これらのモデルの膨大なパラメータ数は、展開を計算コストの高いものとしています。構造化モデルプルーニングは効率化への道を提供しますが、既存の手法は VLM に適用された際に CoT 推論の精度を維持できずにいます。

著者らは、この失敗の主な理由を 2 つ特定しました：

CoT 無視のプルーニング: CoT 推論の一貫性は、推論ステップ間の遷移点である希少な「ピボットトークン」によって支配されます。従来のプルーニング手法はすべてのトークンを均等に扱うため、集約損失計算の下でこれらの重要な遷移トークンの信号が希釈され、信号対雑音比のバランスが崩れます。
クロスモーダルな差異: 単一モーダルの大規模言語モデル（LLM）向けに設計された従来のプルーニング手法は、視覚モーダルとテキストモーダル間の異なる活性化分布を考慮していません。VLM は構造的な異質性とクロスモーダルな絡み合いを示すため、純粋なテキストモデルに比べてプルーニングは著しく困難です。

手法：µCRASP

著者らは、グローバルなパラメータ予算の下で推論の整合性とクロスモーダルな整合性を維持するように設計された、トレーニング不要の構造化プルーニングフレームワークであるµCRASP（Multimodal Chain-of-thought Reasoning aware Structured Pruning：マルチモーダル CoT 推論認識型構造化プルーニング）を提案します。この手法は以下の 4 つの主要なステップで動作します：

グローバルアトリビューション: 全てのトークン位置にわたる 1 次テイラー展開を用いて、構造的単位（ニューロン、アテンションヘッド、GQA グループ）の標準的なグローバル重要度スコア（ $I_{global}$ ）を計算します。
軌道ピボットアトリビューション: 推論ステップ間の遷移を示す「ピボットトークン」（例："Step 1:"のような構造的区切りや"Therefore"のような論理接続詞）を特定します。検出された遷移領域の周囲のローカルウィンドウに限定された特定のアトリビューションスコア（ $A_{pivot}$ ）を計算します。これにより、プルーニングプロセスは表面的な流暢さだけでなく、論理的連続性に不可欠な単位を優先するようになります。
クロスモーダル依存性スコアリング（CMDS）: 各デコーダ層における視覚モーダルとテキストモーダル間の依存性を、最大平均不一致（MMD）に触発されたスコアを用いて定量化します。これにより、視覚言語の統合が最も強力な層（通常は中間層）を特定し、これらの「ボトルネック」層を過激なプルーニングから保護することを可能にします。
グローバルナップサック最適化: グローバルおよびピボットのアトリビューションスコアを、圧縮条件付きの混合係数（ $\gamma_{dyn}$ ）と CMDS および活性化感度から導き出された層レベルの保護係数と融合させます。その後、パラメータ予算と最小保持制約を尊重しつつ、推論維持型の重要度を最大化する構造的単位の最適なセットを選択するために、グローバルナップサック問題を解きます。

主な貢献

失敗の診断: 本論文は、既存の構造化プルーニング手法（FLAP、LLM-Pruner、Attribution Pruning など）が VLM における CoT 推論を維持できず、許容できるパープレキシティを維持しているにもかかわらず、中程度の圧縮下で推論チェーンが崩壊することを示しています。
µCRASP フレームワーク: 推論に不可欠なコンポーネントを明示的にターゲットとする、新しいトレーニング不要のプルーニング手法を導入します。これには、遷移に不可欠なトークンを捉えるための推論認識型アトリビューション、視覚言語の整合性を維持するためのクロスモーダル依存性モデリング、構造化プルーニングを導くための層ごとの感度が統合されています。
包括的なベンチマーク: 4 つの VLM（Llama 3.2-11B、Qwen2.5-VL-7B/3B、Gemma-3-4B）と 3 つの推論ドメイン（物理、数量、常識）にわたる広範な評価を提供します。本研究では、標準的なトークンレベルの精度指標を超えて、CoT 痕跡の論理的妥当性を評価するために LLM-as-Judge メトリックを利用しています。

実験結果

実験により、µCRASP はベースラインが失敗する増加する圧縮レベル下でも、一貫して推論の質を維持することが示されました：

推論の整合性対完全一致: µCRASP は、推論の整合性と完全一致（EMa）の精度との間に分離を示します。完全一致（EMa）が劣化する一方で、CoT 痕跡の論理的妥当性（LLM-Judge によって測定）は高く保たれます。例えば、Qwen2.5-VL-7B において 30% プルーニングを行った場合、µCRASP は物理推論において LLM-Judge スコアを 8.87（密モデルでは 9.02）に維持しますが、最良のベースライン（LLM-Pruner）は 7.32 まで低下します。
高圧縮への耐性: µCRASP は、50% プルーニングまで高い推論の一貫性（LLM-J > 7.0）を維持し、既存の手法に比べて 20〜25 パーセントポイントの改善を実現します。対照的に、既存の手法は 25〜30% を超えるプルーニングでしばしば急激な性能崩壊を招きます。
クロスモーダル保護: 除去実験により、CMDS コンポーネントが視覚言語の整合性を維持するために不可欠であることが確認されました。これを除去すると、意味的類似性とフォーマットスコアが著しく劣化します。
分布忠実度: µCRASP は、プルーニング済みモデルと密モデルの出力ログit分布間の低い KL 発散を維持しており、プルーニング済みモデルが表面レベルのテキストだけでなく、基礎的な推論幾何学を保持していることを示しています。

意義と主張

本論文は、推論チェーンとクロスモーダル相互作用の構造的完全性を明示的にモデル化することで、VLM 圧縮における重要なギャップを埋めると主張しています。著者らは以下を強調しています：

推論の整合性は独立している: 逐語的な答えの精度が劣化しても、論理的なチェーン構造は維持され得ます。これは、パープレキシティや完全一致といった従来の指標では捉えられていない現象です。
VLM には専門的なプルーニングが必要: VLM のプルーニングは、クロスモーダルな結合により、単一モーダルの LLM のプルーニングよりも本質的に困難です。これを無視する手法は、マルチモーダル推論タスクにおいて壊滅的な失敗を招きます。
実用的な展開: この手法は、微調整を必要とせずに、リソース制約のあるハードウェア上で能力のあるマルチモーダル推論モデルの展開を可能にしますが、著者らはプルーニング後の回復（例：知識蒸留）が将来の有望な方向であることを指摘しています。

著者らは、ヒューリスティックなピボット検出への依存、保護係数のための手動ハイパーパラメータ調整、英語のベンチマークに限定された評価などの限界を指摘し、控えめな範囲を維持しています。彼らは新しい推論能力を導入するのではなく、圧縮下での既存の能力を維持することを主張しています。