💻 computer science

Parameters as Experts: Adapting Vision Models with Dynamic Parameter Routing

本論文は、共有エキスパート中心から入力依存の低ランク重み行列を動的なパラメータルーティング機構によって生成することで、複雑な密予測タスクにおける特徴の多様性と性能を向上させるビジョンモデル向けのパラメータ効率型微調整手法「ParaX」を提案する。

原著者： Meng Lou, Stanley Yu, Yizhou Yu

公開日 2026-05-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Meng Lou, Stanley Yu, Yizhou Yu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが世界について多くのことを知っている、巨大で高度に熟練された図書館（事前学習済み AI モデル）を持っていると想像してください。あなたは、この図書館に、異なる種類の鳥を識別する、または散らかった部屋から物体を見つけるような、新しい特定のスキルを教えたいと考えています。

従来、これを行うには 2 つの方法がありました：

フルファインチューニング：図書館全体を書き換えます。これは非常に効果的ですが、高価で時間がかかり、学びたい新しいスキルごとに、図書館の巨大な新バージョンができてしまいます。
パラメータ効率型ファインチューニング（PEFT）：数枚の付箋や小さな栞を使って図書館に教えようとします。これは安価で高速ですが、付箋が単純すぎるため、図書館は新しいスキルを十分に学習できないことがよくあります。

本論文は、付箋の低コスト性と図書館全体を書き換える際の高性能性の両方の利点を活かす新しい手法「ParaX」を紹介しています。

現在の「付箋」の問題点

著者らは、LoRA や AdaptFormer などの現在の手法には 2 つの主要な欠陥があると主張しています：

「万能型」であること：初心者に、専門家や子供に全く同じ講義を行う教師を想像してください。現在の手法は、画像に何が写っているかに関係なく、すべての画像に対して同じ「ルール」を使用します。入力の詳細に合わせた適応を行いません。
「孤立」していること：AI の層（労働者のチーム）があると仮定すると、現在の手法は各労働者が孤立して学習させます。彼らは互いに話し合いません。これにより、複雑な問題を解決するために協力するのではなく、全員が同じことをする（冗長性）ことになります。

ParaX の解決策：「共有エキスパートセンター」

ParaX は、AI の学習ツールを「エキスパートの混合（MoE）」として扱うことで、ゲームのルールを変えます。

アナロジー：マスター工具小屋
AI が、数千もの専門的なツール（学習可能なパラメータ行列）で満たされた巨大な「共有工具小屋（エキスパートセンター）」を持っていると想像してください。

旧手法：工場のすべての労働者が、それぞれ固定された小さな工具箱を持っています。彼らは仕事に応じてツールを変更できません。
ParaX 手法：すべての労働者が「スマートルーター」を持っています。新しいタスク（画像が入力される）が到着すると、スマートルーターは画像を見て、「ああ、これは多くの細かい詳細がある難しいシーンだ。マスター工具小屋からツール#4 とツール#12 を取り出して、この瞬間に合わせたカスタムレンチを組み立てよう」と言います。

仕組み（魔法のステップ）

動的ルーティング：固定されたルールセットを使用する代わりに、ParaX は特定の画像を見て、共有工具小屋からどの「ツール」（パラメータ行列）を使用するかを動的に決定します。これは、厳格なレシピに従うのではなく、スープを味見して即座にどの特定のスパイスを加えるかを決める料理人のようなものです。
共有知識：すべての労働者（ネットワークの層）が同じマスター工具小屋からツールを取り出すため、自然と互いから学び始めます。ある層が特定の種類のエッジに対して優れたツール組み合わせを見つけると、その知識はチーム全体で利用可能になります。これにより冗長性が減り、AI は複雑なシーンを理解する能力が向上します。
マルチスケール混合：ParaX は、遠くから木を見て形を把握し、近くから見て葉を見るなど、異なる「ズームレベル」で同時に物事を見る機能も追加します。これは画像内の物体を見つけるようなタスクにとって不可欠です。

結果：なぜ重要なのか

著者らは、ParaX を以下の困難なタスクでテストしました：

セマンティックセグメンテーション：画像の各ピクセルに「空」「車」「人」などのラベルを付けて色付けすること。
物体検出：画像内の物体を見つけ、枠で囲むこと。
パンオプティックセグメンテーション：上記 2 つの超難易度の高い組み合わせ。

主張：
ParaX は、従来の最良の「付箋」手法よりも優れた結果を達成し、場合によっては高価な「図書館全体を書き換える」手法さえも凌駕しました。しかも、学習可能なパラメータの4% 未満を使用しながらです。

簡単に言えば：ParaX は、AI に少量の共有食材とスマートな計画を使ってグルメ料理を調理できるマスターシェフを教えました。一方、他の手法は、味はそこそこだが素晴らしいとは言えない、既製食に閉じ込められていました。

まとめ

ParaX は、AI モデルに新しいスキルを教えるための新しい方法です。AI に静的で万能な指示セットを与えるのではなく、AI が見るすべての画像に対してその場でカスタマイズできる動的で共有された工具箱を与えます。これにより、AI はゼロから再学習する必要なく、複雑なシーンを理解する能力が大幅に向上します。

技術概要：ParaX - 動的パラメータルーティングによるビジョンモデルの適応

1. 問題定義

パラメータ効率的微調整（PEFT）は、事前学習済みビジョンモデルを少数の学習可能パラメータを用いて下流タスクに適応させつつ、フル微調整と同等の性能を維持することを目的としています。分類タスクでは成功を収めていますが、既存の PEFT 手法は物体検出やセマンティックセグメンテーションなどの複雑な密な予測タスクでは困難に直面しています。本論文は、既存のアダプターベースのアプローチ（AdaptFormer、Mona など）における 2 つの主要な限界を特定しています。

表現力の欠如: 既存のアダプターは、入力に依存しない低ランクモデル化を採用することが多いです。これらはすべての入力に対して普遍的に機能する静的な変換を学習するため、密な予測において複雑な空間的依存関係を捉えるために必要な入力依存の適応をサポートできません。その結果、フル微調整と比較して実効受容野（ERF）が小さくなります。
特徴の冗長性: 異なるネットワーク層に埋め込まれたアダプターは通常、孤立しており、層間相互作用が欠如しています。これにより、既存の手法における層間の中心カーネルアライメント（CKA）類似度が高いことからも示唆されるように、異なる層が類似した情報を捉える冗長な表現が生じます。

2. 手法：ParaX

著者は、単純なミクスチャー・オブ・エキスパート（MoE）アーキテクチャに基づいた新しいアダプタースタイルの PEFT 手法であるParaXを提案します。各層ごとに孤立したアダプター重みを学習する代わりに、ParaX は共有エキスパートセンターと動的パラメータルーティングメカニズムを導入します。

2.1 共有エキスパートセンター

ParaX は、階層的ビジョンネットワークの各ステージに対して、学習可能なパラメータ行列（エキスパート）の大規模な共有リポジトリを構築します。

チャネル変換: センターには、ダウンプロジェクションとアッププロジェクションのための行列ペア（ $E_A, E_B$ ）が含まれます。
空間変換: 空間モデリングを強化するため、センターにはマルチカーネルの深度方向畳み込みカーネルを生成するように設計された行列セット（ $S_A, S_B, S_C$ ）が含まれます。
容量: エキスパートセンターのサイズ（ $M$ ）と潜在次元（ $\hat{C}$ ）は、総パラメータ数を制御するハイパーパラメータです。

2.2 動的パラメータルーティング

フォワードパス中、各 ParaX モジュールは、現在の入力とモジュールの位置に合わせて重み行列を動的に生成します。

ルーティングメカニズム: 軽量なルーターネットワークが入力特徴を処理（グローバル平均プーリングと線形層を介して）し、動的ゲーティングベクトル（ $G$ ）を生成します。
動的重み生成: これらのゲーティングベクトルは、共有エキスパートセンターからのパラメータ行列を選択的に集約します。
- チャネル投影の場合: $W_1 = G_1 \times E_A$ および $W_2 = G_2 \times E_B$ 。
- 空間混合の場合: ルーターは動的ゲーティングベクトルを生成して、エキスパート行列を動的な深度方向畳み込みカーネル（$D2Convs$）に結合します。
入力依存性: 静的なアダプターとは異なり、生成される重み行列は入力に依存するため、モデルは特定の入力変動に基づいて特徴表現をカスタマイズできます。

2.3 動的マルチスケール空間混合

ParaX は、サイズが増加する（例：3、5、7）動的な深度方向畳み込みを順次スタックすることで、マルチスケールの空間モデリングを統合します。これらの出力は、空間的注意を用いてスケール間の特徴を動的に再較正する空間可変集約（SA）モジュールを介して集約されます。この設計は明示的に入力依存であり、Mona などの手法で使用される固定された入力非依存の重みとは対照的です。

3. 主要な貢献

動的パラメータルーティング: 本論文は、学習可能なパラメータ行列が「エキスパート」として機能し、ゲーティングベクトルを介して動的に集約されるメカニズムを導入します。これにより、入力依存の形で低ランク適応が可能となり、より強力かつカスタマイズされた特徴表現が生成されます。
共有エキスパートセンター: 複数のネットワーク層間で同じエキスパートセンターを共有することで、ParaX は暗黙的な層間特徴相互作用を促進します。これにより、明示的な層間接続を必要とせずに情報の多様化が図られ、特徴の冗長性が低減されます。
入力依存の空間モデリング: この手法は動的ルーティングを空間変換に拡張し、入力固有のマルチスケール畳み込みカーネルを生成することで、密な予測タスクにおける静的アダプターの表現力の欠如を解決します。

4. 実験結果

著者は、Swin および ConvNeXt のバックボーンを使用して多様な視覚認識タスクで ParaX を評価し、フル微調整および最先端の PEFT 手法（VPT、LoRA、AdaptFormer、Mona など）と比較しました。

セマンティックセグメンテーション（ADE20K）: Swin-L を使用して、ParaX は学習可能パラメータの 4% 未満でフル微調整（51.2%）を 0.8% 上回る52.0% の mIoUを達成しました。また、強力なベースラインである Mona を 0.4% 上回りました。
物体検出およびインスタンスセグメンテーション（COCO2017）: ConvNeXt-L を使用して、ParaX はフル微調整に対して APb/APm を1.4%/1.6%、Mona に対して**0.6%/0.4%**改善しました。
パン옵ティックセグメンテーション（COCO2017）: Swin-B および ConvNeXt-B と統合された場合、ParaX は AdaptFormer に対してそれぞれ PQ を 1.7% および 2.0% 改善しました。
画像分類: 大きなドメインシフトを伴うデータセットである ImageNet-R において、ParaX はトップ 1 精度で Mona を 1.6% 上回り、ドメインシフトに対する頑健性を示しました。
汎化性能: この手法は、ViT アーキテクチャ、Mamba ベースのモデル（VMamba）、人間姿勢推定、リモートセンシングセグメンテーションにおいて優れた性能を示しました。

5. 意義と主張

本論文は、ParaX が現在の PEFT 手法における入力非依存モデル化と特徴冗長性の根本的な限界に対処すると主張しています。共有エキスパートセンターと動的ルーティングを活用することで、ParaX は以下の成果を達成します。

優れた表現容量: 重みの入力依存性により、モデルは長距離依存関係や複雑な空間的コンテキストをより効果的に捉えることができ、フル微調整と同等の大きな ERF が実証されています。
強化された特徴多様性: 共有エキスパートセンターは暗黙的な層間相互作用を促進し、冗長性を低減して層がより代表的な特徴を抽出できるようにします。
効率性: 動的ルーティングとマルチスケール畳み込みにもかかわらず、ParaX は競争力のある計算効率を維持し、複数のタスクに対してフル微調整モデルを維持する場合と比較して、ストレージコストを大幅に削減します（学習可能パラメータの 4% 未満で済みます）。

著者は、ParaX が密な予測タスクにおけるパラメータ効率的適応の新しい最先端を設定し、PEFT とフル微調整の間の性能ギャップを埋めるために動的かつ入力依存のパラメータ生成が不可欠であることを実証していると結論付けています。