💻 computer science

Slimmable ConvNeXt: Width-Adaptive Inference for Efficient Multi-Device Deployment

本論文は、ConvNeXt の現代的な設計を活用して単一の共有重みセットで効率的なマルチデバイス展開を可能にする幅適応推論フレームワーク「Slimmable ConvNeXt」を導入し、既存の CNN や Vision Transformer 手法と比較して複雑な正規化メカニズムを必要とせずに、さまざまな計算制約において優れた精度を達成することを示す。

原著者： Janek Haberer, Jon Eike Wilhelm, Olaf Landsiedel

公開日 2026-05-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Janek Haberer, Jon Eike Wilhelm, Olaf Landsiedel

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが大勢のために食事を提供しなければならない料理人のチーム（コンピュータビジョンモデル）を持っていると想像してください。時には、広大なキッチンにフルスタッフと高級な設備がある場合（強力なクラウドサーバー）もあります。他の時には、コンロが一つだけで限られた食材しか持っていない小さなキャンピングカーで調理している場合（バッテリー残量の少ないスマートフォン）もあります。

従来、料理人のチームにどちらの環境でも働いてほしい場合、完全に異なる二つのチームを雇う必要がありました。大きなキッチン用の大規模チームと、キャンピングカー用の小さく専門的なチームです。それらを別々に訓練し、レシピを別々に保管し、場所に応じて切り替える必要がありました。これは高価で厄介なものでした。

「柔軟な」料理人の課題
一部の研究者は、その場で縮んだり成長したりできる「スーパー料理人」を作ろうと試みました。100 人、50 人、あるいは 10 人の料理人で稼働できる単一のチームを構築しました。しかし、これらの旧来の方法には重大な欠陥がありました。それは、あらゆる可能なチームサイズに対応する統計情報を追跡するための複雑な「交換盤」（スイッチ可能なバッチ正規化）を必要とした点です。これは、あらゆる単一の食材サイズごとに異なる計量カップを持っているようなもので、厨房を混沌とし、訓練を困難にしました。

新しい解決策：Slimmable ConvNeXt
この論文は、Slimmable ConvNeXtと呼ばれる新しいタイプの料理人チームを導入します。著者らは、ConvNeXt アーキテクチャの現代的な設計が、厄介な交換盤なしで縮小・拡大するのに自然に最適であることを発見しました。

以下に、簡単な比喩を用いてその仕組みを説明します。

1. 「LayerNorm」の魔法（交換盤は不要）

従来の柔軟なモデルは、異なるチームサイズを処理するための特別なルールを必要としていました。Slimmable ConvNeXt は、LayerNormと呼ばれる技術を使用します。

比喩: 従来のチームでは、マネージャーが部屋にいる人数を正確に把握して指示を出す必要があります。部屋のサイズが変わると、パニックに陥り、新しいルールブックが必要になります。
新しい方法: LayerNorm は、部屋に何人がいるかに関係なく、今その人が何をしているかに基づいて指示を出すマネージャーのようなものです。料理人が 100 人であれ 10 人であれ、マネージャーは即座に適応します。これにより、複雑な「交換盤」は不要になります。訓練プロセスははるかにシンプルでクリーンになります。

2. 「インバーテッドボトルネック」（簡単にスライス可能）

ConvNeXt は、「インバーテッドボトルネック」と呼ばれる構造を使用します。

比喩: 標準的なサンドイッチを想像してください。パン（小さい）、肉（大きい）、パン（小さい）。より小さなサンドイッチを作りたい場合、パンと肉の両方を切る必要があり、それは厄介です。
新しい方法: インバーテッドボトルネックは、具材が巨大でパンが薄いサンドイッチのようなものです。「肉」（重い計算）は中央に集中しています。モデルを縮小させたい場合、単に肉の端をスライスするだけです。全体の構造を崩すことなく、中央から簡単にスライスできます。これにより、チャネル（データの幅）を「スライス」するだけで、モデルの小型版を簡単に作成できます。

3. 実際の実装方法

研究者たちは、内部に複数の「ネストされた」バージョンを含む単一のモデルを訓練しました。

訓練: 料理人たちが毎日練習していると想像してください。ある日は 100 人のフルチームで練習し、他の日は 50 人、さらに他の日は 25 人だけで練習します。彼らはすべて同じ知識ベース（重み）を共有します。これらすべての異なるサイズで練習するため、彼らはあらゆるサイズでうまくやることを学びます。
結果: モデルをデプロイする際、新しいファイルを再読み込みする必要はありません。「今日は 25 人の料理人分のバッテリーしかないよ」とモデルに伝えるだけで、瞬時に 25 人モードに切り替わります。明日、フルパワーの電源が使えるようになれば、100 人モードに戻ります。

結果：より高い性能、より少ない計算

この論文は、128 万枚の画像のライブラリである大規模データセット ImageNet-1k 上でこれをテストしました。彼らは、新しい「Slimmable ConvNeXt」を、既存の最良の柔軟なモデル（主に Vision Transformer、つまり異なる種類の AI アーキテクチャに基づくもの）と比較しました。

勝者: Slimmable ConvNeXt は、より高速で正確でした。
- 中程度の計算レベルでは、**80.8%の精度を記録しました。次点の競合は78.4%**でした。
- 非常に低い計算レベル（弱いスマートフォンなど）では、**77.4%を記録し、競合は73.0%**でした。
規模: 彼らはモデルの小型、中型、大型バージョンをテストしました。大型バージョンほど、精度を大きく失わずに縮小する能力に優れていました。例えば、最大バージョンはフルパワーで**82.8%**の精度を達成し、半分に縮小されても非常に強力な状態を維持しました。

なぜこれが重要なのか（論文によると）

この論文は、この特定の「スライス」技術が ConvNeXt に適用されたのは初めてであると主張しています。

シンプルさ: 旧来の方法で必要とされていた複雑な正規化スイッチを不要にします。
効率性: 「自己注意」（Transformer モデルで使用される重い処理）を使用しないため、同じ結果を得るために必要な数学的演算（GMACs）が少なくて済みます。
汎用性: 単一のモデルで、巨大なサーバー、ラップトップ、モバイルフォンを、複数の異なるファイルを保存することなく実行できます。

要約すると、著者たちは AI モデルの「スイスアーミーナイフ」を構築しました。ナイフ、ドライバー、コルク抜きを別々に持ち歩くのではなく、瞬時にそれらのいずれかに変形できる一つのツールを持ち、それは以前の世代のマルチツールよりも優れており、効率的に機能します。

技術的サマリー：Slimmable ConvNeXt

問題定義

異質なリソース制約を持つデバイス間でのビジョンモデルの展開、あるいはバッテリー状態、サーマルスロットリング、レイテンシ期限などにより計算リソースの可用性が変動する単一デバイス上での展開には、通常、各ターゲットプラットフォームごとに個別のモデルを訓練・維持することが必要とされます。このアプローチはコストが高く、動的環境では非現実的です。一方、幅適応型推論は、複数のネストされたサブネットワークを含む単一の共有重みセットを訓練することで解決策を提供しますが、従来の手法には特定のアーキテクチャ的制限が存在します：

古典的 CNN： Slimmable Networks や US-Nets などの手法は、異なるチャネル幅に対して個別のRunning Statisticsを維持するためにスイッチ可能なバッチ正規化を必要とし、複雑さとパラメータ数を増大させます。
ビジョントランスフォーマー（ViT）： 最近のスケーラブルな手法（例：HydraViT、MatFormer）は、サブネットワークの抽出方法に構造的制約を課すアテンションメカニズムに依存しています（例：アテンションヘッドをヘッド次元の倍数単位で削除する、または埋め込み次元を完全に維持する）。これにより、スケーラビリティの粒度と範囲が制限されます。

手法

本論文は、ConvNeXt アーキテクチャファミリーへのチャネル幅スリミングの初適用であるSlimmable ConvNeXtを提案します。この手法は、ConvNeXt に固有の設計選択を活用することで、訓練パイプラインを簡素化し、効率を向上させます。

アーキテクチャ設計

各 ConvNeXt ブロックには、アクティブなチャネルの割合を決定するスリミング比 $p \in (0, 1]$ が割り当てられます。

チャネルスライシング： ブロック内のすべての重みテンソル（深度別畳み込み、ポイント別畳み込み、LayerNorm パラメータ）は、最初の $\lfloor p \cdot C \rfloor$ 個のチャネルのみを保持するようにスライスされます。
インバーテッドボトルネック： 中間の拡張層（4 倍拡張）も $4 \cdot \lfloor p \cdot C \rfloor$ にスライスされ、拡張比が維持されます。
残差接続の処理： スリム化されたブロックが入力よりも少ないチャネル数を出力する場合、残差接続を追加する前に、元の次元に一致するように出力がゼロパディングされます。これにより、追加の投影パラメータを導入することを回避します。
正規化： 古典的なスリム可能な CNN と異なり、ConvNeXt はバッチ正規化の代わりにLayerNormを使用します。LayerNorm はサンプルおよびチャネルスライスごとに統計量を計算するため、スイッチ可能な正規化層や個別の Running Statistics を必要とせず、任意のチャネル数に自然に適応できます。

訓練手順

モデルは、交互に幅を変化させる共同訓練手順を用いて訓練されます：

確率的選択： 各ブロックのスリミング比を定義する $p$ -リストのセットが定義されます。訓練中は、バッチごとに 1 つの $p$ -リストがランダムに選択されます。
共有重み： すべてのサブネットワークは同じ重みを共有します。比 $p < 1$ のサブネットワークは、 $p=1$ 時に使用されるパラメータの厳密な部分集合を使用します。
最適化： モデルは、選択されたサブネットワークを通じて標準的な順伝播・逆伝播パスを経由します。この確率的な交互は、チャネル次元に適用された HydraViT のテールドロップ訓練に類似しています。
AutoSlim（オプション）： 非一様なブロックごとの幅を最適化するために、論文はAutoSlimを検証します。この貪欲探索は、一様な幅から開始し、検証精度の低下に基づいて最も重要度の低いブロックの比率を反復的に削減し、目標とする平均比率に達するまで続けます。これにより、通常、中間段階を積極的にスリム化しつつ、初期段階と後期段階をより広く維持します。

主要な貢献

アーキテクチャの適合性： 著者は、ConvNeXt の設計（特に LayerNorm とインバーテッドボトルネックの使用）が、幅適応型スリミングに理想的な候補であることを実証しています。これにより、従来の CNN 手法で必要とされたスイッチ可能なバッチ正規化のオーバーヘッドが排除され、アテンションベースの ViT 手法の構造的制約も回避されます。
簡素化されたパイプライン： このアプローチは、従来の CNN および ViT のスリム可能な手法よりも単純な訓練パイプラインをもたらし、スイッチ可能な正規化、知識蒸留、サンドイッチ訓練ルールを必要としません。
性能： この手法は、ImageNet-1k 上の広範な計算予算において最先端の精度を達成し、ViT ベースおよび古典的 CNN のベースラインを上回ります。

実験結果

著者は、ConvNeXt-Tiny (T)、Small (S)、Base (B) の 3 つのモデルサイズで、ImageNet-1k 上の Slimmable ConvNeXt を評価しました。すべてのモデルは、ゼロから 600 エポック訓練されました。

ConvNeXt-Tiny（3 つのサブネットワーク）

フル容量（4.5 GMACs）： 80.8% のトップ 1 精度。
半容量（1.2 GMACs）： 77.4% のトップ 1 精度。
比較： HydraViT の 6 ヘッドサブネットワーク（4.6 GMACs で 78.4%）を 2.4 ポイント上回り、3 ヘッド構成（1.3 GMACs で 73.0%）を 4.4 ポイント上回ります。また、同様の GMACs における MatFormer-S や SortedNet-S も凌駕します。

ConvNeXt-Base（4 つのサブネットワーク）

フル容量（15.4 GMACs）： 82.8% のトップ 1 精度。
半容量（4.0 GMACs）： 81.6% のトップ 1 精度。
比較： 半容量において、4.0 GMACs で 81.6% を達成し、4.6 GMACs で 80.2% の HydraViT を上回ります（演算量が 13% 少ない）。単一の重みセットから 1.1 から 15.4 GMACs の計算範囲をカバーするのに対し、MatFormer は約半分からフル計算に限定されます。

スケーリングとロバスト性

優雅な劣化： 大規模モデル（ConvNeXt-B）は、小規模モデル（ConvNeXt-T）と比較してスリミング下でのより優雅な劣化を示し、半容量においてフル容量精度の 98.7% を維持します。
サブネットワーク数： サブネットワーク数の増加（例：3 から 5 へ）は、一般的に小規模モデルにおいて逓減するリターンまたはわずかな精度低下をもたらしますが、ConvNeXt-B はロバストであり、4 つのサブネットワークが実際にはピーク精度を向上させます。
AutoSlim： AutoSlim は低容量において modest な改善をもたらします（例：ConvNeXt-T の 1/4 容量で +1.0%）が、フル容量では边际的またはわずかにマイナスの利益しか提供せず、これはおそらく残差接続におけるゼロパディング戦略によるものです。

意義と主張

本論文は、Slimmable ConvNeXt が、推論時に計算コストを動的に調整し、変動するリソース予算に適合できる単一の弾性モデルを提供すると主張しています。これにより、単一のモデルで異質なデバイスのフリートにサービスを提供するか、重みの再読み込みなしに実行時の制約（バッテリー、熱、レイテンシ）に適応できる展開シナリオが可能になります。

著者は、LayerNorm（スイッチ可能な正規化の排除）とインバーテッドボトルネック（単純なパラメータスライシングの促進）の組み合わせにより、ConvNeXt がほぼすべての動作点において最先端のベースラインよりも高い精度を達成しつつ、畳み込みアーキテクチャの単純さとハードウェア互換性を維持できることを強調しています。この研究は、容量削減を必要とする展開シナリオでは、フル幅で小規模モデルを訓練するよりも、大規模なベースモデルから始めて積極的にスリム化することの方が、より良い結果をもたらす可能性を示唆しています。