🤖 machine learning

Learning Fine-grained Parameter Sharing via Sparse Tensor Decomposition

本論文は、クロスブロック間のパラメータ共有、低ランク分解、およびスパース性を同時に最適化することでトランスフォーマーの MLP を圧縮し、ビジョントランスフォーマーおよび大規模言語モデルの両方においてモデルサイズを大幅に削減しながら精度の低下を最小限に抑える統合フレームワークである微細粒度パラメータ共有（FiPS）を導入する。

原著者： Cem Üyük, Mike Lasby, Mohamed Yassin, Utku Evci, Yani Ioannou

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Cem Üyük, Mike Lasby, Mohamed Yassin, Utku Evci, Yani Ioannou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢いけれど、通常の本棚（スマートフォンや小型コンピュータ）には収まらないほど巨大な本棚（大規模 AI モデル）を持っていると想像してください。中に入っている物語を失うことなく、この本棚を縮小させたいとします。

長らく、科学者たちはこれらの本棚を圧縮するために、単にページを切り取る（プルーニング）か、本をより小さなフォントで書く（量子化）という試みを行ってきました。しかし、この論文はFiPS（Fine-grained Parameter Sharing：微細なパラメータ共有）と呼ばれる、新しく賢明な戦略を紹介しています。

FiPS がどのように機能するかを、簡単な比喩を用いて説明します。

1. 問題：同一の部屋が多すぎる

現代の AI を支えるトランスフォーマーモデルを、多くの同一の階を持つ巨大なホテルだと考えてください。各階には、調理が行われる「キッチン」（MLP レイヤー）があります。

従来の方法: 通常、各階にはそれぞれ独自の 100 人のシェフがおり、それぞれが独自のレシピを持っています。階は同じに見えても、シェフたちは互いに話し合いません。これはスペースの無駄遣いです。
FiPS のアイデア: FiPS は、「なぜ各階に 100 人の独自のシェフが必要なのか？核心となるレシピを知っている共有のマスターシェフ（共有基底）を雇い、各階にはそのレシピをその階に合わせてわずかに調整する数人のローカルアシスタント（疎な射影行列）を配置すればよい」と提案します。

2. 秘密の調味料：「共有のマスターシェフ」と「疎なアシスタント」

FiPS はモデルを縮小するために、同時に 3 つのことを行います。

共有のマスターシェフ（低ランク分解）: 階ごとに 100 人の独自のシェフを置く代わりに、FiPS は基礎的な技術を知っている 1 人の「マスターシェフ」を作成します。このシェフは、複数の階で共有されます。
疎なアシスタント（疎性）: 各階のローカルアシスタントは、マスターシェフが知っているすべてのレシピを知る必要はありません。その階の料理を作るために必要な数種類のレシピだけを知っていれば十分です。FiPS はこれらのアシスタントを「疎」にすることで、必要な接続のみを保持し、他を無視させます。これは、アシスタントに 100 品ではなく 3 品だけのメニューを与えるようなものです。
チームワーク（ブロック間共有）: FiPS はこれらの階をグループ化します。マスターシェフと、階全体のアシスタントを見て、ホテル全体が効率的に運営されるよう、作業分担を共有する最良の方法を計算します。

3. 実装方法（構築プロセス）

研究者たちは単に推測したわけではありません。彼らはSVD（特異値分解）と呼ばれる数学的ツールを用いて、自動的に「マスターシェフ」を見つけ出しました。

複数の階のすべてのレシピを混ぜ合わせ、最も一般的で本質的な材料を見つけるイメージです。
次に、これらの材料をマスターシェフに割り当てました。
最後に、ローカルアシスタントに必要な特定の材料のみを使用するように訓練し、残りを捨てました（プルーニング）。

4. 結果：小さく、速く、そして賢いまま

この論文は、2 種類の AI でこの手法をテストしました。

ビジョントランスフォーマー（ViTs）: 画像を見る AI です。
- 結果: AI が物体を認識する方法を忘れることなく、モデルを最大33%（微調整を加えると最大57%）縮小しました。これは、スーツケースを 3 分の 1 縮小しても、すべての服が入ったままの状態に似ています。
大規模言語モデル（LLM）: 文章を書き、会話する AI です。
- 結果: これらのモデルを**20%**縮小し、他の縮小手法よりも賢くしました。
- 「マジックトリック」: FiPS を「量子化」（非常にコンパクトなコードで数値を記述する技術）と組み合わせると、AI の言語能力を単なる圧縮のみを使用した場合よりもはるかに良く保ちながら、8 倍の圧縮（モデルを 8 分の 1 にする）を達成しました。

5. なぜこれが重要なのか

この論文は、FiPS が、知能を失うことなく、スマートフォンやラップトップなどのデバイスで実行できるほど大規模な AI モデルを小さくするための、実用的な「プラグアンドプレイ」方式であると主張しています。AI の異なる部分間で「知能」（パラメータ）を共有し、保持する情報を非常に選択的（疎）にすることで、スーパーコンピュータを必要としない効率的な AI を構築できることを証明しています。

要約すると: FiPS は、家の各部屋が独自の道具一式を必要とするのではなく、廊下に 1 つの共有工具箱を持ち、各部屋には必要な数種類の道具だけを置くことに気づいたようなものです。家の機能はそのままに、必要なスペースは大幅に減ります。

技術的概要：疎テンソル分解による微細なパラメータ共有（FiPS）

問題定義

大規模なニューラルネットワーク、特にトランスフォーマーは、最先端のパフォーマンスを達成する一方で、その巨大なサイズにより、リソース制約のあるデバイスへの展開において重大な障壁に直面しています。量子化、蒸留、テンソル分解など、さまざまな圧縮技術が存在するものの、トランスフォーマーモデルにおける層間パラメータ共有は比較的未探索の領域です。既存の手法は、しばしば全体ブロックを共有する（例：ALBERT）ため表現能力が制限されるか、共有のために密な係数に依存するため圧縮効率が制限されます。パラメータ数を大幅に削減しつつ、高い表現柔軟性と最小限の精度低下を維持する手法の必要性があります。

手法：微細なパラメータ共有（FiPS）

FiPS は、ブロック間パラメータ共有、低ランク分解、および疎性を単一の最適化プロセスに統合することで、トランスフォーマーのマルチレイヤーパーセプトロン（MLP）を圧縮するように設計された統合フレームワークです。

中核メカニズム

この手法は、トランスフォーマーの MLP が、同一形状の全結合（FC）層を持つ反復的な均質ブロックで構成されているという観察に基づいています。FiPS は、各層に対して独立した重みを学習する代わりに、以下の手順を踏みます：

$N$ 個のトランスフォーマーブロック群から重み行列（ $W_1, \dots, W_N$ ）を、出力次元（「長い軸」）に沿って連結します。
この連結されたテンソルを、共有基底 $U \in \mathbb{R}^{d \times r}$ と層固有の疎な射影行列 $V_i \in \mathbb{R}^{r \times p}$ に分解します。
元の重みを $W'_i = U V_i$ として再構成します。

主要な技術的構成要素

初期化: 共有基底 $U$ と射影行列 $V_i$ は、連結された重みの**截断特異値分解（SVD）**によって初期化されます。目標ランク $r$ がモデル次元 $d$ を超える場合（高いパラメータ予算による）、新しい次元をゼロに設定し、対応する $V$ の次元を減衰因子 $\tau$ でスケーリングした上位特異ベクトルから導出する「ハイブリッド初期化」を使用します。これにより、段階的な学習が可能になります。
疎性の誘発: 本論文の重要な洞察は、射影行列 $V$ に疎性を課すことが不可欠であることです。密な係数を使用する手法とは異なり、FiPS は $V$ 内の低絶対値を剪定します。最適な疎性レベルは、特に大きな因子行列に適用される場合、75% であることが判明しました。
最適化戦略:
1. 共有初期化: 連結された重みの SVD 分解。
2. 局所誤差最小化: 少量の較正データセットを用いて、元のアクティベーションと圧縮されたアクティベーション間の $\ell_2$ 再構成誤差を最小化するように $U$ と $V_i$ を最適化します。疎性は**漸進的絶対値剪定（GMP）**によって強制されます。
3. 大域誤差最小化（オプション）: 高い圧縮率でパフォーマンスを回復させるための、動的疎性トレーニング（RigL）を用いたエンドツーエンドの微調整段階。
グループ化戦略: 本論文は、隣接する層が最も多くの冗長性を共有することを特定しています。最適なパフォーマンスは、連続するブロックをグループ化すること（例：DeiT-B の場合 4 ブロックごとのグループ）および LLM に対して「テーパー型」グループ化戦略（ネットワークの両端では小さなグループ、中央では大きなグループ）を使用することで達成されます。

主要な貢献

ブロック間共有の体系的分析: 著者は共有粒度、連結スキーム、疎性パターンを体系的に探索し、長い軸方向の連結と射影因子への疎性が最低の再構成誤差をもたらすことを特定しました。
FiPS アルゴリズム: SVD によって初期化され、共有基底と疎な層固有の射影を共同で最適化する新規アルゴリズムです。これは、基底ではなく射影因子に低ランク分解と疎性を組み合わせる点で他と一線を画します。
最先端の圧縮結果:
- ビジョントランスフォーマー（ViT）: DeiT-B と Swin-L を ImageNet-1k 上でトップ 1 精度の低下が1% 未満のまま最大33% 圧縮します。微調整を行うと、圧縮率は57% に達します。
- 大規模言語モデル（LLM）: Llama-7B と Llama-3.1-8B を最大20% 圧縮し、困惑度および下流ベンチマークにおいて既存の SVD ベースのベースライン（ASVD、SVD-LLM、SVD-LLM V2）を上回ります。
- 量子化との相乗効果: 量子化対応トレーニング（QAT）と組み合わせると、Gemma-2-2B における 3 ビット FiPS は、2 ビット QAT 単独と同じ8 倍の圧縮を達成しつつ、著しく低い困惑度（35.43 対 41.86）を実現します。
ハードウェア効率: この手法は構造化された疎性（例：2:4 パターン）をサポートし、大幅な精度低下なしに測定可能な推論速度向上（NVIDIA A4000 で 1.31 倍）およびメモリ削減（ピーク VRAM で 0.79 倍）を実現します。

結果

ViT パフォーマンス: ImageNet-1k において、FiPS はさまざまなパラメータ予算（10% から 75%）にわたり、Adaptive Atomic Feature Mimicking（AAFM）や Global Feature Mimicking（GFM）などのベースラインを一貫して上回ります。例えば、40% のパラメータ予算において、FiPS は DeiT-B で 81.69% の精度を達成し、より高い計算コストを要する GFM（81.28%）を凌駕します。
LLM パフォーマンス: WikiText-2 および C4 データセットにおいて、FiPS は 20% 圧縮時、分解ベースの手法の中で最低の困惑度を達成します。また、CIFAR-100、Flowers102、およびその他のビジョンベンチマークにおいて、GFM と比較して優れた転移学習能力を示します。
アブレーション研究: 本論文は以下の点を確認しています：
- 射影行列 $V$ への疎性が重要であり、密なベースラインは低パラメータ予算で崩壊する。
- SVD 初期化はランダム初期化を上回る。
- 大域剪定（層間でパラメータを適応的に割り当てる）は局所剪定よりも良い結果をもたらす。
- 射影行列にとって 75% の疎性レベルが最適である。

意義と主張

本論文は、トランスフォーマー MLP 圧縮に対する実用的かつ効果的なアプローチとして微細なパラメータ共有を確立します。著者は、FiPS が量子化対応トレーニング（QAT）や LoRA といった他の圧縮技術と直交しており、さらなる利益のためにこれらと組み合わせ可能であると主張しています。

その意義は、共有基底と疎な学習可能射影を用いて行われる場合、層間でのパラメータ共有が表現能力の犠牲を必要としないことを実証している点にあります。このアプローチは既存の戦略に対する競争力のある代替手段を提供し、ViT で最大 57%、LLM で 20% の大幅な圧縮を最小限のパフォーマンス低下で達成することで、リソース制約のあるデバイスへの大規模モデルの展開を容易にします。この手法は特に、蒸留や補助的な教師信号に依存せず、ブロックごとの再構成誤差最小化に依存している点で注目すべきです。