🤖 machine learning

LegoLM: Structured Weight Sharing for Large Language Models

LegoLMは、スカラーブロック符号化、パーセンタイル選択的置換、および境界層保護といったデータフリーの適応を通じて、グローバルな重み共有における分布の不一致や外れ値による支配という失敗を克服する構造化重み共有フレームワークであり、大規模言語モデルに対して、既存のPTQ 8ビット手法を大幅に上回る性能を発揮しながら、ほぼ損失のない圧縮を実現します。

原著者： Joseph Bingham

公開日 2026-08-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Joseph Bingham

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

膨大な知識が詰まった複雑な図書館を、小さなバックパックに詰め込もうとしている場面を想像してみてください。これは、「大規模言語モデル（LLM）」、つまり物語を書いたり、数学の問題を解いたり、私たちとチャットしたりする超スマートなコンピュータの脳が日々直面している苦闘です。これらの脳は、「重み（weights）」と呼ばれる数十億個の小さな数字から構成されており、これらは人間の脳におけるシナプスのように、アイデア同士を繋ぎ合わせる役割を果たしています。これらのモデルを一般的なノートパソコンやスマートフォンで動作させるために、科学者たちは、知能を失うことなく、それらを縮小する必要があります。彼らを縮小するための人気のあるアイデアの一つが「重みの共有（weight sharing）」です。これは、グループの友人たちが、それぞれ独自の服を買う代わりに、カタログにある全く同じシャツを全員で着ることに同意するようなものです。脳内のあらゆる接続に対してユニークな数値を保存する代わりに、「この接続はシャツ番号5を着用」というメモと一緒に、小さな「標準的なシャツ」のリスト（重心/centroids）を保存します。これはスペースを節約する賢い方法ですが、これまでは、この手法を巨大なAIの脳に適用しようとすると、惨愃たる結果を招いてきました。

問題は、AIの脳は「乱雑」であるということです。すべての部分が同じように見える単純な画像フィルターとは異なり、AIの脳の異なるレイヤー（層）は、極めて異なる大きさの重みを持っています。これらすべてに同じ「標準的なシャツ」を着せようとすることは、巨大なゾウと小さなネズミを同じ靴に無理やり押し込もうとするようなものです。ゾウは押しつぶされ、ネズミは吹き飛ばされてしまいます。この論文は、この壊れたアイデアを修正する「LegoLM」と呼ばれる新しい手法を紹介しています。LegoLMは、一律のサイズを強制するのではなく、スマートな仕立て屋のように振る舞います。標準的なシャツがうまく機能することも多いのですが、時折、「アウトライヤー（外れ値）」となる重み、つまり、標準的なシャツを着せようとすると全体のコーディネートを台無しにしてしまうような、巨大で奇妙な数値が存在することを理解しています。LegoLMの秘訣は、これら少数の奇妙な重みについては、そのままの状態で一切手を触れず、それ以外のすべてを圧縮することです。その結果、モデルは元のサイズのわずかな割合まで圧縮されながら、ほぼすべての知能を維持し、データを必要とする他の手法よりも優れた性能を発揮します。

重み共有が失敗する2つの方法

この論文の著者であるジョセフ・ビンガム（Joseph Bingham）は、グローバルな重み共有が、非常に具体的で明確に異なる2つの理由で失敗することを発見しました。彼らはこれらを「失敗モード（failure modes）」と呼んでおり、これらを理解することが、なぜLegoLMが機能するのかを知る鍵となります。

失敗モード1：スケールの不一致（「靴のサイズが違う」問題）
AIの異なるレイヤーから集められた重みのコレクションを想像してください。あるレイヤーは「うるさい（数値が大きい）」一方で、別のレイヤーは「静か（数値が小さい）」です。もしこれらをすべて一つのグループにまとめ、ブロック全体に対して単一の平均的な「シャツ」を見つけようとすると、数学的な問題が発生します。論文では、異なるサイズの重みを持つブロックを圧縮しようとすると、エラーがブロックのサイズに応じて線形に増大することが証明されています。これは、マラソンランナーの歩幅と幼児の歩幅を平均化しようとするようなものです。カタログにどれほど多くの種類の靴を追加したとしても、両方に完璧にフィットする靴を一つにすることはできません。この不一致は深刻な混乱を引き起こし、モデルのテキスト予測能力（パープレキシティで測定）を数百万単位にまで爆発させ、AIを支離滅裂な言葉を話す状態にします。

失敗モード2：アウトライヤーの支配（「巨大すぎる」問題）
これはより劇的な失敗です。たとえ（ブロックではなく）単一の数値（スカラーブロック）を使用したとしても、AIの中には他のものと比較して突出して大きい重みがいくつか存在します。これらが「アウトライヤー（外れ値）」です。例えば、コードブックに8つの標準的なシャツがあるとします。カタログの中で最大のシャツがXLサイズだとしましょう。しかし、もしサイズ10XLの重みがあったらどうなるでしょうか？もしその10XLの重みにXLのシャツを着せようとしたら、歪みは壊滅的なものになります。論文では、モデルが大きくなるにつれて（1億2400万パラメータから72億パラメータへ）、これらのアウトライヤーはさらに危険になることが示されています。小規模なモデルでは、これらのアウトライヤーを置き換えてもAIが少し混乱する程度かもしれませんが、Mistral-7Bのような巨大なモデルでは、これら数個の巨大な重みを置き換えるだけで、モデルは完全に崩壊し、品質は**1,134,279%**以上低下します。それはまるで、巨大な大聖堂からたった一つの要石を取り除いただけで、建物全体が塵となって崩れ落ちるようなものです。

LegoLMの解決策：スマートな仕立て

LegoLMは、データを使わない3つのシンプルなトリックでこれらの問題を解決します。学習データを見たり、モデルを再学習させたりする必要はなく、単に重みを再配置するだけです。

スカラー・エンコーディング（Scalar Encoding）: 重みをブロックとしてグループ化する代わりに（これがスケールの不一致を引き起こします）、LegoLMはすべての重みを個別に扱います。これにより、各重みが隣接する重みに引きずられることなく、最も近い標準的なシャツを自由に選べるようになるため、「靴のサイズが違う」問題が解消されます。
パーセンタイル選択的置換（Percentile-Selective Replacement）: これが魔法のトリックです。アルゴリズムはすべての重みを調べ、標準的なシャツから最も遠い位置にあるもの、つまり「アウトライヤー」を見つけ出します。LegoLMは、これらに対して「あなたは特別すぎるので、そのままの姿でいてください」と言います。つまり、これら奇妙な重みのトップ1%を、元の高精度な形式のまま保持するのです。残りの99%は、小さなコードブックへと圧縮されます。
境界レイヤーの保護（Boundary-Layer Protection）: AIの最初と最後のレイヤーは特に敏感です。LegoLMはこれらに特別な配慮を与えますが、論文では、最大規模のモデルにおいてはアウトライヤー保護ほど重要ではないと述べられています。

結果：小さなサイズ、大きな脳

著者はLegoLMを2つのモデル、GPT-2 Small（1億2400万パラメータ）とMistral-7B（72億パラメータ）でテストしました。結果は驚くべきものであり、印象的でした。

Mistral-7Bにおいて: 128個の標準値を持つコードブックを使用し、アウトライヤーの重みのわずか1%を保持することで、LegoLMはモデルを4.41倍圧縮しました。その結果はどうでしょうか？モデルの品質低下はわずか**0.03%**でした。これは実質的に「ロスレス（無損失）」な圧縮です。これは、4倍の圧縮しかできず、かつエラーがやや大きかった、PTQ-8bitと呼ばれる一般的な手法よりも優れた性能を示しました。
アウトライヤーの救済: 最も劇的な発見はアウトライヤーに関するものでした。Mistral-7Bを圧縮する際、すべての重み（巨大なものも含めて）を標準的な値に置き換えようとしたところ、モデルの品質は**1,134,279%も暴落しました。しかし、そのわずか1%のアウトライヤーを救うだけで、彼らはモデルを救出し、9.74倍という大規模な圧縮においても、エラーを管理可能な14.24%**に抑えることができました。
スケールの影響: 論文は、「アウトライヤー問題」はモデルが大きくなるほど悪化するという事実を見出しました。小規模なGPT-2では、アウトライヤーの置換による低下は**23%でしたが、巨大なMistral-7Bでは1,134,279%**の低下を引き起こしました。これは、大きなモデルほど、機能を維持するためにこれら少数の奇妙な数値に大きく依存していることを示唆しています。

なぜこれが重要なのか

LegoLMが特別なのは、それが**データフリー（データ不要）**である点です。他の多くの圧縮手法は、どのようにモデルを縮小すべきかを判断するために、何千もの例文をモデルに読み込ませる必要があります。しかし、LegoLMは単に重み自体を見て計算を行います。これにより、70億パラメータを持つモデルを、単一のグラフィックスカード上で30分足らずで圧縮することができます。

論文は、重み共有を成功させる鍵は、単により良い「シャツのカタログ」を持つことではなく、「いつカタログを使用しないか」を知ることであると結論づけています。モデルを支えている少数の「巨大な」重みを特定して保護することで、LegoLMは、知能を失うことなく、これらの巨大なAIの脳をバックパックの中に収めることを可能にします。これにより、以前は大規模モデルに対しては機能しなかった手法を、競争力のある、効率的な未来のAIツールへと変貌させたのです。

技術要約：LegoLM – 大規模言語モデルのための構造化重み共有

問題提起

大規模言語モデル（LLM）の実用的なデプロイメントには、16ビット精度であってもコンシューマ向けGPUのメモリ容量を超えるため、積極的な圧縮が必要である。量子化、プルーニング、低ランク分解といった学習後（post-training）の圧縮手法は確立されているが、複数の重みがグローバルなコードブックから学習された単一のセントロイド値を共有する「重み共有（weight sharing）」は、歴史的にLLMへの適用において失敗してきた。従来の研究では畳み込みニューラルネットワークへの重み共有の成功が示されているが、トランスフォーマーへの適用については体系的な研究が欠けていた。

本論文は、グローバルな重み共有がLLMにおいて失敗する理由として、理論的に裏付けられた2つの明確な失敗モードを特定している：

分布の不一致（Distributional Mismatch）: 重みをベクトルブロック（ $d \ge 2$ ）としてグループ化し、グローバルにクラスタリングする場合、コードブックは層ごとに異なる重みのスケール（最大3倍の差）に対応しなければならない。プールされた分布に対して学習されたセントロイドは、スケールの不一致によるペナルティを課す。このペナルティはブロック次元 $d$ に対して線形に増加し、コードブックのサイズに関わらずパープレキシティ（PPL）を数百万オーダーにまで悪化させる。
アウトライヤーによる支配（Outlier Dominance）: スカラーブロック（ $d=1$ ）の場合、スケールの不一致は解消されるが、LLMの重み分布には極端な大きさを持つスカラー（アウトライヤー）が含まれている。小さなコードブックサイズ（ $K$ ）において、重みの一定割合（ $\approx 1/K$ ）は最も外側のLloyd-Max決定閾値を超えて存在する。これらのアウトライヤーを最も近いセントロイドで置き換えると、壊滅的な品質低下が発生し、それが層を越えて累積する。決定的なのは、この影響がモデルサイズに対して超線形にスケールすることである。全置換を行うと、124Mパラメータのモデルでは約23%劣化するが、7.2Bパラメータのモデルでは1,000,000%を超える劣化を引き起こす。

手法：LegoLMフレームワーク

LegoLMは、キャリブレーションデータや勾配にアクセスすることなく、これら両方の失敗モードを同時に解決するために設計された、構造化されたデータフリー（data-free）の圧縮フレームワークである。以下の3つの主要な適応を採用している：

スカラーブロック符号化（ $d=1$ ）: $d$ に比例する不一致成分を排除するため、重みはベクトルブロックではなくスカラーブロックとして扱われる。これにより、各重みを固定された多次元スケールに拘束されることなく、独立して最も近いセントロイドに割り当てることが可能となり、層間の再構成誤差を大幅に削減できる。
パーセンタイル選択的置換（Percentile-Selective Replacement）: アウトライヤーによる支配に対処するため、量子化誤差（最も近いセントロイドへの距離）が最大の重みを特定し、それらをセントロイドのインデックスに置き換えるのではなく、そのまま（fp16として）保持する。これは、マグニチュードに基づくアウトライヤー検出のゼロデータ・プロキシとして機能する。閾値はパーセンタイル $p$ （例：上位1%の誤差を保持する）によって決定される。
境界層保護（Boundary-Layer Protection）: 第1層および最終層のトランスフォーマーブロックは、不釣り合いに敏感であると特定されている。小規模モデルの場合、誤差の累積を防ぐためにこれらの層を圧縮対象から除外するが、このメカニズムは、選択的置換と比較すると大規模モデルにおいては重要性が低いことが判明している。

圧縮率の計算:
圧縮率（CR）は、グローバルコードブック、インデックスストリーム（オーバーヘッド削減のためにハフマン符号化による）、および保持されたアウトライヤー重みのストレージを考慮する。計算式は以下の通りである：
$CR = \frac{(N_c + N_s) \cdot 32}{n_r \cdot \lceil \log_2 K \rceil + n_k \cdot 32 + K \cdot 32 + N_s \cdot 32}$
ここで、 $N_c$ と $N_s$ は適格な層およびスキップされた層の重み、 $n_r$ は置換された重み、 $n_k$ は保持された正確なアウトライヤー重みである。

主な貢献

形式的な失敗モードの特定: 本論文は、LLMの重み共有における2つの失敗モード（クロスレイヤーの分布不一致（ベクトルブロック）およびアウトライヤーによる支配（スカラーブロック））について、理論的な特性（命題1および定理3）と実証的な検証を提供している。
LegoLMフレームワーク: スカラー符号化、選択的なアウトライヤー保持、および境界保護を組み合わせた、新しいデータフリーの圧縮手法を提案している。これには、選択的置換を考慮した正確な圧縮率の公式も含まれる。
スケール不変の救済メカニズム: アウトライヤーによる支配がモデルサイズとともに超線形に増大するという発見。全置換（ $p=100\%$ ）では7Bモデルが壊滅的に失敗する一方で、わずか1%のアウトライヤーを保持するだけで、モデルをニアロスレス（near-lossless）な品質へと救済できる。この救済メカニズムは、60倍のパラメータ範囲（124Mから7.2B）にわたって一貫している。
メカニズムのアブレーション解析: 選択的置換がデータフリー圧縮における支配的なメカニズムであることを示す制御されたアブレーション研究。標準的なパーレイ（per-layer）K-meansに選択的置換を加えると、グローバルなLegoLMのアプローチと0.02パーセントポイント以内の差で、ニアロスレスな品質（PPL +0.05%）を達成する。グローバルなコードブック構造は実用的な効率性（128個のセントロイドを4,096個の代わりに保持）を提供するが、選択的置換が適用されている場合、品質面での差は無視できる程度である。

実験結果

フレームワークは、WikiText-2テストセットおよびダウンストリームタスク（LAMBADA, HellaSwag）を用いて、GPT-2 Small (124M)、GPT-2 Medium (354M)、および Mistral-7B (7.2B) で評価された。

Mistral-7Bの性能:
- ニアロスレス: $K=128, p=99\%$ において、LegoLMは 4.41倍の圧縮 を達成しつつ、パープレキシティ（PPL）の低下はわずか +0.03% であった。これは、品質と圧縮率の両面においてPTQ-8bit（4.00倍、+0.04% PPL）を凌駕している。
- 高圧縮: $K=8, p=99\%$ において、9.74倍の圧縮 を達成し、PPLの低下は +14.24% であり、PTQ-4bit（8.00倍、+17.85% PPL）を上回った。
- ダウンストリーム精度: $K=64, p=99\%$ （5.12倍の圧縮）において、モデルは測定誤差の範囲内でダウンストリーム精度を維持し、PTQ-8bitと同等の精度を提供しながら1.28倍高い圧縮率を実現した。
ベースラインとの比較:
- PTQ-8bit/4bit: LegoLMは、キャリブレーションデータやヘシアン計算を必要とせずに、同等またはより高い圧縮率でこれらと同等以上の品質を実現する。
- ディープコンプレッション（パーレイK-means）: 選択的置換がない場合、パーレイK-meansはMistral-7Bにおいて壊滅的に失敗する（例：PPL +930,306%）。選択的置換（ $p=99\%$ ）を適用すると、ニアロスレスな品質（+0.05%）まで回復する。これは、アウトライヤーの保存が極めて重要であることを裏付けている。
- プルーニングと分解: 非構造化マグニチュードプルーニングおよびSVDベースの分解は、高圧縮レベルにおいてMistral-7Bで壊滅的に失敗する。
スケール感度:
- 全置換（ $p=100\%$ ）を $K=128$ で行った場合、GPT-2 Smallは+23%、GPT-2 Mediumは+79%劣化したが、Mistral-7Bは +1,134,279% 劣化した。
- 選択的置換（ $p=99\%$ ）は、すべてのスケールにおいてほぼ同一の品質を維持した（PPL低下は+0.03%から+0.18%）。
フェーズ遷移: $K=4$ （壊滅的失敗）と $K=8$ （機能的）の間で、堅牢性の鋭い遷移が見られる。 $K=8$ では、1%のアウトライヤーを保持することでモデルを救済できるが、 $K=4$ では5%を保持してもなお失敗する。

重要性と主張

本論文は、なぜグローバルな重み共有がこれまで失敗してきたのかという理論的理由を体系的に解決することで、LegoLMがLLMのデータフリー圧縮における新しいパラダイムを確立したと主張している。その主な意義は以下の通りである：

データフリーの効率性: キャリブレーションデータ、勾配、またはヘシアン計算を必要とせずに、GPTQのようなキャリブレートされた手法と同等または優れた結果を実現する。これは、データが機密である場合や利用不可能な設定においても適用可能であることを意味する。
理論的洞察: アウトライヤーによる支配が、モデルサイズとともに誤差が超線形に増大するというスケーリング則であることを特定し、大規模モデルに特化した保存戦略が必要であることを示した。
実用的な実現可能性: シンプルなスカラー符号化と選択的なアウトライヤー保持の組み合わせにより、7Bパラメータのモデルを、品質の損失をほとんどなくして約4.5倍に、あるいは実用的なレベルで最大約10倍に、単一のGPUで30分以内に圧縮できることを実証した。

著者は、「アウトライヤーによる支配のスケーリング則」と「選択的置換」のメカニズムを、すべての重みを一様に扱う現在の圧縮技術（量子化、プルーニング）にも利益をもたらし得る独立した貢献として位置づけている。