🤖 machine learning

Do Transformers Need Three Projections? Systematic Study of QKV Variants

本論文は、Transformerにおいてクエリ、キー、およびバリューの投影を共有すること、特にQ-K=V変種を用いることが、ビジョンおよび言語タスク全体で競争力のある性能を維持しつつ、推論メモリとKVキャッシュの要件を大幅に削減し、それによってデバイス上での効率的なデプロイを可能にすることを体系的に示している。

原著者： Ali Kayyam, Anusha Madan Gopal, M Anthony Lewis

公開日 2026-06-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ali Kayyam, Anusha Madan Gopal, M Anthony Lewis

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

Transformerモデル（現代のAIの背後にある脳）を、膨大な本に基づいて質問に答えようとする、非常に効率的な司書として想像してみてください。これを行うために、司書は本の中のすべての単語に対して、3つの特定の道具を使用します。

クエリ (Query - Q): 「私は何を探しているのか？」と問いかける質問カード。
キー (Key - K): 質問と一致するかどうかを確認するための、本の背表紙にあるラベル。
バリュー (Value - V): マッチングが良好な場合に読む、実際のページの内容。

伝統的に、司書はこれら3つのステップごとに、すべての単語に対して新しくユニークな道具を作成します。これが標準的な「QKV」の設定です。これは素晴らしい働きをしますが、非常に重たいものです。司書は、すべての単語に対して3つの重い道具箱を持ち歩かなければならず、それが容量（メモリ）を圧迫し、作業を遅らせます。

この論文は、シンプルで大胆な問いを投げかけます。「本当に3つの別々の道具が必要なのだろうか？それとも、これらを組み合わせることができるのだろうか？」

研究者たちは、司書の道具箱を簡素化するための3つの方法をテストしました。

3つの実験

1. 「同じ質問、同じラベル」アプローチ (Q = K - V)

考え方: 司書は、質問をするためとラベルをチェックするために、同じ道具を使用します。ただし、ページを読むための道具は別途用意します。
結果: これが大きな勝者となりました。調べてみると、「質問」と「ラベル」の道具は非常に似ているため、性能を損なうことなく同じオブジェクトとして扱うことができることが分かりました。
メリット: 司書は이제3つではなく、2つの道具を持つだけで済みます。これにより、「ラベル」と「ページ」を保存するために必要なメモリが半分になります。これは、地図を持ちながら目的地を指し示すために、2枚目の地図を持ち歩く必要がないことに気づいたようなものです。

2. 「同じ質問、同じページ」アプローチ (Q - K = V)

考え方: 司書は、ラベルとページの内容に同じ道具を使用しますが、質問のための道具は別に保持します。
結果: これも上手くいきますが、言語タスクにおいては最初の選択肢よりもわずかに効率が劣ります。これは、ドアを開ける鍵と金庫を開ける鍵を同じものにするようなもので、巧妙ではありますが、探索の方向性を正しく保つためには「質問」の道具をユニークなままにしておく必要があります。

3. 「すべてに一つの道具」アプローチ (Q = K = V)

考え方: 司書は、質問をし、ラベルをチェックし、ページを読むために、ただたった一つの道具を使おうとします。
結果: 言語タスクにおいては悲惨な結果となりました。これは、ハンマーを使って質問をし、ラベルをチェックし、同時に本を読むようなものです。AIは「自分が何を探しているのか」と「自分が見つけたもの」を区別できなくなり、混乱してしまいます。その結果、性能が大幅に低下しました。

なぜこれが重要なのか：「バックパック」問題

この論文の最もエキサイティングな部分は、AIをより賢くすることだけではありません。AIをより軽くすることにあります。

AIがテキストを生成（物語を書いたり、チャットに答えたり）するとき、それまでに書いた内容をすべて覚えておく必要があります。このメモリは KVキャッシュ と呼ばれます。

標準的なAI: 「ラベル」と「ページ」のための別々の仕切りがある、重いバックパックを背負っています。
新しいAI (Q-K=V): 「ラベル」と「ページ」が1つの仕切りに統合された、軽いバックパックを背負っています。

実世界への影響:

メモリが2倍: バックパックが軽くなるため、メモリ不足になることなく、2倍の単語数をAIのメモリに詰め込むことができます。
安価なサーバー: もしあなたがAIを利用する企業を運営しているなら、同じ数のコンピュータで2倍の顧客に対応できます。論文では、これにより企業が月に数千ドルを節約できる可能性があると計算されています。
スマートフォンでの動作: この効率性は、強力なAIモデルをデータセンターの巨大なスーパーコンピュータではなく、あなたのスマートフォンや小さなエッジデバイス上で直接動かすことを、より現実的なものにします。

「ダブルディップ（二重取り）」のボーナス

この論文は、この新しい「より軽いバックパック」のトリックが、ヘッド共有 (Head Sharing)（Llama 2やMistralで使用されているもの）と呼ばれる既存の別のトリックとうまく組み合わさることも発見しました。

ヘッド共有は、司書の人数を減らす代わりに、一人ひとりに一生懸命働いてもらうようなものです。
プロジェクション共有 (Projection Sharing)（この論文のアイデア）は、各司書の道具箱をより小さくするようなものです。

これらを組み合わせると、劇的な勝利が得られます。研究者たちは、これら2つの方法を組み合わせることで、必要なメモリを97%削減できることを示しました。これは、AIを小型デバイスで動かすための「聖杯」です。

まとめ

この論文は、標準的なAIのデザインは少し過剰に設計されていることを証明しています。「質問」と「ラベル」の道具を一つに統合することで、知能をほとんど損なうことなく、メモリコストを半分に抑えることができます。これは、AIをより速く、より安く、そしてあなたのポケットの中のデバイスで動かす準備を整える、シンプルな改良なのです。

技術要約：Transformerには3つの射影が必要か？

問題提起

Transformerアーキテクチャの導入以来、Query（Q）、Key（K）、Value（V）のQKVアテンションメカニズムは、シーケンス全体にわたって情報を集約するための標準となっています。しかし、これら3つのコンポーネントに対して、独立した3つの異なる線形射影を維持する必要性が残っていることは、未解決の課題です。CNNや状態空間モデル（SSM）のような他のアーキテクチャが、より統一された内部表現を利用することが多い一方で、Transformerは依然としてこの三部構成の構造を維持しています。コンテキストウィンドウが拡大し、リアルタイム推論への需要が高まるにつれ、研究コミュニティは自己注意（self-attention）の二次的なボトルネックを緩和するためのアーキテクチャの効率化に焦点を当ててきました。本論文では、3つの射影が本当に必要なのか、あるいは、性能を大幅に低下させることなくパラメータ数を削減し、より重要な推論メモリのオーバーヘッドを軽減できる冗長性であるのかを調査します。

手法

著者らは、アテンションメカニズムにおける学習可能な変換の数を段階的に削減する、3つの「射影共有（Projection-Sharing）」制約を提案し、体系的に評価しています。

Q=K-V (統合されたQuery-Key): クエリとキーの射影を統一（ $Q=K$ ）し、バリュー射影は個別に保持します。これにより、対称なアテンション行列（ $KK^T$ ）が得られます。シーケンシャルなタスクにおける対称性の制限に対処するため、著者らは2D位置エンコーディングを通じて非対称性を注入するバリアント $(Q=K-V)^+$ を導入しています。
Q-K=V (統合されたKey-Value): キーとバリューの射影を統一（ $K=V$ ）し、クエリは個別に保持します。これにより、非対称なアテンションマップ（ $QK^T$ ）が保持され、キーとバリューの間の重みタイイングの一形態が課されます。
Q=K=V (単一射影): 3つの役割すべてが単一の射影行列を共有します。これは、最初のバリアントの対称性と、2番目のバリアントの表現上のボトルネックを組み合わせたものです。

本研究では、これらの射影共有戦略が、Grouped Query Attention (GQA) や Multi-Query Attention (MQA) といった既存の「ヘッド共有（Head-Sharing）」技術とどのように直交するかについても探求しています。著者らは、射影共有（ $K=V$ の制約）とヘッド共有（KVヘッドの削減）を組み合わせることで、メモリ効率において複合的な利点が得られると仮定しています。

実験は、以下の12の多様なタスクにわたって実施されました。

合成推論: リスト操作（Reverse, Sort, Sub, Swap, Copy）を含む5つのタスク。
コンピュータビジョン: MNIST, FashionMNIST, CIFAR-10, CIFAR-100, TinyImageNetを用いた画像分類、および集合異常検知、セマンティックセグメンテーション。
言語モデリング: SlimPajamaデータセットから100億トークンを用いた、300Mおよび1.2BパラメータのGPTスタイルの事前学習。

主な結果

1. パフォーマンスと効率のトレードオフ

Q-K=V (最適なバランス): このバリアントが明確な勝者となりました。言語モデリングにおいて、これはKVキャッシュサイズを50%削減しながら、パープレキシティの低下をわずか3.1%（300Mモデルの場合）および2.48%（1.2Bモデルの場合）に抑えました。ビジョンおよび合成タスクにおいても競争力のある性能を維持しました。
Q=K-V (対称性の限界): このバリアントは、ベースラインと同等の学習品質を達成しましたが、別途KとVのテンソルをキャッシュする必要があるため、推論メモリのメリットはゼロでした。さらに、対称なアテンションマップが因果的言語モデリングにおける有効性を制限し、4.9%のパープレキシティ低下を招きました。
Q=K=V (制約が強すぎる): この過度な簡略化は、壊滅的な性能低下（言語モデリングで25.4%のパープレキシティ低下）を引き起こしました。これは、3つの役割すべてに単一の射影を強制することが、複雑なタスクに対して制限が強すぎることを示しています。

2. ヘッド共有との相乗効果

本研究は、射影共有とヘッド共有が厳密に補完的であることを示しています。

Q-K=V を GQA-4（4グループ）と組み合わせると、3.9%のパープレキシティ低下で87.5%のキャッシュ削減を実現しました。
Q-K=V を MQA（1グループ）と組み合わせると、4.8%のパープレキシティ低下で96.9%のキャッシュ削減を達成しました。
1.2Bスケールにおいて、Q-MQA 設定は、32kコンテキストに対してユーザーあたりKVキャッシュを67倍削減（5.9 GBから88 MBへ）しながら、ダウンストリームタスクの精度においてベースラインとほぼ同等の性能を維持しました。

3. スケーリング挙動

バリアントの相対的な順位は、モデルサイズが300Mから1.2Bパラメータへと増加しても安定していました。注目すべきは、大きなモデルの方が射影制約に対してやや堅牢であるように見え、Q-K=Vによるパープレキシティの低下は、300Mでの3.1%から1.2Bでの2.48%へと減少したことです。

重要性と主張

本論文は、射影共有は、直接的かつ定量化可能な推論メモリのメリットを提供する、探索が進んでいない「重みタイイング（weight tying）」の一例であると主張しています。これは、エッジデバイスへの展開やロングコンテキストのアプリケーションにおいて特に価値があります。

なぜQ-K=Vが機能するのか: 著者らは、キーとバリューは類似した表現空間を占めることができ、アテンションは、Qと共有されたK-V表現の間の非対称性よりも、KとVの区別が重要ではない低ランク領域で効果的に動作すると主張しています。実証的な分析により、標準的なKとVの射影行列の間のコサイン類似度が高い（0.73）ことが示されており、これは固有の冗長性を示唆しています。
なぜQ=K-Vが失敗するのか: $Q=K$ を強制すると対称なアテンションマップが作成され、これが因果的依存関係に必要な方向性を損なうためです。
実用的な影響: 主要な貢献は、単なるパラメータ削減（総モデルサイズの約7〜14%の減少という控えめなもの）ではなく、50%のKVキャッシュメモリの削減です。これにより、以下が可能になります。
- 同等のメモリ予算での2倍長いコンテキストウィンドウ。
- 2倍の高いスループット（GPUあたりの同時ユーザー数）。
- 大幅なコスト削減（例：コード補完モデルにおけるサービングコストの推定43%削減）。

著者らは、すべてのドメインで単一のアーキテクチャが勝利するわけではないものの、Q-K=V 設定はシーケンシャルなタスクに対して最高の品質・効率のトレードオフを提供し、ヘッド共有技術との組み合わせによって、数十億パラメータモデルの現実的なオンデバイス推論を可能にすると結論付けています。さらなる研究を促進するために、コードは公開されています。