💬 NLP

Leviathan: Decoupling Input and Output Representations in Language Models

本論文は、標準的な共有埋め込み行列を学習された埋め込みベクトル化（LEV）に置き換えることで入力表現と出力表現を分離するトランスフォーマー・アーキテクチャである Leviathan を導入し、最小限のパラメータ増加分で言語モデル性能および下流タスクのベンチマークにおいて大幅な改善を達成することを示す。

原著者： Reza T. Batley, Sourav Saha

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Reza T. Batley, Sourav Saha

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「リヴァイアサン」論文の説明を、日常的な言葉と創造的な比喩を用いて翻訳します。

問題点：「万能型」辞書

ロボットに言葉を教えることを想像してください。そのためには、ロボットは 2 つの非常に異なる役割を果たす辞書が必要です。

読むこと（入力）： 単語の意味を理解するために単語を引く。
書くこと（出力）： 次の単語を予測するために単語を引く。

現代のほとんどの AI モデルでは、ロボットはこの 2 つの役割の両方に、1 つの巨大な物理的な辞書を使用します。これを「重み共有（weight tying）」と呼びます。この論文は、このアプローチを「精密な外科医のメスと、頑丈なハンマーの両方を兼ね備えさせようとするスウェーデン・アーミーナイフ」に例えて批判しています。両方の役割を果たそうとしますが、要件が異なるため、どちらの役割も得意とはなりません。

読むことには「滑らかさ」が必要です。「猫」と「子猫」のように意味が似ている単語は、ロボットの頭の中で互いに近接しているべきです。
書くことには「鋭さ」が必要です。ロボットは辞書内のあらゆる単語、奇妙なものでさえも、明確に区別できる必要があります。

1 つのツールに両方の役割を強制すると、ロボットは妥協を余儀なくされます。結果として、どちらの役割も「まあまあ」できるものの、「素晴らしい」レベルには達しません。

失敗した解決策：辞書を 2 つ買う

明らかな解決策は、「ロボットに辞書を 2 つ与えよう。1 つは読む用、もう 1 つは書く用だ」というものです。
研究者たちはこれを試みました。彼らはロボットに、読むための巨大で完全に独立した辞書を与えました。しかし、それは機能しませんでした。ロボットは混乱し、学習が遅くなり、50% 多いメモリ（パラメータ）を持っていたにもかかわらず、単一の辞書版よりも実際のパフォーマンスは悪化しました。これは、学生に教科書を 2 冊与えたが、学習ガイドを与えなかったようなものです。追加の情報は単なるノイズになってしまいました。

解決策：リヴァイアサン（「賢い生成器」）

この論文は、ロボットの脳を構築する新しい方法であるリヴァイアサンを紹介しています。読むための巨大な物理的な辞書の代わりに、リヴァイアサンは賢くコンパクトな生成器を使用します。

比喩：レシピ本 vs 食料品店

古い方法（共有埋め込み）： すべてのアイテム（すべての単語）がそれぞれ専用の棚を持っている巨大な食料品店を想像してください。「りんご」が欲しければ棚 A に行きます。「あんず」が欲しければ棚 B に行きます。「ドリアン」のような珍しい果物が欲しければ、その小さくて特定の棚を見つけなければなりません。店が巨大であれば、その珍しい棚を見つけるのは難しく、ロボットはしばしばその場所を忘れてしまいます。
リヴァイアサンの方法（LEV）： 単語ごとに棚を設けるのではなく、リヴァイアサンにはレシピ本があります。
- 「りんご」を作る際、ロボットは棚を探すのではなく、レシピに従います：「果物」を 1 部、「赤」を 2 部取り、「甘い」と混ぜる。
- 「ドリアン」（珍しい単語）を作る際も、同様のレシピに従います：「果物」を 1 部、「トゲトゲ」を 2 部取り、「強い匂い」と混ぜる。

ロボットが棚ではなく**レシピ（数学的関数）**を使用するため、その場で完璧な「りんご」や「ドリアン」を作成できます。

魔法： ロボットが「りんご」の味が何かを学べば、レシピが共通の材料を共有しているため、自動的に「梨」の理解も向上します。これを滑らかさと呼びます。
効率性： レシピ本は、巨大な食料品店に比べて非常に小さく済みます。つまり、ロボットは追加のメモリを必要とせずに、巨大で独立した「書き出し辞書（出力ヘッド）」を維持できます。これにより、小さく賢い読み取りシステムと、巨大で強力な書き出しシステムという、両方の利点を享受できます。

実験の結果

研究者たちは、この新しい「リヴァイアサン」ロボットを、従来の「単一辞書」ロボットと比較し、3 つの異なるサイズ（小、中、大）でテストしました。

学習が速くなった： リヴァイアサンロボットは、従来のロボットよりも2.1 倍少ない訓練単語で、同じレベルのスキルに到達しました。
賢くなった： 最大のサイズにおいて、リヴァイアサンロボットは次の単語を予測する能力（パープレキシティという指標）で9% 向上しました。
「珍しい単語」のスーパーパワー： 最大の驚きは、改善がどこで起こったかでした。
- 一般的な単語（「the」や「and」など）については、両方のロボットはほぼ同じでした。
- 珍しい単語（100 万分の 1 の頻度でしか見ない単語）については、リヴァイアサンロボットは81% 優れていました。
- なぜか？ 古いシステムでは、単語が珍しい場合、ロボットは「棚の場所」を学ぶ機会がほとんどなく、それを忘れてしまいます。一方、リヴァイアサンでは、単語が共有された部分から構成されるレシピで構築されているため、ロボットは 1 回しか見たことがなくても、それを理解することができます。

結論

この論文は、AI の「読み取り」と「書き出し」の部分をどのように接続するかが重要であることを証明しています。単に問題にメモリを投じる必要はありません。代わりに、巨大な引き換え表からコンパクトで滑らかなレシピ生成器に切り替えることで、AI モデルをより賢く、速く、そして珍しい単語や難しい単語の理解においてはるかに優れさせることができます。しかも、ほぼ同じ量のコンピューターパワーを使用しながらです。

要約： リヴァイアサンは、AI が巨大な電話帳を暗記することをやめ、単語がどのように構築されるかの文法を学ぶようにすることで、はるかに効率的で能力の高い学習者へと変えます。

技術的概要：Leviathan – 言語モデルにおける入力表現と出力表現の分離

1. 問題提起

現代の大規模言語モデル（LLM）は通常、**共有重み（tied-weight）**アーキテクチャを採用しており、単一の埋め込み行列 $E \in \mathbb{R}^{V \times D}$ が二つの役割を担っている。すなわち、入力トークンを連続表現にマッピングし、かつ隠れ状態を語彙空間へ投影して出力予測を行うことである。この結合により、単一の行列が二つの異なる目的を同時に満たすことを強要されることになる。

入力表現: 滑らかさを要求する。意味的に関連するトークンは表現空間内で近接した領域を占める必要がある。
出力分類: 識別性を要求する。語彙全体にわたるすべてのトークンを効果的に分離する必要がある。

著者らは、この結合がアーキテクチャ的な制限を課していると仮説を立てている。完全に**非共有（untied）**モデル（入力と出力の行列を別々に学習するもの）は理論的にはこれらの目的を分離するが、実際には効果的ではないことが証明されている。実験により、完全に非共有のモデルはパラメータ数が約 50% 増加したにもかかわらず、共有ベースラインより性能が劣ることが示された。これは、最適化の難しさや、特に稀なトークンに対する離散埋め込みへの十分な訓練シグナルの不足により、追加されたパラメータが効果的に活用されていないことを示唆している。

2. 手法：Leviathan アーキテクチャ

Leviathan は、完全に非共有の埋め込みがもたらす prohibit なパラメータコストを伴わずに、入力表現から出力予測を分離するトランスフォーマーアーキテクチャを導入する。

2.1 学習済み埋め込みベクトル化（LEV）

中核的な革新はLEV レイヤーであり、これは密な入力埋め込み行列を学習された連続関数 $G: \{0, \dots, V-1\} \to \mathbb{R}^D$ に置き換える。この関数は、コンパクトでパラメータ共有メカニズムを通じてトークンインデックスを埋め込みへマッピングする。

構成的インデックス付け: 語彙を基数 $b$ の分解を用いて $k$ 個の成分に因数分解し、トークンインデックス $i$ をタプル $(i_1, \dots, i_k)$ へ変換する。
共有コードブック: これらのインデックスは共有コードブック $C_1, \dots, C_k$ へマッピングされ、シード表現 $z(i)$ を生成する。これにより、稀なトークンも構造的に類似したトークンが使用する共有エントリを介して伝達される勾配シグナルの恩恵を受けることができる。
連続投影: シードは投影され、有界な潜在座標 $\tilde{z}_\ell \in [0, 1]^{d_{seed}}$ へ正規化される。
スプライン展開: 各次元は、 $\kappa$ 個のノードを持つ単変量二次B スプライン基底展開によってモデル化される。
テンソル積: 次元はランク $r$ のテンソル積を通じて結合される。
ヘッド総和: 最終的な埋め込みは、線形投影後の $h$ 個の並列ヘッドからの出力の総和である。

2.2 アーキテクチャと分離

非共有出力ヘッド: LEV レイヤーにより、出力投影ヘッドを完全に非共有（入力とは独立した密な行列）のままにすることができる。
パラメータ効率: LEV レイヤーは密な埋め込みテーブルよりもはるかに小さいため、非共有出力ヘッドのオーバーヘッドは無視できる。12 億パラメータ規模において、パラメータの総増加量はわずか**0.2%**である。
帰納的バイアス: このアーキテクチャはトークン空間に滑らかさの帰納的バイアスを課し、標準的なルックアップテーブルの離散的で、場合によっては異方的な幾何学と対照をなす。

3. 実験設定

モデル: 実験は、2 億、4 億、12 億パラメータの 3 つのスケールにおけるデコーダ専用トランスフォーマーで行われた。
ベースライン:
- TIED: 標準的な共有重みベースライン。
- UNTIED: 完全に非共有モデル（4 億スケールで 6.11 億パラメータ）。
- ALBERT: 非共有出力ヘッドを備えた入力パラメータ一致の因数分解（線形圧縮）。
- アブレーション: 非線形性と構成的構造の寄与を分離するための、パラメータ一致のフラット MLP と因数分解 MLP。
訓練: すべてのモデルは、同一のハイパーパラメータ、シード、トークン予算（12 億モデルでは最大 241 億トークン）でThe Pile（著作権フリー）上で訓練された。
評価: The Pile のホールドアウト検証セットにおける言語モデル性能、Wikitext-103におけるゼロショット一般化、および下流ベンチマーク（HellaSwag, ARC, PIQA, WinoGrande, LAMBADA）。

4. 主要な結果

4.1 言語モデル性能

Leviathan はすべてのスケールで共有重みベースラインを一貫して上回り、訓練が進むにつれ、またモデルスケールが増大するにつれて性能差は拡大する。

12 億スケール: Leviathan は共有ベースラインと比較して、検証パープレキシティを9.2%（0.087 ナット）削減した。
サンプル効率: 12 億スケールにおいて、Leviathan は共有ベースラインの最終損失に到達するために2.1 倍少ない訓練トークンを必要とした。
訓練ダイナミクス: 小規模（2 億）では、Leviathan は最初はベースラインより劣っていたが、その後それを上回った。12 億では、訓練を通じて一貫してベースラインを上回った。

4.2 代替案との比較

完全非共有モデルとの比較: 完全に非共有モデル（UNTIED）は訓練を通じて共有ベースラインより劣り、効率的なパラメータ化なしの単純な非共有化が最適でないことを確認した。
線形因数分解との比較: ALBERT 風の因数分解ベースラインも共有ベースラインより劣り、線形圧縮だけでは共有幾何学の表現上の利点を回復できないことを示した。
Leviathan との比較: Leviathan は UNTIED および ALBERT の両方を上回り、Chinchilla 最適計算予算内では、非線形連続生成が単純な非共有化および線形因数分解の両方より優れていることを実証した。

4.3 下流タスクと一般化

下流タスク: 12 億スケールにおいて、Leviathan は評価された 6 つのすべての下流ベンチマークで性能を向上させた。特に、LAMBADAにおけるパープレキシティを30% 削減した。
ゼロショット転移: 異なる分布である Wikitext-103 において、Leviathan はスケールに伴いパープレキシティの改善が増加した（2 億で 2.4%、12 億で 12.3%）。これは、その連続表現がデータ分布間でより効果的に転移することを示唆している。

4.4 頻度層別分析

性能向上は、トークン分布の長い尾部に強く集中している。

稀なトークン: 1000 万分の 1 未満で出現するトークンにおいて、Leviathan は 12 億スケールでパープレキシティを**81%**削減した。
頻出トークン: 1 万分の 1 以上で出現するトークンでは、改善はほぼゼロまで低下し（最も頻出するものではわずかに負）、訓練シグナルが強い場合、離散埋め込みで十分であるためである。
メカニズム: 連続パラメータ化は構造的に類似したトークン間で勾配を共有し、データ希少性により離散ルックアップが失敗する場所で堅牢なシグナルを提供する。

4.5 頑健性

語彙サイズ: 結果は 5 万、10 万、20 万の語彙サイズ全体で一貫しており、全体で約 2% の相対改善が見られた。
アブレーション: 向上は、連続表現（+1.13%）、構成的構造（+0.37%）、および分離可能なスプライン滑らかさ（+0.62%）に分解された。

5. 意義と主張

本論文は、重み共有の標準的な慣行が、単に重みを非共有化することでは解決されないアーキテクチャ的な制限を課していると主張する。代わりに、最適な解決策は、連続パラメータ化を通じて滑らかさを強制しながら、入力と出力表現を分離することである。

アーキテクチャ的洞察: 入力埋め込みの表現幾何学は重要である。連続パラメータ化は、特に離散埋め込みが困難に直面する稀なトークンに対して、この幾何学を改善するためのデータおよび計算効率的な手段である。
効率性: Leviathan は、無視できるパラメータオーバーヘッド（12 億スケールで 0.2%）でこれらの向上を達成し、現代の言語モデルにとって実用的なアップグレードとなる。
スケーラビリティ: LEV レイヤーの恩恵はスケールとデータとともに複合的に増大し、モデルが成長するにつれて、離散ルックアップに対する滑らかな連続入力表現の優位性がより顕著になることを示唆している。

著者らは、頻度依存の改善パターンは相関的であるが、スケール、語彙、アーキテクチャバリアント全体での一貫性が、稀なトークンの離散埋め込み学習に関連する最適化の困難を連続パラメータ化が効果的に緩和するという確固たる証拠を提供すると結論付けている。