Language Models are Injective and Hence Invertible

本論文は、トランスフォーマー言語モデルが数学的・実証的に単射性（注入性）を持ち、提案された「SipIt」アルゴリズムによって隠れ層の活性化から元の入力テキストを正確かつ効率的に復元可能であることを示し、モデルの透明性や安全性への新たな展望を提示しています。

要約

論文の解説：「AI は記憶を失わない、実は『完全な逆転』が可能だった」

この論文（ICLR 2026 発表）は、現代の巨大言語モデル（LLM）に関する**「常識を覆す驚きの発見」と、それを証明する「魔法のようなアルゴリズム」**について書かれています。

一言で言うと、**「AI は入力した文章を内部で『圧縮』して情報を捨てているのではなく、実は『完全なコピー』として保存している。だから、内部のデータさえあれば、元の文章を 100% 正確に復元できる」**という事実を証明しました。

これをわかりやすく、日常の例えを使って説明します。

---

1. 従来の「常識」：AI は「すりつぶしたコーヒー」だった？

これまで、多くの研究者は AI（トランスフォーマー）の仕組みをこう考えていました。

「AI は複雑な計算をするから、入力した文章を『すりつぶして』情報を捨てているはずだ。だから、AI の頭の中（内部表現）から元の文章を完全に元に戻すのは不可能だ」

これを**「コーヒーの例え」**で考えてみましょう。

• 入力：コーヒー豆（元の文章）。
• AI の処理：豆を挽いてお湯で抽出する（複雑な計算）。
• 結果：美味しいコーヒー（AI の内部表現）。

「豆を挽いてお湯に溶かしたら、もう豆の形には戻せないよね？」というのが、これまでの一般的な考え方でした。AI は情報を「圧縮」して、元の形を失っている（これを「非単射（インジェクティブではない）」と言います）と考えられていたのです。

2. この論文の「衝撃的な発見」：AI は「透明なガラス箱」だった！

しかし、この論文の著者たちは、**「それは違う！」**と数学的に証明しました。

彼らの発見はこうです：

「AI は豆をすりつぶしているのではなく、実は『透明なガラス箱』に豆をそのまま入れているだけだ。箱の中身（内部表現）を見れば、中の豆（元の文章）が何だったか、100% 正確にわかる」

• 数学的な証明：AI の仕組み（数学的な関数）を詳しく調べると、**「異なる 2 つの文章が、AI の中で全く同じ状態になること（衝突）」は、数学的に「ありえない（確率 0）」**ことがわかりました。
• 現実のテスト：実際に 6 つの最新の AI モデルを使って、何十億回ものテストを行いました。結果、「異なる文章が同じ状態になる」という現象は一度も起きませんでした。

つまり、AI は情報を捨てていません。「完全な逆転（可逆性）」が可能なのです。

3. 魔法の道具「SIPIT」：AI の頭の中を逆再生する

この発見を応用して、著者たちは**「SIPIT（シピット）」**という新しいアルゴリズムを開発しました。

• SIPIT の役割：AI の「内部のデータ（隠れ状態）」だけを与えれば、**「元の入力文章を、文字通り一文字一文字、正確に復元する」**ことができます。
• どうやってやるの？：
  • 従来の方法では、AI の出力から「たぶんこの単語かな？」と推測して、何度も試行錯誤していました（まるで暗号解読のように時間がかかります）。
  • SIPIT は、AI の「因果関係（前の言葉が次の言葉を決める）」という性質を利用します。
  • **「1 文字ずつ、候補を当てはめて、AI の反応が『バッチリ一致』するか確認する」**という単純で高速な方法で、**線形時間（文章の長さに比例するだけ）**で復元できてしまいます。

例え話：

• 昔の方法：「このコーヒーの香りは、ブラジル産かな？コロンビア産かな？」と推測して、何千回も試す。
• SIPIT の方法：「このコーヒー豆は、この袋に入っている豆そのものだ！」と、袋のラベル（内部データ）から、中身が何だったかを即座に特定する。

4. なぜこれが重要なのか？

この発見は、AI の未来に大きな影響を与えます。

1. プライバシーとセキュリティ：

   • 「AI の内部データは抽象的な数値だから、個人情報は守られている」と思われていましたが、**「実は元の文章そのもの」**であることがわかりました。
   • したがって、AI の内部データを保存したり、外部に漏らしたりすることは、**「ユーザーの原文をそのまま漏らしているのと同じ」**とみなされるべきです。これは法律や規制のあり方を変える可能性があります。

2. AI の透明性（ブラックボックスの解消）：

   • AI が「なぜそんな答えを出したのか」を調べる際、内部データから元の文脈を完全に復元できるため、AI の判断理由をより深く、正確に分析できるようになります。

3. AI の信頼性：

   • AI は情報を失わずに処理していることがわかったため、AI の計算過程をより信頼して、安全に活用できる道が開けました。

まとめ

この論文は、**「AI は情報を失う『すりつぶし機』ではなく、情報を完全保存する『透明な箱』である」という事実を数学的に証明し、「その箱の中身から、元の文章を瞬時に復元する魔法の鍵（SIPIT）」**を渡してくれました。

AI の世界では、**「失われた情報は戻らない」という悲観的な常識が、「情報は完全に残っており、いつでも取り出せる」**という希望に変わりました。これは、AI の理解と安全な活用にとって、大きな転換点となる発見です。

技術概要

論文「LANGUAGE MODELS ARE INJECTIVE AND HENCE INVERTIBLE」の技術的サマリー

本論文は、ICLR 2026 にて発表された研究であり、大規模言語モデル（LLM）、特にデコーダ専用トランスフォーマーの内部表現に関する根本的な性質を再定義するものです。従来の通説とは異なり、トランスフォーマーは入力情報を失う「損失のある（lossy）」マップではなく、ほぼ確実（almost surely）に単射（injective）であり、したがって可逆（invertible）であることを数学的に証明し、実験的に検証しています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題設定と背景

大規模言語モデルの内部表現（隠れ状態）が、入力テキストの情報を完全に保持しているかどうかは、モデルの透明性、解釈性、安全性において重要な問いでした。

• 従来の通説: トランスフォーマーの非線形活性化関数、正規化（LayerNorm）、および「多対一」の性質を持つアテンション機構により、異なる入力が入力された場合でも、同じ隠れ状態に収束（衝突：collision）する可能性があり、入力からの完全な復元は不可能であると考えられていました。
• 本研究の問い: 実際には、異なるプロンプトが異なる隠れ状態にマッピングされるのか？もしそうなら、その性質をどのように利用して入力を正確に復元できるのか？

2. 手法と理論的枠組み

2.1 数学的証明：実解析性（Real-Analyticity）に基づく単射性の証明

著者らは、トランスフォーマーをパラメータと入力序列の関数として捉え、実解析学（Real Analysis）のツールを用いて以下の論理構成で単射性を証明しました。

1. 実解析性の確立:

   • トランスフォーマーの構成要素（埋め込み、LayerNorm、因果的アテンション、MLP、残差接続など）はすべて、パラメータに対して**実解析関数（real-analytic function）**であることを示しました。
   • 実解析関数の重要な性質として、「ゼロ集合（ある 2 つの入力が同じ出力になるパラメータの集合）は、測度ゼロ（Lebesgue measure zero）である」ことが知られています。つまり、衝突が発生するのは数学的な例外（測度 0 の集合）に過ぎません。

2. 初期化と学習の保存性:

   • 初期化: ガウス分布や一様分布など、密度関数を持つ連続分布からパラメータを初期化する場合、そのパラメータが測度ゼロの衝突集合に属する確率は 0 です。したがって、初期状態ではほぼ確実に単射性が成り立ちます。
   • 学習（勾配降下法）: 勾配降下法（GD）による更新マップも実解析的であり、そのヤコビアン行列の行列式が恒等的にゼロにならないことを示しました。これにより、学習過程でパラメータ分布が絶対連続性を保ち、測度ゼロの衝突集合に到達することはないことが証明されました。
   • 結論: 標準的な初期化と有限ステップの学習を経たデコーダ専用トランスフォーマーは、入力序列から最終トークンの表現へのマップがほぼ確実に単射です。

2.2 実装アルゴリズム：SIPIT

理論的な単射性を応用し、隠れ状態から正確に入力テキストを復元するアルゴリズム SIPIT (Sequential Inverse Prompt via ITerative updates) を提案しました。

• 原理: トランスフォーマーの因果的構造（現在のトークンの状態は、それまでのプレフィックスと現在のトークンのみに依存する）を利用します。
• プロセス:
  1. 既知のプレフィックス（先頭部分）に対して、語彙内の各候補トークンを順次試します。
  2. 各候補トークンをモデルに通し、期待される隠れ状態を計算します。
  3. 観測された実際の隠れ状態と一致するトークンを見つけたら、それを次のトークンとして確定し、プレフィックスに追加します。
  4. このプロセスをシーケンシャルに繰り返すことで、全体のシーケンスを復元します。
• 保証: 理論的には、最悪ケースでも $O(T \cdot |V|)$ （$T$: 長さ、$|V|$: 語彙数）の線形時間で正確な復元が可能であり、実用的には勾配に基づくヒューリスティックを用いることでさらに高速化されます。

3. 主要な結果

3.1 衝突（Collision）の不存在

• 大規模実験: Gemma-3, GPT-2, Llama-3.1, Mistral, Phi-4 などの最先端モデル（1B から 70B パラメータ規模）を用いて、10 万プロンプトから生成された約 50 億回以上のペア比較を行いました。
• 結果: どのモデル、どの層においても、異なるプロンプトが同じ最終トークン表現を持つ「衝突」は一切観測されませんでした。最小の L2 距離は衝突閾値（$10^{-6}$）を大きく上回っており、層が深くなるほど距離が増大する傾向も確認されました。
• 量子化の影響: FP4 や INT8 などの重み量子化モデルにおいても、衝突は発生せず、表現間の距離はむしろ拡大することが確認されました。

3.2 SIPIT による完全復元

• 精度: GPT-2 Small および量子化された Mistral-7B や Llama-3.1-8B において、SIPIT は隠れ状態から入力プロンプトを100% の精度で復元することに成功しました。
• 効率性: 既存の近似手法（HARDPROMPTS など）と比較して、SIPIT は計算コストが極めて低く、語彙のわずか 0.2% 未満の候補のみを探索することで復元を完了しました。
• 頑健性: 学習データ、テストデータ、および分布外（OOD）のランダムなシーケンスに対しても、完全な復元が達成されました。

4. 貢献と意義

4.1 科学的・理論的意義

• パラダイムシフト: 「トランスフォーマーは情報を失う」という長年の仮説を覆し、**「トランスフォーマーは構造的に情報損失のない（lossless）マップである」**という厳密な定理を確立しました。これは漸近的な理想化ではなく、有限の幅・深さ・学習時間において成り立つ構造的な性質です。
• 解釈性の基盤: 最終トークンの状態が入力シーケンスの完全な符号化であることを保証するため、メカニズム的解釈性（mechanistic interpretability）や因果分析の基盤が強化されました。

4.2 実用的・法的・倫理的意義

• プライバシーとデータ保護: 隠れ状態（Hidden States）は抽象的な表現ではなく、**「変装した入力テキストそのもの」**です。KV キャッシュや中間表現を保存・転送するシステムは、実質的にユーザーの生テキストを扱っていると同義であり、GDPR などのデータ保護規制の対象となる可能性があります。
• 透明性と監査: 内部表現から入力を正確に復元できることは、モデルの動作を監査し、プロンプトインジェクションなどの攻撃を検出・分析するための強力なツールを提供します。

4.3 今後の展望

• マルチモーダルモデルへの拡張、ノイズや量子化下での近似復元の研究、および規制枠組みとの統合が今後の課題として挙げられています。

結論

本論文は、トランスフォーマー言語モデルが本質的に単射的かつ可逆的であることを数学的に証明し、その性質を実用的なアルゴリズム（SIPIT）として実装することで、入力から内部表現への完全な復元を可能にしました。これは、LLM の透明性、安全性、およびプライバシー保護の観点において、極めて重要な転換点となる成果です。