💬 NLP

Probability Distributions Computed by Autoregressive Transformers

本論文は自己回帰型トランスフォーマー言語モデルによって表現可能な確率分布を特徴づけ、その自己回帰的かつ確率的な性質が表現力を高め、非確率的言語認識器で見られる等価性を破ることを示す。

原著者： Andy Yang, Anej Svete, Jiaoda Li, Anthony Widjaja Lin, Jonathan Rawski, Ryan Cotterell, David Chiang

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

原著者： Andy Yang, Anej Svete, Jiaoda Li, Anthony Widjaja Lin, Jonathan Rawski, Ryan Cotterell, David Chiang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ChatGPT などのツールの背後にある AI モデルであるトランスフォーマーを、非常に賢いながらも少し硬直したロボット司書と想像してみてください。長年にわたり、研究者たちはこのロボット司書に、「この特定の書籍は『SF』セクションに属しますか？」という単純な「はい/いいえ」の質問を投げかけることで研究を行ってきました。ロボットが「はい」と答えればその書籍は採用され、「いいえ」と答えれば却下されます。このアプローチを、この論文では分類器（Classifier）と呼んでいます。

しかし、現実世界では、私たちはロボット司書に書籍を分類するだけでなく、物語を書くよう求めます。私たちは最初の数語を与え、ロボットは次の単語を推測し、その次の単語を、さらにその次の単語を推測し、確率分布（次に何が来るかという推測）を生成します。このアプローチを、この論文では自己回帰モデル（Autoregressor）と呼んでいます。

この論文が問いかける根本的な問いは、ロボットは物語を書く方が、書籍を分類するよりも得意なのでしょうか？あるいは逆に、書籍を分類する能力が、物語を書く能力について私たちが知る必要があるすべてを物語っているのでしょうか？

以下に、彼らの発見を単純なアナロジーを用いて解説します。

1. 二つの思考様式

著者たちは、これまでの研究の大半がトランスフォーマーを裁判官（分類器）として扱ってきた一方、私たちが実際に使用する AI は物語語り（自己回帰モデル）として機能していることに気づきました。

裁判官：文全体を見て、「真」か「偽」かを言います。
物語語り：これまでの文を見て、「次の単語が『猫』である確率は 90% で、『犬』である確率は 10% です」と言います。

2. 「ブール」の世界（単純なケース）

ロボットが白黒（真/偽）のみで処理する世界を想像してみてください。

発見：この単純な世界では、裁判官と物語語りは本質的に同一人物です。ロボットが書籍を正しく分類できるなら、同じルールに従う物語も書くことができ、その逆もまた真です。
注意点：両者は同等の能力を持っていても、物語語りは裁判官と同じ仕事をするために、はるかに複雑な内部の「取扱説明書」（論理）を必要とすることがあります。裁判官は瞬時にパターンを見抜けるのに対し、物語語りはその同じパターンを単語ごとに生成するために、長く複雑なレシピを書く必要があるようなものです。

3. 「実数重み付き」の世界（複雑なケース）

次に、ロボットが灰色の濃淡（0.5、0.9 などの確率）で処理する世界を想像してみてください。これが実際の AI の動作です。

発見：ここでは、裁判官と物語語りは同一ではありません。彼らは異なるスーパーパワーを持っています。
- 物語語りはより柔軟：裁判官が単に認識できないような特定の確率パターンを生成できます。
- 裁判官はより硬直：物語語りが生成できない特定の確率パターンを裁判官は識別できます。なぜなら、物語語りは確率の合計が常に 100% になるよう厳格なルールに従わなければならないからです。
アナロジー：裁判官を偽造 ID を瞬時に見抜く保安官、物語語りを偽造 ID を作成しようとする偽造師と想像してください。時として、偽造師は保安官が見抜けない偽造 ID を作成できることがあります（保安官が特定のリストのみをチェックするため）。しかし、時として、偽造師は紙とインクのルールに縛られすぎて、保安官が簡単に見抜ける特定の種類の偽造 ID を作成できないこともあります。

4. 「タイムトラベル」論理

この論文では、これらのロボットが何ができるかを記述するために、「線形時相論理（LTL）」と呼ばれる特殊な論理を使用しています。これはタイムトラベルのルールセットのようなものです。

「昨日（Y）：前の単語を振り返る。
「歴史的に（H）：すべての過去の単語を振り返る。
「以来（S）：特定の時点から振り返る。

著者たちは以下のことを発見しました。

ロボットが「昨日」と「歴史的に」（振り返る機能）にアクセスできる場合、裁判官と物語語りは同等です。
ロボットが制限されている場合（例えば、数歩しか振り返れない、または「歴史的に」のみを使用する場合）、物語語りは裁判官よりも厳密に強力になります。物語語りは、制限された裁判官が処理できないパターンを処理できるからです。

5. 「数え上げ」の問題

この論文では、文字列内の「a」の数を数えるなど、数え上げが得意なロボットも検討しました。

従来の研究では、これらのロボットを裁判官として扱った場合、そのサイズに基づいて数えられる数には上限があることが示されていました。
しかし、物語語りとして扱った場合、それらは実際にはわずかに複雑な数え上げタスクを処理できました。一度に全体を判断するのではなく、単語を一つずつ予測していく行為が、それらに全体を一度に判断するよりもわずかな「脳力」を与えたのです。

まとめ

主な結論は、トランスフォーマーが「裁判官」として（パターン認識として）できることは、「物語語り」として（テキスト生成として）できることと完全に同一であると仮定できないということです。

単純な白黒のシナリオでは、両者はほぼ同じです。
確率という複雑な現実世界のシナリオでは、「物語語り」は「裁判官」にはない独自の能力を持ち、その逆もまた真です。

これは、科学者が AI の能力をテストする際に注意が必要であることを意味します。ロボットが「分類テスト」に失敗したからといって、「物語を書く」テストに失敗するとは限りませんし、分類が得意なロボットが、物語生成の特定のルールに苦戦する可能性もあります。この論文は、これらの違いが正確にどこにあるかを理解するための地図を提供しています。

技術的概要：自己回帰トランスフォーマーによって計算される確率分布

問題提起

トランスフォーマーの表現力に関する既存の理論的研究は、主にトランスフォーマーを言語認識器（分類器）として扱っており、そこでは入力として完全な文字列が与えられ、出力として二値分類（受理/拒否）がなされる。しかし、トランスフォーマーの主要な実用的応用は言語モデル（自己回帰器）であり、これは接頭辞が与えられた場合に次の記号の確率分布を予測することで、トークンごとに文字列を生成する。

本論文は、根本的なギャップに対処するものである：認識設定におけるトランスフォーマーの表現力に関する理論的結果のどれが、言語モデリング設定にも引き継がれるのかは不明である。具体的には、ブール分類器としてのトランスフォーマーに対して確立された同値クラス（例えば、線形時相論理（LTL）やカウンタなしオートマトンとの同値性）が、トランスフォーマーが実数重み付きまたはブール自己回帰器として使用される場合に成り立つかどうかを、著者らは調査する。

手法

著者らは、分類器と自己回帰器としてのトランスフォーマーを、2 つの重みドメインにわたって比較するための形式的枠組みを開発した：

ブール半環（ $\mathbb{B}$ ）: 重みは $\{0, 1\}$ （偽/真）。
実数半環（ $\mathbb{R}_{\geq 0}$ ）: 重みは非負の実数（確率）。

彼らは、状態エンコーダを、文字列の接頭辞を状態の列に写す関数として定義する。ここで、位置 $i$ における状態は、接頭辞 $w_{\leq i}$ のみに依存する。この抽象化を用いて、彼らは 4 つの特定の構成を分析する：

ブール分類器: 完全な文字列をブール値に写す。
ブール自己回帰器: 接頭辞を次のトークンの分布（ブール重み）に写す。
実数分類器: 完全な文字列を実数重みに写す。
実数自己回帰器: 接頭辞を次のトークンの確率分布に写す。

本研究は、固定精度の**ユニークハードアテンショントランスフォーマー（UHATs）およびソフトマックスアテンショントランスフォーマー（SMATs）**に焦点を当てている。これらは以下と比較される：

**線形時相論理（LTL）**およびその断片（例：$TL[P] $、$ TL[H]$）。
カウンタなし決定性有限オートマトン（cfDFAs）およびカウンタなし非決定性有限オートマトン（cfNFAs）。

核心的な手法は、これらの形式体系間の還元を構築することであり、これにより分類器モードと自己回帰モードの両方で、一方が他方をシミュレートできるかどうかを決定する。

主要な貢献と結果

1. ブール分類器と自己回帰器における同値性

完全な LTL: ブール半環において、LTL 分類器と LTL 自己回帰器は同値である。「昨日（Yesterday, $Y$ ）」および「歴史的に（Historically, $H$ ）」の演算子を含んでいる場合、分類器として機能するブール自己回帰器は、分類器として機能するトランスフォーマーと同じ言語を定義できる。
変換の複雑さ: 同値であるにもかかわらず、自己回帰器を分類器に変換すること（具体的には $Y$ 演算子を除去すること）は、式サイズの指数関数的な増大を必要とする可能性がある。論文は、特定の断片に対して多項式時間同値な変換を構築することは、$P = PSPACE $または$ P = NP$ でない限り、ありそうもないことを証明している。

2. 制限された断片における乖離（ブール）

時相演算子の集合を制限する場合（例えば、 $Y$ なしの $TL[H] $または$ TL[P]$ に限定する場合）、自己回帰器は分類器よりも厳密に表現力が高くなる。

例: 言語 $(ab)^*$ は、ブール $TL[\emptyset]$ 自己回帰器によって定義可能であるが、いかなる $TL[H] $または$ TL[Y]$ 分類器によっても定義できない。
含意: 特定の注意機構を持つトランスフォーマー（これら断片に対応する左端 UHAT や固定精度 SMAT など）は、分類器としては認識できない言語を、自己回帰器としては認識できる。

3. 実数重み設定における乖離

実数半環において、表現力の風景は著しく変化する：

分類器と自己回帰器: これらは比較不可能である。
- 実数自己回帰器で表現可能だが実数分類器では表現できない重み付き言語が存在する（例： $(\frac{1}{2}a)^*$ 。これは無限に多くの異なる重みを必要とする）。
- 実数分類器で表現可能だが実数自己回帰器では表現できない重み付き言語が存在する（例： $(1a)^*$ 。これは正規化された確率分布ではない）。
UHAT と cfDFA: 実数設定において、自己回帰器としての UHAT（および LTL）はカウンタなし DFAと同値である。しかし、それらは重み付きカウンタなし NFAよりも厳密に表現力が低い。
- 論文は、決定化不可能（同等の重み付き DFA に変換できない）カウンタなし重み付き NFA を示しており、これにより実数重み設定における非決定性が、トランスフォーマー（決定性状態エンコーダとしてモデル化される）では捉えられない表現力を追加することを示している。

4. 計数演算子の影響

本論文は、計数能力を持つトランスフォーマー（例：アテンション内部で任意の精度を持つ SMAT、 $TL[\#]$ に相当）に関する結果を再検討する。

先行研究は、これらのトランスフォーマーが分類器として特定の言語を認識することを示していた。
本論文は、自己回帰器として、これらのモデルがわずかに強力であり、分類器としては認識できない（ $L_k$ に限定される）言語（ $L_{k+2}$ など）を認識できることを示している。これは、先行文献における理論的認識限界と経験的記号予測性能の間の不一致を説明する。

意義と主張

本論文は、トランスフォーマーの表現力に関する既存の実験を解釈するための原理的な方法を提供すると主張している。

妥当性確認: 多くの場合（特に完全なブール LTL において）、言語認識文献からの結果は言語モデルにも転移する。例えば、UHAT が分類器として PARITY を認識できない以上、自己回帰器としてもそうできない。
留保事項: 著者らは、認識結果を生成に盲目的に適用することはできないことを強調している。
- 実数重み: ブールから実数への重みの移行は、ブールの場合に見出された同値性（例：DFA と NFA の間）を破る。
- 自己回帰と分類: 自己回帰は、制限された論理断片（ブール）において表現力を厳密に増加させ、実数設定において表現可能な重み付き言語のクラスを変更する。
将来の方向性: 著者らは、将来の研究がこれらの結果を、ログ精度のソフトマックスアテンション、位置符号化、および実数重み設定における「思考の連鎖（chain of thought）」推論に拡張すべきであると示唆しており、自己回帰器における非表現性を証明するための現在の手法は限られていると指摘している。

要約すると、本論文は、言語モデルとしてのトランスフォーマーは、認識器としてのトランスフォーマーと多くの理論的基盤を共有しているが、自己回帰および実数値確率への移行は、特に非決定性の力と利用可能な特定の時相演算子に関して、計算的表現力に微妙だが決定的な違いをもたらすことを確立している。