🤖 AI

OLLM: Options-based Large Language Models

この論文は、標準的な LLM の単一の次トークン予測を離散潜在変数でインデックス付けされた学習済みオプションの集合に置き換える「Options LLM (OLLM)」を提案し、数学推論タスクにおいて従来の手法よりも高い正解率と制御性、効率性を達成することを示しています。

原著者： Shashank Sharma, Janina Hoffmann, Vinay Namboodiri

公開日 2026-04-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shashank Sharma, Janina Hoffmann, Vinay Namboodiri

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

1. 今までの AI はどうだった？（従来の LLM）

これまでの AI（大規模言語モデル）は、「次の一歩」を予測する際、常に「一番確実な道」を選びがちでした。

例え話：
迷路を歩く人がいると想像してください。この人は、次の交差点で「一番通りそうな道」を常に選びます。
- 問題点： 時には、複数の道が正解の場合でも、AI は「一番確実な道」に固執してしまい、他の可能性のある素晴らしいルート（正解）を見逃してしまったり、逆に「温度設定」というランダムな要素を無理やり入れて多様性を出そうとすると、意味の通じない変な道（ハルシネーション）を選んでしまったりします。
- 現状： 数学の問題を解くとき、AI は「正解」を一つだけ狙うので、少しのズレで道に迷ってしまい、最終的な答えが間違ってしまうことがありました。

2. OLLM の新しいアイデア：「選択肢の箱」

この論文が提案するOLLMは、AI に**「次の一歩」を一つだけ選ぶのではなく、「いくつかの『選択肢の箱』から選んで」**という仕組みに変えました。

例え話：
迷路を歩く人に、**「10 個の小さな箱」**を持たせます。
- 箱 1 には「左に進むルート」
- 箱 2 には「右に進むルート」
- 箱 3 には「少し待ってから進むルート」
- ...といったように、「正解になりうる複数のパターン」をそれぞれ別の箱に仕分けして入れます。
- AI は、まず「どの箱を使うか（ latent variable：潜在変数）」を決め、その箱に入っているルールに従って次の言葉を選びます。

これがすごい点：

混乱しない： 「左に行きたくないのに、右に行きたくない」というジレンマ（確率の競合）がなくなります。それぞれの箱は独立して「正解」を目指せるからです。
多様性： 数学の問題で「A という解き方」と「B という解き方」の両方があり得る場合、箱 A と箱 B でそれぞれ正解を導き出せます。

3. どうやって動くの？（仕組みの簡単解説）

この仕組みは、既存の AI の「頭（ベースモデル）」を壊さずに、「前額葉（前頭葉）」のように小さなパーツを 2 つだけ追加するだけで動きます。

エンコーダー（箱を選ぶ人）：
文章の文脈を見て、「今、どの箱（選択肢）を使うのが一番良さそうか？」を学習します。
デコーダー（箱の中身を出す人）：
選ばれた箱の中身（特定のルール）に基づいて、次の言葉を出力します。

重要なポイント：

超軽量： 既存の AI のパラメータ（知識の量）の1.5% 程度しか増やしません。まるで、巨大な図書館に「新しい目次カード」を少し追加しただけのようなものです。
学習済み： 箱の中身は、AI が普段の学習（SFT）で得た「正しい知識」に基づいています。だから、AI が勝手に変なことを言い出す（ハルシネーション）のを防ぎます。

4. 結果はどうだった？（数学の問題で試す）

研究者たちは、この仕組みを数学の問題解決に適用してテストしました。

従来の AI（LoRA という手法）： 正解率が51%。途中でつまずいて、同じような間違いを繰り返す傾向がありました。
新しい OLLM： 最適な箱を選べば、正解率が**約 70%**に跳ね上がりました！
- 理由： 「正解へのルート」を複数の箱に分けておいたおかげで、AI は「もしこっちの道がダメなら、あっちの道がある」という柔軟性を持ち、最終的な答えにたどり着けるようになったのです。

5. なぜこれが重要なのか？（未来への展望）

この研究の最大のメリットは、**「制御のしやすさ」**です。

従来の AI： 全単語（数万語）の中からランダムに選ぶので、制御が難しく、AI が暴走しやすい。
OLLM： 「箱（選択肢）」という小さな世界で制御するだけなので、効率的です。
- 例え話： 迷路の全ルートを探すのではなく、「10 個の箱から 1 つ選ぶ」だけで、AI の行動をコントロールできます。
- これにより、「言語の切り替えミス」や「論理破綻」が減り、AI がより安全で、意図した通りに動けるようになります。

まとめ

この論文は、**「AI に『次の言葉』を一つだけ選ばせるのではなく、『正解になりうる複数のパターン（箱）』を用意させて、その中から賢く選ばせる」**というアイデアを提案しています。

まるで、**「迷いやすい迷路で、複数の地図（選択肢）を同時に持たせてあげた」**ようなもので、AI が数学の問題や複雑なタスクを、より確実かつ柔軟に解決できるようになりました。これは、AI をより「人間らしく」、かつ「制御しやすい」存在にするための大きな一歩です。

以下は、Shashank Sharma らによる論文「OLLM: Options-based Large Language Models」の技術的な要約です。

1. 概要と背景（問題設定）

従来の大規模言語モデル（LLM）は、次のトークンの分布を単一の確率分布としてモデル化し、多様性を生み出すために温度パラメータやサンプリングヒューリスティクス（Top-k/p など）に依存しています。しかし、自然言語生成、特に数学的推論の文脈では、多くのトークン位置において複数の妥当な続きが存在します（多様性・多峰性）。

既存手法の課題: 従来のサンプリング手法は確率的な探索に依存しており、制御が困難です。また、強化学習（RLHF）を用いた微調整では、言語の切り替えや非論理的な推論（reward hacking）などのアライメント問題が発生しやすく、探索空間が語彙全体に広がっているためサンプル効率が低くなります。
本研究の動機: 生成プロセスにおいて、明示的に「複数の選択肢（オプション）」をモデル化し、低次元の潜在空間で制御を行うことで、推論の精度と制御性を向上させることを目的としています。

2. 提案手法：OLLM (Options-based Large Language Models)

OLLM は、標準的な LLM の次のトークン予測を、離散潜在変数でインデックス付けされた「学習されたオプションの集合」に置き換えるシンプルで汎用的なアーキテクチャです。

アーキテクチャ

OLLM は、事前学習済み LLM の出力ヘッダ（lm_head）の前に、2 つの軽量モジュール（エンコーダとデコーダ）を追加する「プラグイン」形式です。

エンコーダ ( $E_\psi$ ): 文脈隠れ状態 ( $h_t$ ) とターゲットトークンの埋め込み ( $e(y_{t+1})$ ) を入力とし、離散的な潜在変数 $z \in \{1, \dots, K\}$ の分布を出力します。これにより、文脈に応じた適切な「オプション」が選択されます。
デコーダ ( $D_\omega$ ): 隠れ状態 $h_t$ と選択された潜在変数 $z$ を入力とし、語彙投影前の隠れ状態にバイアスベクトル ( $\Delta h_t$ ) を加算します。
推論時のポリシー ( $\pi_\phi$ ): 学習時にはエンコーダが正解トークンから $z$ を予測しますが、推論時には、隠れ状態 $h_t$ から適切な $z$ を予測する軽量なポリシーネットワークが使用されます。

学習プロセス

オプション空間の学習: 正解トークンが与えられたとき、エンコーダが適切な潜在変数 $z$ を予測し、デコーダがその $z$ を通じて正解トークンの予測確率を最大化するように学習します。
正則化: エンコーダの分布が特定の $z$ に収束（クラッシュ）するのを防ぐため、一様分布に対する KL 発散を正則化項として追加します。
ポリシー学習: エンコーダの動作を模倣するように、潜在空間上で動作するポリシーを教師あり微調整（SFT）で学習します。これにより、生成は SFT 中に学習された妥当なオプションの範囲内に制限されます。

3. 主要な貢献

明示的なオプションモデル化: 単一のソフトマックス分布内でトークンが競合するのではなく、離散潜在変数によって複数の妥当な続きを分離・最適化します。これにより、多峰性の分布をより効果的に捉えます。
軽量かつ汎用的なプラグイン: 事前学習済みモデルの大部分（本研究では 17 億パラメータ中 1.56% 以外）を凍結し、エンコーダ・デコーダ・ポリシーのみのパラメータを学習します。
低次元空間での制御: 探索空間を語彙全体ではなく、小さな潜在オプション集合（ $K=10$ など）に制限することで、強化学習やポリシー最適化のサンプル効率を劇的に向上させます。
構造的なアライメント: 追加の KL 罰則や手作りのアライメント損失なしに、モデル構造自体によって「妥当な生成」を強制します。

4. 実験結果

データセット: OpenMathReasoning で学習し、OmniMath で評価。
ベースライン: 1.7B パラメータの Qwen2.5 Deepseek R1 モデルをベースに、SOTA の LoRA アダプターと比較。
性能:
- 従来の LoRA ベースラインは最終回答の正解率が最大 51% でした。
- OLLM は、最適な潜在変数の選択（Oracle 選択）条件下で、最終回答の正解率が約**70%**に達しました。
- トークンレベルの精度も 74% から 83% へ向上しました。
考察: 単一の確率単純形でトークンが競合するのではなく、潜在オプションに分離することで、モデルは複数の妥当な続きを維持しつつ、過学習を防ぐことができました。また、低次元の潜在空間で動作する単純なポリシーでも、最終的な回答精度を大幅に改善できることが示されました。

5. 意義と将来展望

数学的推論の改善: 数学問題解決において、論理的な分岐（複数の解法パス）を明示的にモデル化できるため、推論の頑健性と制御性が向上します。
強化学習への応用: 従来の RLHF が抱える「言語の切り替え」や「非論理的な推論」といった問題を、探索空間を妥当なオプションに制限することで回避できます。
解釈性: 異なる潜在変数が異なる論理的な推論経路に対応するため、モデルの内部動作を解釈しやすく、制御しやすいという利点があります。

結論:
OLLM は、LLM の生成プロセスを「次のトークンの予測」から「次のオプションの選択」へと変換することで、数学的推論タスクにおいて高い精度と制御性を実現しました。これは、大規模言語モデルの強化学習や制御において、低次元の潜在空間を利用する有望な方向性を示しています。