🤖 machine learning

Skip a Layer or Loop It? Learning Program-of-Layers in LLMs

本論文は、事前学習済みレイヤーを動的にスキップまたはループさせることで各入力に対してカスタマイズされた実行パスを生成する、トレーニング不要のフレームワークである「Program-of-Layers（PoLar）」を導入し、このような柔軟な推論が標準的な固定深度のLLM処理と比較して精度と効率の両方を大幅に向上させることを示している。

原著者： Ziyue Li, Yang Li, Tianyi Zhou

公開日 2026-06-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ziyue Li, Yang Li, Tianyi Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたの手元には、非常に賢く、学習済みのロボットシェフ（大規模言語モデル、またはLLM）がいます。このシェフは複雑な問題を解決することで有名ですが、どんな料理を作る時でも、必ず決まった数のステップ（レイヤー）を持つ厳格なレシピに従います。

もしシェフに「卵をゆでて」と頼まれたとしても、野菜を切ったりスープに味付けしたりといった100ステップに及ぶマスターレシピの全工程を、変わらず実行してしまいます。たとえ卵をゆでるだけなら、お湯を沸かすだけで済むはずなのに。また、「砂糖で城を作って」と頼まれたとしても、同じ100ステップに従います。もし途中で行き詰まり、アプローチを再考する必要があったとしても、やはり同じ手順を進めてしまうのです。

問題点：
この論文は、この「一律のレシピ」が非効率的であることを指摘しています。時には、不要なステップに時間を浪座してしまうこともあれば、難しい問題に対して考える時間が足りずに失敗してしまうこともあります。

発見（「アハ体験」）：
研究者たちはこう問いかけました。「もし、シェフがその場で自分自身のレシピを書き換えられたらどうなるだろうか？」

彼らは、ほとんどすべての問題において、シェフのスキルを活用するための「正しい方法」は一つではないことを発見しました。つまり、機能する「プログラム（手順のシーケンス）」は他にもたくさん存在するのです。

スキップ： 簡単な問題（卵をゆでるなど）の場合、シェフは最初の50ステップを飛ばして、最後の10ステップだけを実行することができます。
ループ： 難しい問題（砂糖で城を作るなど）の場合、シェフは特定のステップで行き詰まり、結果を洗練させるためにそのステップを数回繰り返してから、次へ進むことができます。

研究者たちは、「探索エンジン」（モンテカルロ木探索と呼ばれます）を使用して、これらの隠れた優れたレシピを見つけ出しました。その結果、以下のことが分かりました。

短い方が良いことが多い： 多くの問題は、標準的なレシピよりも少ないステップで正しく解決できます。
繰り返すことが助けになる： 難しい問題では、特定の工程の塊を繰り返すこと（ループ）が、標準的なレシピが犯してしまうミスを修正するのに役立ちます。
組み合わせが鍵となる： 最良のレシピは、一部をスキップすることと、一部をループさせることを組み合わせたものになります。

解決策：POLAR
これらの完璧なレシピを見つける際の問題は、検索に時間がかかりすぎることです。あらゆる質問に対して、シェフに「1,000通りの異なるレシピを試して」と頼むことはできません。それでは時間がかかりすぎてしまいます。

そこで、チームは非常に軽量でコンパクトな「レシピ予測器（POLAR）」を構築しました。

仕組み： シェフが調理を開始する前に、この予測器が質問を確認し、最適なカスタムレシピを瞬時に推測します。「ステップ1〜10をスキップし、ステップ11〜20を通常通り行い、ステップ21〜25を2回繰り返し、残りはスキップせよ」といった具合です。
魔法のような点： メインのシェフ（大きなLLM）は全く変化しません。それは依然として凍結されており、学習済みです。予測器は、その特定の瞬間において、シェフが既存のスキルを「どのように使うべきか」を指示するだけなのです。

結果：
数学の問題でテストを行ったところ、以下の結果が得られました。

精度が向上した： シェフはより多くの問題を正しく解けるようになり、標準的なレシピが犯したミスさえも修正できました。
スピードが向上した： 簡単な問題では、不要なステップをスキップしたため、シェフはより早く完了できました。
新しいことにも対応できる： 未経験の数学の問題でテストした場合でも、予測器はレシピを調整して良い結果を得る方法を知っていました。

要約：
スマートなモデルに対して、あらゆるタスクで固定された硬直的な経路を強制するのではなく、この論文はモデルに「リモコン」を与える方法を教えてくれます。このリモコンを使えば、退屈な部分をスキップしたり、難しい部分で「リピート」ボタンを押したりすることができ、モデルを再学習させたり脳を作り変えたりすることなく、より賢く、速く、効率的にすることができるのです。

技術要約：レイヤーをスキップするか、それともループさせるか？LLMにおけるProgram-of-Layersの学習

1. 問題提起

現在の大規模言語モデル（LLM）は、入力の複雑さに関わらず、すべてのトランスフォーマーレイヤーを逐次的に実行する固定深度・固定順序のフォワードパスを通じて推論を行います。この静的なアーキテクチャは、入力難易度の高い分散を考慮できておらず、以下の2つの非効率性を引き起こしています：

過剰計算（Over-computation）： 単純な入力であっても、モデルは全深度を実行してしまいますが、実際にはより少ないレイヤーで正解に到達できる可能性があります。
計算不足（Under-computation）： 標準的なフォワードパスでは失敗してしまう複雑な入力も、モデルが動的に実行パスを変更できれば（例：特定のレイヤーを繰り返して洗練させる、あるいは冗長なレイヤーをスキップするなど）、解決できる可能性があります。

本論文は、標準的なフォワードパスはLLMの潜在的な推論能力のごく一部しか捉えていないと仮定しています。核心となる問いは、「汎用モデルは、ベースモデルを再学習させることなく、各入力に対して最適な『プログラム』（レイヤー実行のシーケンス）を最適化できるか？」という点です。

2. 手法

2.1. モンテカルロ木探索（MCTS）による経験的発見

学習ベースの解決策を提案する前に、著者らはMCTSを用いてProgram-of-Layers (POLAR) の空間を探索する経験的研究を行いました。

定義： レイヤーを原子的な関数（ $f_0, \dots, f_{D-1}$ ）のライブラリとして扱います。プログラム $\pi$ は、スキップ（レイヤーの省略）と回帰（レイヤーの反復）を許容するレイヤーインデックスのシーケンスです。
知見：
- 結合最適化： スキップ操作とループ操作を組み合わせることで、どちらか一方のみを使用する場合よりも大幅に精度が向上します。
- オッカムの剃刀： 多くの入力（当初は誤答した入力を含む）において、標準的なフォワードパスよりも短い有効な実行プログラムが存在します。
- テスト時スケーリング： 深度予算（回帰によるもの）を増やすことで、より困難なタスクの精度が系統的に向上し、有効な潜在計算の連続体が存在することが明らかになりました。
- 構造的バイアス： 有効なプログラムは主に連続したレイヤーセグメントで構成されており、一つのセグメントにつき一度の回帰を必要とするケースは稀です。長距離のジャンプや深い反復利用は一般的ではありません。

2.2. POLARフレームワーク

MCTSの知見に基づき、著者らは凍結された事前学習済みモデルのパラメータを変更することなく、推論時に入力固有の実行プログラムを予測する軽量なフレームワークであるPOLARを提案します。

プログラム表現：
- セグメンテーション： $D$ 個のレイヤーを連続したセグメント $[s_j, s_{j+1})$ に分割します。
- 操作： 各セグメントに、Skip（省略）、Keep（標準実行）、Repeat（2回実行）の3つの操作を割り当てます。
- 制約： 有効なプログラムは局所的な構造を好むという知見に基づき、セグメント長は $K_{max}=4$ に制限されています。
予測ネットワーク・アーキテクチャ：
- 入力エンコーディング： 入力 $x$ は、凍結された埋め込みモデルを使用してトークン埋め込みへとエンコードされます。
- レイヤークエリ： 学習可能な埋め込みが各レイヤーインデックスを表し、クエリとして機能します。
- クロスアテンション： クロスアテンション機構がレイヤークエリとトークン埋め込みを組み合わせ、入力に条件付けされた各レイヤーの表現を生成します。
- クロスレイヤーエンコーダー： 軽量なトランスフォーマーエンコーダーが深度方向の依存関係をモデル化し、あるレイヤーでの決定がグローバルなコンテキストに依存できるようにします。
- 予測ヘッド： 2つのヘッドが、(1) セグメンテーション境界（バイナリマスク）、および (2) 各セグメントの開始点における操作ラベル（skip/keep/repeat）を予測します。
学習と推論：
- 教師あり学習： ネットワークは、オフラインのMCTSによって発見されたグラウンドトゥルース（正解）プログラムを用いて学習されます。
- 推論： ネットワークはセグメンテーションと操作のロジットを予測します。凍結されたLLMを実行する前に、グローバルな一貫性を確保するために、セグメントレベルの操作に対してビームサーチが適用されます。

3. 主な結果

3.1. イン分布（In-Distribution）性能 (DART-Math)

4つのモデル（LLaMA-3.2-3B, Qwen1.5-MoE, Qwen2.5-3B, Qwen3-8B）を用い、数学的推論ベンチマーク（DM-1からDM-5）で評価しました。

精度向上： POLARは、標準的な推論（Base）および既存の動的深度手法（MindSkip, FlexiDepth, DR.LLMなど）を一貫して上回りました。
- 例： LLaMA-3.2-3Bにおいて、POLARはDM-1でベースモデルと比較して**+46.8%、最も困難なDM-5において+32.0%**の絶対的な精度向上を達成しました。
テスト時スケーリング： ビームサーチを通じて候補プログラムの数（ $k$ ）を増やすと、標準的な確率的サンプリング（Base sampling）の収穫逓減を大きく上回り、精度の単調な向上が得られました。
効率性： POLARは、平均して実行されるユニークなレイヤー数が少ない状態で、より高い精度を達成することが多いです。

3.2. アウトオブ分布（OOD）汎化

DART-Mathで学習されたPOLARは、ASDiv、MAWPS、MMLU-Pro（数学、物理、化学、法律など）においてゼロショット評価されました。

クロスドメイン転移： POLARは、算数の文章題や一般的な知識タスクを含む多様なドメインにおいて、ベースのフォワードパスや他の動的手法を一貫して上回りました。
メカニズム： 著者らは、予測ヘッドが入力を共有されたセマンティック空間にマッピングすること、および単純な構造パターン（連続したセグメント）への制約が、データセット固有のヒューリスティクスではなく再利用可能な戦略を促進しているためであると考えています。

3.3. 効率性とオーバーヘッド

レイテンシ： 予測ネットワークが導入するオーバーヘッドは無視できる程度であり（標準的なフォワードパスの約0.8%、約0.23レイヤー分に相当）、極めて低いです。
純利益： 簡単な入力においてレイヤーをスキップすることで、POLARはエンドツーエンドのレイテンシを削減し（例：簡単な入力ではベースの実行時間の0.83倍）、同時に精度を向上させます。
パラメータ数： 予測器はわずか約2.1Mのパラメータを追加するだけであり、これはベースモデルのサイズの0.01%〜0.06%に過ぎません。

4. 意義と主張

本論文は、固定深度の実行は、汎用的な基盤モデルにとって最適ではないと主張しています。レイヤーを再利用可能な関数のライブラリとして扱うことで、POLARは以下を実証しました：

潜在能力： LLMは、標準的なフォワードパスよりもエラーを修正したりタスクを解決したりできる、広大な有効な代替計算（プログラム）の空間を有しています。
実用性： この潜在能力は、高価な探索を単発の予測に置き換える、軽量で（ベースモデルの）学習を必要としない予測メカニズムを通じて解禁できます。
汎化性能： 実行の深度と順序を動的に再構成する能力は、アーキテクチャの再設計やファインチューニングを必要とせず、様々なドメインで性能を向上させる転移可能なスキルです。

本研究は、将来の推論戦略が静的な深度を超え、計算を入力の難易度に合わせて動的に再配分すべきであることを示唆しており、これにより、より効率的で表現力豊かな基盤モデルのデプロイへの道を開いています。