💬 NLP

Decoupling Task-Solving and Output Formatting in LLM Generation

本論文は、問題解決を厳格なフォーマット要件から切り離し、推論を妨げることなく遵守を保証する専用のフォーマット推定モジュールを通じて、複雑なタスクにおける大規模言語モデルの性能を向上させるデコーディング・フレームワークであるDeco-Gを導入する。

原著者： Haikang Deng, Po-Nien Kung, Nanyun Peng

公開日 2026-07-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Haikang Deng, Po-Nien Kung, Nanyun Peng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、非常に賢いロボットに難しい数学の問題を解かせようとしています。しかし、同時に「最終的な答えは42です」といった非常に厳格で決まった形式で書くよう要求もしています。通常、この「深く考える」部分と「完璧に書く」部分を一つの大きな指示に混ぜてしまうと、ロボットは混乱してしまいます。それはまるで、綱渡りをしながらジャグリングをするようなものです。多くの場合、ロボットはボール（数学）を落とすか、あるいはロープ（フォーマット）でつまずいてしまいます。

Haikang Deng氏とその同僚たちによる論文では、この問題を解決するために「DECO-G」と呼ばれる新しいシステムを紹介しています。DECO-Gを、二人のスペシャリストによる素晴らしいチームワークだと考えてください。それは、「問題解決者（Problem Solver）」と「フォーマット警察官（Format Police Officer）」です。

問題点：絡まり合った混乱

従来の方法では、「この数学の問題を解き、かつ、必ずJSONボックスの中に答えを書いてください」という一つの巨大なプロンプトをロボットに与えていました。論文では、この「絡まり合い（entanglement）」がロボットの脳に悪影響を与えると主張しています。ロボットがこれら両方を同時にこなそうとすると、フォーマットのルールを満たすために、数学の計算ミスをしてしまうことがあるのです。

著者らは、単にロボットに「注意してください」と言ったり、厳格な既成のテンプレート（例えば、ステップごとに厳格なJSONスキーマに従うよう強制すること）を使用したりすることが、最善の解決策ではないと明確に反論しています。これらの硬直した手法は、しば ولو フォーマットが完璧に見えたとしても、ロボットの思考を途中で遮断してしまい、一貫性のない回答や誤った数学的回答を招くことが多いことを彼らは発見しました。

解決策：二チーム戦略

DECO-Gは仕事を分割します。

問題解決者（LLM）: これがメインのロボットです。これは数学の問題だけを受け取ります。フォーマットについては一切気にしません。ただ考え、推論し、自由に問題を解くだけです。
フォーマット警察（FEM）: これは別個の、より小さなヘルパーモジュールです。これは数学を解くことはありません。その唯一の仕事は、ロボットの出力を監視し、「おい、終わりが近づいているぞ。数字を出す前に『最終的な答えは』と言う必要があるぞ」とささやくことです。

魔法は、彼らがどのように会話するかで行われます。フォーマット警察は、特別な「確率的先読み（probabilistic lookahead）」（未来を予測するという高度な方法）を使用して推測します。「もしロボットがいま『The（その）』と言ったら、文章を正しく終わらせる確率はどのくらいか？」と。もし確率が低い場合、警察はロボットの思考を強制的に止めることなく、次の言葉の選択を優しく誘導して、軌道に戻るように導きます。

特殊な武器

このチームアップを高速かつコンピューターに負荷をかけずに機能させるために、著者らは3つのクールなトリックを導入しました。

指示認識蒸留（Instruction-Aware Distillation）: フォーマット警察をランダムで退屈なチャットで訓練するのではなく、ロボットが実際に問題を解こうとしている時にどのように振る舞うかに特化して訓練しました。これにより、警察はロボットが次に何をしようとしているのかを知る上で、よりスマートになりました。
柔軟なトライ構築（Flexible Trie Building）: 答えがどのような形になるかの全経路を描いた地図を想像してください。通常、答えの長さが異なる場合、これらの地図は巨大で乱雑になります。著者らは、パスを統合する「柔軟な」地図を構築することで、コンピューターがすべての可能性をチェックしようとしてオーバーフローすることを防ぎました。
HMM状態プルーニング（HMM State Pruning）: フォーマット警察は、数千の隠れ状態を持つ巨大な脳を持っています。著者らは、ほとんどの場合、ロボットはごくわずかな状態にしか関心を持っていないことに気づきました。そこで、警察にそれ以外の部分を無視するように指示したことで、精度をほぼ維持したまま、計算量を約13倍削減しました（1ステップあたり約1.08 GFLOPsから0.08 GFLOPsへ）。

数字が示す結果

チームはこの手法を3つの異なる課題でテストしました。

数学問題 (GSM8k): 小学校レベルの算数を解く際、DECO-Gは他の手法を一貫して上回りました。例えば、Llama-3.1-8Bモデルにおいて、DECO-Gは**85.2%**の正答率を維持しながら、**100%のフォーマット遵守率を達成しました。対照的に、「Outlines」と呼ばれる硬直した手法は81.3%の正答率であり、標準的な「プロンプトのみ」のアプローチは82.3%**の正答率でしたが、フォーマットの遵守には失敗することがほとんどでした。
イベント抽出: ニュース記事から特定の詳細を抽出するよう求められた際、DECO-Gは「誰が何をしたか」を特定するスコア（Argument Id メトリック）を（Llamaにおいて39.4まで）向上させました。
LLM-as-a-Judge: ロボットが要約を採点する場合、DECO-Gは人間による判定との整合性を高め、最高の平均相関係数（CoherenceについてはLlamaで0.418）を達成しました。

結論

この論文は、「思考」と「フォーマット」を分離することで、数学的に正しく、かつ完璧にフォーマットされた回答という、両方の良いとこ取りができることを示唆しています。著者らはこれを実際のデータセットを用いて測定し、DECO-Gが、一度にすべてを行おうとしたり、硬直した制約を課したりする方法よりも一貫して優れていることを明らかにしました。

ただし、いくつかの注意点もあります。このシステムは、あらゆるロボットに対して即座に機能する魔法の杖ではありません。使用する各ロボットモデルに対して、新しい「フォーマット警察」を訓練する必要があります。また、一部のモデル（Qwenシリーズなど）では、ロボットの集中力が非常に高いため、フォーマット警察に指示を聞かせるためには、より強く押し進める（制御係数 γ=2 を使用する）必要があります。

要するに、DECO-Gは、もしロボットを数学の天才であり、かつフォーマットの完璧主義者にしたいのであれば、同時に両方をさせるべきではないと教えてくれています。ルールを扱うためのパートナーを与えれば、その才能を最大限に発揮させることができるのです。

技術要約：LLM生成におけるタスク解決と出力フォーマットのデカップリング

問題提起

大規模言語モデル（LLM）は、数学的問題解決や自動評価といった複雑な推論タスクにおいて高い習熟度を示している。しかし、プロンプトにタスクの指示と厳格な出力フォーマットの要件が組み合わさると、性能が低下することが多い。この「絡み合い（entanglement）」は、モデルに対して推論の正確性と厳格なフォーマット遵守という、互いに相反する目標を同時に最適化することを強いることになり、モデルの推論能力を阻害する。

既存のアプローチは、主に以下の2つの方向性からこの問題の軽減を試みているが、いずれも限界がある：

制約の緩和： フォーマット要件を削除または緩和する方法は、コンプライアンス率（遵守率）の低下を招き、構造化されたアプリケーションでの利用を困難にする。
制約付きデコーディング： OutlinesやGuidanceのようなフレームワークは、厳格なトークン遷移を強制することでフォーマット遵守を保証する。しかし、これらの手法はモデルの内部的な推論フローに侵入的に介入し、唐突な中断や不自然な出力を引き起こすことが多い。

近年の研究（例：Tam et al., 2024; Long et al., 2025）は、より厳格な制約が推論の劣化と相関していることを示しており、LLMの推論ポテンシャルを犠牲にすることなく、フォーマット制約をタスク解決から切り離す（デカップリングする）フレームワークの切実な必要性を指摘している。

手法：DECO-G

著者らは、タスクの推論と出力フォーマットを明示的に分離するデコーディングフレームワークであるDECO-Gを提案している。その核心となる哲学は、フォーマットへの遵守を補助モジュールに委譲することで、主要なLLMが問題解決のみに集中できるようにすることである。

アーキテクチャ

本フレームワークは、デュアルモジュール・システムを通じて動作する：

タスク解決型LLM： 明示的なフォーマット指示を含まない、タスク固有のプロンプト（例：数学の問題）のみを受け取る。
フォーマット推定モジュール（FEM）： フォーマット制約（例：「最終的な答えは...」）を受け取る。FEMは、将来のトークンシーケンスがフォーマット制約を満たす確率を推定するために、確率的なルックアヘッド（先読み）を行う。

各デコーディングステップにおいて、FEMによるコンプライアンス確率は、LLMの元のトークン分布を再重み付けするために使用される。最終的な確率分布は以下のように構築される：
$P(x_t|x_{<t}, \alpha) \propto P_{LM}(x_t|x_{<t}) [P_{FEM}(\alpha|x_{<t}, x_t)]^\gamma$
ここで、 $\alpha$ はフォーマット制約を表し、 $\gamma$ はステアリング強度（制御強度）のハイパーパラメータである。

主要な技術的革新

このアプローチを実用的かつ効率的にするために、著者らは3つの具体的な革新を導入している：

指示認識蒸留（Instruction-Aware Distillation）：
従来の制御可能な生成手法（例：GeLaTo, Ctrl-G）は、無条件のランダムサンプリングから隠れマルコフモデル（HMM）を蒸留している。これは、ファインチューニングされたLLMの指示条件付きの挙動を捉えることができない。DECO-Gは、Natural-Instructions-v2データセットの指示-応答ペアに対してのみHMMを蒸留することで、この問題に対処している。これにより、FEMが特定のタスク指示に従う際のLLMの挙動を正確にモデル化することを保証する。
柔軟なトライ木構成（Flexible Trie Construction）：
現実世界のフォーマット制約は、固定テキスト（ピボット）と可変長フィールド（ワイルドカード）を含む複雑なテンプレートを伴うことが多い。標準的な決定性有限オートマトン（DFA）構成では、連結された可変長セグメントを扱う際に状態空間の爆発（ $O(K^N)$ ）を招く。DECO-Gは、**状態収束（State Convergence）**を強制する柔軟なトライ木アルゴリズムを導入している。この戦略は、ワイルドカードセグメントのすべての有効なパスを、次のセグメントのための単一の標準的なエントリ状態へとマージし、複雑さを線形成長（ $O(N \times K)$ ）に抑える。
HMM状態の枝刈り（HMM State Pruning）：
FEMにおける確率的ルックアヘッドは、語彙全体にわたって放出確率を計算するため、計算コストが高い（ $O(h|V|)$ ）。著者らは、隠れ状態の分布が非常に疎であることを観察した。HMMを上位 $k$ 個の最も確率の高い状態（例：上位5%）のみを考慮するように枝刈りすることで、計算量を $O(k|V| + h \log h)$ に削減できる。実証結果によれば、わずか5%の状態を保持するだけで、モデルの性能の98%以上を維持しつつ、FLOPsを約13倍削減できることが示された。

実験結果

著者らは、Llama-3.1-8B、Qwen2.5-7B、Qwen3-8Bなどのモデルを用い、3つの異なるタスク（数学的推論：GSM8k、イベント引数抽出：ACE05、LLM-as-a-Judge：SummEval）にわたってDECO-Gを評価した。

数学的推論 (GSM8k): DECO-Gは一貫してベースラインを上回った。標準的なプロンプティング（Prompt-Only）は高い正確性を達成したがフォーマット遵守率が低く、構造化生成（Outlines）は遵守を保証したが正確性が低下したのに対し、DECO-Gは推論の正確性を維持または向上させつつ、100%のフォーマット遵守を達成した。例えば、Llama-3.1-8Bにおいて、DECO-Gは85.2%の正確性を達成し、これはOutlinesの81.3%およびPrompt-Only (NL)の82.3%を上回っている。
イベント引数抽出 (ACE05): DECO-Gは、特に引数ID（AI）および引数付随ID（AI+）の特定において、全体的な抽出品質を向上させた。これは、役割と抽出された引数のより優れた統合を示唆している。
LLM-as-a-Judge (SummEval): DECO-Gは、一貫性、整合性、流暢さ、および関連性の各指標において、人間のアノテーターとの最も高い平均相関を示した。定性的分析により、DECO-Gは任意の箇所にスコアリングフレーズをより自然に統合できることが明らかになった。これに対し、ベースラインはしばしば硬直的な評価の付加を強制する傾向があった。

意義と主張

本論文は、DECO-Gが推論とフォーマットの間の「責任の分離」を実現することで、制御可能なテキスト生成における新しいパラダイムを提示していると主張している。

推論の保存： フォーマットに関する認知的負荷をLLMの直接的な生成プロセスから取り除くことで、本フレームワークはモデルの持つ全推論ポテンシャルを解き放つ。
遵守の保証： 制約のないプロンプティングとは異なり、DECO-GはFEMの再重み付けメカニズムを通じて、フォーマット遵守の数学的な保証を提供する。
実用的な効率性： 指示認識蒸留、柔軟なトライ木構成、および状態の枝刈りを通じて、著者らは計算オーバーヘッドが無視できる程度（LLMのメインのフォワードパスの約0.53%を構成）であることを示しており、本フレームワークが実世界のデプロイメントにおいて実行可能であることを証明している。

著者らは、このデカップリング・アプローチが、厳格なデコーディングフレームワークに伴う典型的な推論の劣化を起こすことなく、厳格な制約を強制できることから、全体的な性能向上をもたらすと結論づけている。また、異なるLLMファミリーに対して新しいHMMを蒸留する必要があることや、ステアリング・ハイパーパラメータ $\gamma$ がモデルのトークン分布の歪みに敏感であることなどの限界についても認めている。