技術要約：STATe-of-Thoughts

問題提起

Best-of-nやTree-of-Thoughts (ToT) といった推論時計算（Inference-Time-Compute; ITC）手法は、生成中に追加の計算資源を割り当てることで、大規模言語モデル（LLM）の出力の質と多様性を向上させることを目的としています。しかし、既存のアプローチには2つの決定的な限界があります。

1. 限定的な多様性: 現在の手法は、多様性を誘発するためにトークンレベルの高温度サンプリングに大きく依存しています。研究によれば、これは意味のあるセマンティックな変異を生み出すことに失敗することが多く、結果として出力が均質化したり、品質が低下したりすることが示されています (Zhang et al., 2025c; Jiang et al., 2025)。
2. 解釈可能性と制御性の欠如: 「何を言うか」と「どのように言うか」の決定がトークンレベルのデコーディングプロセスに暗黙的に含まれているため、特定の推論戦略を制御したり、なぜ特定の出力が成功または失敗したのかを解釈したりすることが困難です。この不透明さは、説得力のある文章における修辞構造の研究や、多様なクリエイティブ・コンテンツの生成といった、体系的な変異を必要とするタスクにおけるITCの有用性を制限しています。

手法：STATe-of-Thoughts

著者らは、探索空間を確率的なトークンサンプリングから、離散的で高レベルな推論アクションへと移行させる、解釈可能なITCフレームワークであるSTATe-of-Thoughts (STATe) を提案しています。STATeは、温度ベースのノイズではなく、明示的なテキスト介入によって分岐が駆動されるツリー探索として機能します。

コア・コンポーネント

このフレームワークは、相互作用する3つのモジュールで構成されています。

1. コントローラー (C): 各推論ステップにおいて、コントローラーは定義済みの行動空間 $\mathcal{A}$ から一連の $n$ 個のアクションを選択します。これらのアクションは、高レベルの推論選択（例：「例証」のような修辞構造や、「世代間のリスク」のようなコンテンツテーマの選択）をエンコードした、離散的で解釈可能なテンプレートです。コントローラーは、推論が十分であると判断された場合に早期終了をトリガーする FINISH アクションを選択することもできます。
2. ジェネレーター (G): 各選択されたアクションに対して、ジェネレーターはそのアクションに基づいた推論ステップを生成します。極めて重要な点は、ジェネレーターがプリフィリング（prefilling）（アシスタントメッセージへのテキスト注入）を使用して、そのアクションを強制することです。アクションはテキストの接頭辞（例：「例えば、」）および内部的な推論ガイダンスへと変換され、モデルに選択された戦略と一致する継続生成を強制します。
3. エバリュエーター (V): フレームワークは、中間的な推論状態をスコアリングするプロセス報酬モデル（PRM）と、最終的な回答をスコアリングするアウトカム報酬モデル（ORM）の両方を採用しています。これらのスコアは、有望でない分岐を刈り取り、次のレイヤーのために上位 $k$ 個の状態を保持するためのビームサーチをガイドします。

ワークフロー

STATeは、ToTの確率的な分岐を、構造化されたループに置き換えます。

1. アクション・テンプレートの定義: 研究者は、高レベルの推論選択（談話関係やコンテンツテーマなど）を表す離散的なアクション・テンプレートを定義します。
2. ツリー探索: コントローラーがアクションを選択し、ジェネレーターがそれらのアクションに基づいた補完文を生成し、エバリュエーターが結果の軌跡をスコアリングします。
3. 帰属と発見: すべての分岐はログに記録されたアクションのシーケンスに関連付けられているため、研究者は特定のアクションシーケンスとダウンストリームのパフォーマンスとの関連性を分析できます。これにより、将来の生成を導くための、アクション空間における有望で未探索の領域を特定することが可能になります。

主な貢献

本論文は、主に3つの貢献を主張しています。

1. 制御可能なITCフレームワーク: STATeは、アクション空間の探索メカニズムを導入し、ステップレベルの決定を明示的かつ監査可能にしました。
2. 温度を超えた多様性のメカニズム: インターベンション（介入）に基づく分岐が、品質を犠牲にすることなく、標準的な高温度サンプリングよりも大きなセマンティックな多様性を生み出すことを実証しました。
3. 推論パターンの分析的フレームワーク: アクションシーケンスを追跡することで、STATeは、特定の推論パターン（およびその順序）がどのように出力の質と相関するかを分析することを可能にします。

実験結果

著者らは、クリエイティブ・ライティング（NoveltyBench）と議論生成の2つの設定でSTATeを評価しました。

1. クリエイティブ・ライティングにおける多様性と品質

NoveltyBenchにおいて、STATeは3つの温度領域（T=0.5, 0.7, 1.0）にわたって、標準的なITC手法（I/O, CoT, ToT）を大幅に上回りました。

• 多様性: STATeは、最良の非STATeベースライン（アクションを用いたCoT）と比較して、セマンティックな多様性を31〜42%向上させました。
• 品質: 一般的な多様性と品質のトレードオフとは異なり、STATeはベースラインに対して知覚品質を16〜30%向上させました。
• 汎用性: これらの結果は、4つの異なるファミリー（Qwen, Gemma, Nemotron, Ministral）に属する7つのモデルにわたって維持されました。

2. 議論生成のケーススタディ

使い捨てプラスチックの禁止に関する議論を生成する研究において、著者らは以下のことを見出しました。

• 制御可能性: コントローラーの介入は、生成されたテキストに確実に反映されました。規定された構造へのステップレベルの遵守率はほぼ完璧（99.7%）であり、サブトピックへの遵守率も強力（87.8%）でした。
• 予測可能性: アクションの位置と遷移をエンコードした逐次モデル（M2）は、存在ベースのモデルよりも議論の品質を予測する上で大幅に優れていました（$R^2$ は最大0.76）。これは、単なる存在よりも、アクションが「いつ」「どのように」組み合わされるかが重要であることを示しています。
• 人間との整合性: 評価に使用されたLLM-as-a-Judgeは、人間の好みに強い整合性を示しました（Advantage Probability = 0.841）。これにより、このタスクにおける自動スコアリングの使用が検証されました。
• 標的を絞った探索: 学習された逐次モデルからの関連性を利用することで、著者らはアクション空間の以前は未探索であった領域から、議論を特定し生成することに成功しました。これらの標的を絞った議論は、ランダムな探索や単純なトピック存在ベースラインを大幅に上回りました（ベースラインに対する勝率は78.7% vs 63.3%）。

意義と主張

本論文は、STATeを二重の目的を持つツールとして位置付けています。

1. 実用的なフレームワーク: 推論時の計算におけるトークンレベルのサンプリングの限界に対処し、推論戦略に対する体系的な制御を伴う、多様で高品質なテキストを生成する手法を提供します。
2. 研究ツール: パフォーマンスを駆動する推論パターンの理解を可能にするメカニズムを提供します。出力の成功の「理由」をアクションシーケンスを通じて解釈可能にすることで、STATeは、特定の修辞的または構造的な選択がダウンストリームの結果にどのように影響するかを研究することを容易にします。

著者らは、STATeが「複数の高品質な解が存在し、最終的な出力と同じくらい推論プロセスを理解することが重要であるタスク」において最も価値が高いことを強調しています。また、本手法はプリフィリングに依存していること（現在はオープンソースまたはセルフホスト型のモデルに限定される）や、因果的な洞察ではなく相関的な洞察を提供するものであることを認めていますが、制御可能で解釈可能な推論時計算に向けた重要な一歩であるとしています。