技術要約：Think Fast: 最先端AIモデルにおけるNo-CoTタスク完了時間の推定

問題提起

最先端AIモデルの安全性監視戦略の多くは、思考の連鎖（Chain-of-Thought: CoT）の推論トレースを検査することに依存しています。そこには、「もしモデルが有害な目的や欺瞞的な戦略について推論しているならば、そのプロセスは自然言語のトークンとして外部化されるはずである」という仮定があります。しかし、もしモデルが潜在的な推論（latent reasoning）――明示的な推論トークンを出力することなく、高度な内部的な熟考を行う能力――を発達させた場合、この監視メカニズムは無効化されてしまいます。

本論文は、以下の2つの核心的な問いに取り組んでいます：

1. Q1: 最先端モデルは、CoTとして外部化することなく、どの程度の推論を潜在的に実行できるのか？
2. Q2: この潜在的な推論能力は、時間の経過とともにどのように変化しているのか？

著者らは、この「No-CoT」能力を定量化しなければ、モデルが内部で欺瞞的または不整合な行動をとるリスクを、安全性評価が大幅に過小評価してしまう可能性があると主張しています。

メソドロジー

ベンチマーク・スイートと抽出

著者らは、数学、コーディング、パズル、因果関係、心の理論、戦略的推論などの領域にわたる30,000問以上の問題を含む、43のベンチマークからなるスイートを構築しました。これらのベンチマークは、UK AISIのInspectフレームワークに変換されています。

• タスククラス: スイートには、短文回答タスク、生成タスク（自然言語による推論を含まないコードやテキスト）、およびマルチターン・エージェントタスク（ツール呼び出しのみ）が含まれます。
• No-CoTの強制: 潜在的な推論能力を測定するため、著者らはモデルが最終回答の前に推論トークンを出力することを厳格に禁止しました。これには、ベンチマーク固有のプロンプト、数発の例示（few-shot）、および構造化された出力制約を用いました。もしモデルが出力の5%を超える割合で推論を出力しようとした場合は、より厳格な制約を適用しました。

指標：時間およびトークン・ホライゾン

潜在的な推論能力を定量化するために、著者らは主に2つの指標を導入しました。

1. 50%-タスク完了時間ホライゾン (TH): モデルが50%の成功率で解決できるタスクを完了するために必要な、推定される人間の作業時間。これにより、モデルの能力を人間の努力量に紐付けます。
2. 50% 推論トークン・ホライゾン: アンカーモデル（具体的には o3-mini）が、評価対象のモデルがCoTなしで50%の成功率で解決するタスクを解くために必要とする最小の推論トークン数。これは、モデルに基づいた独立した基準を提供します。

人間の解決時間の推定

既存のデータがないベンチマークの人間による解決時間を推定するために、手法の大部分が割かれました。

• データ収集: 既存のデータがない12のベンチマークに対し、著者らはリクルートされた17名の専門家参加者から733件の試行データを収集しました。
• キャリブレーション: 残りのベンチマークの解決時間を推定するために Claude Opus 4.7 を使用し、20のベンチマークから得られた実際の人間によるデータに対してこれらの推定値をキャリブレーションしました。推定値の不確実性は条件付きガウス分布を用いてモデル化し、階層的ブートストラップ・リサンプリングを通じて分析にノイズを伝播させました。

統計分析

• ロジスティック適合: 各モデルについて、成功率を人間による解決時間（またはトークン数）の関数として予測するロジスティック曲線（logistic curve）を当てはめ、50%の閾値（$h_{model}$）を決定しました。
• トレンドモデリング: パレート境界（リリース時のSOTA）上のモデルの50% THに対して指数関数的トレンドを当てはめ、潜在的な推論能力の倍加時間を決定しました。
• 不確実性の伝播: 階層的ブートストラップ・リサンプリング（ベンチマーク、問題、モデルの実行、および人間の解決時間の再サンプリング）を用いて、各モデルのTHおよび全体的なトレンドの倍加時間に対する95%信頼区間を生成しました。

主な貢献

1. 包括的なベンチマーク・スイート: 多様な領域にわたる潜在的な推論を評価するために特別に設計された、43のベンチマーク（3万問以上）からなる精選されたスイート。これはInspectフレームワーク内で実装されています。
2. 不確実性のモデリング: 実測の解決時間、収集されたベースライン、およびキャリブレーションされたモデルベースの推定値を組み合わせた、人間のタスク所要時間の推定における不確実性のモデリングと伝播のための新しい手法。
3. 推論トークン・アンカー: アンカーモデル（o3-mini）が必要とする最小の推論トークン数に関連付けて潜在的な推論能力を定量化する方法。これは、人間の時間推定に依存しない指標を提供します。
4. 経験的トレンド: 14の最先端モデル（GPT-2からGPT-5.5まで）の長期的な分析により、No-CoT能力の成長率を明らかにしました。
5. スケーリング分析: THとパラメータ数、レイヤー数、およびアーキテクチャタイプ（Dense型 vs MoE型）との相関に関するアブレーション研究。

結果

潜在的な推論の成長

• 倍加時間: No-CoTの50%時間ホライゾンは、過去6年間で約373日（95% CI: 167–691日）ごとに倍増しています。
• 現状: 最新の最先端モデル（例：GPT-5.5）では、推定されるNo-CoT THは3分を超えており、これは（o3-miniのアンカーに基づくと）およそ1,500個の推論トークンに相当します。
• トークン・ホライゾンの倍加: 推論トークン・ホライゾンは437日（95% CI: 341–571日）ごとに倍増しています。時間アンカーとトークンアンカーの倍加時間の差は、問題の難易度が高まるにつれてトークン数が人間の解決時間よりも速くスケールするという、劣線形な冪乗則の関係に起因しています。

予測

中央値のトレンドを外挿すると、以下のようになります：

• 2028年までに、No-CoT THは7分を超える可能性があります。
• 2030年までに、No-CoT THは25分を超える可能性があります。
• 著者らは、これらの予測には相当な不確実性が伴うことを強調しています（例：2030年の予測範囲は9分から615分に及びます）。

CoT能力との比較

No-CoTのTHの倍加時間（373日）は、Kwaらによって報告された、CoTを伴うフル・アフォーダンスのエージェントタスクの倍加時間（182日）と比較して、約2倍遅いものです。この乖離はGPT-4のリリース後に顕著になっており、CoT能力が急速に進歩している一方で、明示的な推論と潜在的な推論の間のギャップが広がっていることを示唆しています。

スケーリング則

• 50% THを倍増させるには、総パラメータ数の4.2倍の増加、またはレイヤー数の1.3倍の増加が必要です。
• アーキテクチャの違い: Denseモデルは、MoEモデル（THを倍増させるために8.1倍のパラメータ増加が必要）と比較して、より速いスケーリング関係（2.2倍のパラメータ増加でTHが倍増）を示しています。これは、一部のプロプライエタリなモデルで見られるNo-CoTのスケーリングの遅さを説明している可能性があります。

堅牢性

結果は、以下の操作に対しても堅牢です：

• トレンド適合から単一のモデルを除外すること。
• 実測の人間による解決時間を持つベンチマークのみを使用すること（ただし、ノイズは増加します）。
• より長い形式の生成やマルチターン・エージェントタスクを含めること（これにより、倍加時間は約319日にわずかに減少します）。
• 人間の時間推定に対する異なるノイズモデルの使用。

意義と主張

本論文は、最先端モデルが、推論を外部化することなく、数分間の人間の努力を要するタスクを実行する能力をすでに備えていると主張しています。この能力は予測可能な形で成長しており、2019年以降、およそ毎年倍増しています。

著者らは、この傾向がAI安全性に対して極めて重要な意味を持つと主張しています：

1. 監視の限界: CoTによる監視は、推論が出力に現れる場合にのみ有効です。潜在的な推論のための「ヘッドルーム（余白）」が急速に拡大している事実は、モデルが検知されることなく、複雑で、潜在的に不整合な推論を内部で行う可能性が高まっていることを示唆しています。
2. 行動喚起: 最先端の開発者は、モデルが進歩するにつれて、潜在的な推論能力（No-CoT TH）を明示的に追跡すべきです。著者らは、これらの能力を測定することは比較的安価であり、大量の推論計算を必要としないと述べています。
3. 不確実性の低減: 将来のモデルのTHに関する不確実性を減らすことは、それ自体が安全性の優先事項です。

結論として、現在のモデルが必ずしもCoTから推論を「ルーティング（回避）」しているわけではありませんが、そうする能力は予測可能な形で成長しており、潜在的な熟考を考慮した新しい評価および監視戦略が必要であることを、本論文は示しています。