論文要約：Do Not Imitate, Reinforce: Iterative Classification via Belief Refinement

1. 背景と問題意識 (Problem)

従来の教師あり学習による分類タスクは、モデルが「オラクル（正解ラベル）」を完全に模倣するように訓練される**単一ステップの模倣学習（Imitation Learning）**として捉えることができます。このアプローチには、主に2つの構造的な欠陥があります。

1. 計算資源の固定化 (Fixed Compute Budget): 通常、モデルは単一のフォワードパスで予測を出力するため、入力が単純な画像であっても複雑な画像であっても、常に同じ計算量（計算予算）を消費します。
2. 過剰な自信 (Overconfidence/Poor Calibration): 標準的なクロスエントロピー誤差は、分離可能なデータに対してロジットのノルムを無限大に押し上げる性質があり、モデルが訓練データに対して不当に高い確信度を持つ（キャリブレーションが悪い）原因となります。

2. 提案手法 (Methodology)

本論文では、分類を単一ステップの模倣ではなく、強化学習（RL）を用いた逐次的な信念更新（Iterative Belief Refinement）として再定義するReinforced Iterative Classification (RIC) を提案しています。

MDP（マルコフ決定過程）の定式化

分類タスクを「思考MDP（Thought MDP）」として定式化しています。

• 状態 (State): 入力画像 $x$、前ステップの予測分布 $a_{t-1}$、および再帰的な潜在状態（思考状態）$\tau_{t-1}$。
• 行動 (Action): クラス確率のシンプレックス（単体）上における連続的な予測分布 $a_t$。
• 報酬 (Reward): 正解クラス $y$ に対する対数スコア（log-score）の増分。具体的には $r_t = \log a_{t,y} - \log a_{t-1,y}$ と定義されます。これにより、各ステップでの予測精度の向上に対して報酬が与えられます。
• アーキテクチャ: Actor-Critic構造を採用。再帰モジュール（RNN/GRU等）が思考状態を維持し、Policy HeadがDirichlet分布を通じて予測分布を出力、Value Headが将来の報酬期待値を予測します。

学習アルゴリズム

割引報酬（Discounted Return）を最大化するように学習します。割引率 $\gamma$ を用いることで、数学的に「幾何分布に従うランダムな停止時刻における予測精度」を最大化することと同義になります。

3. 主な貢献 (Key Contributions)

1. 分類の再定義: 分類を「模倣」から「逐次的な信念更新」へと転換し、強化学習の枠組みで定式化しました。
2. 理論的解析:
   • Anytime Classifier: 割引報酬を用いることで、どのステップで停止しても意味のある予測ができる「Anytime（いつでも使える）」な分類器になることを証明しました。
   • 最適ポリシーの性質: 最適なポリシーは、実現可能な条件下では標準的なクロスエントロピーと同じ真のクラス確率をターゲットにすることを示しました（Proposition 1）。
   • 有限のロジットスケール: 共有の分類器重みを用いることで、初期の曖昧な状態での誤分類によるペナルティが働き、ロジットが無限に増大するのを防ぎ、結果としてキャリブレーションが改善されることを理論的に示しました（Proposition 2）。
3. 適応的計算 (Adaptive Computation): 学習された価値関数 $V(s)$ が「これ以上計算しても改善の見込みがない」ことを示す停止信号として機能し、明示的な設計なしに計算資源を効率的に配分できることを示しました。

4. 実験結果 (Results)

CIFAR-10, SVHN, ImageWoof などのデータセットを用いた実験により、以下の結果が得られました。

• 精度 (Accuracy): 標準的な教師あり学習（SL）と同等の高い分類精度を維持しています。
• キャリブレーション (Calibration): 期待キャリブレーション誤差（ECE）において、SLよりも一貫して優れた（低い）値を示しました。特にラベルノイズが多い環境下でも、RICは自信過剰に陥らず、安定したキャリブレーションを維持しました。
• 適応的停止 (Halting): 価値関数に基づいた停止ルールにより、簡単な入力には少ないステップを、難しい入力には多くのステップを割り当てる「計算資源の動的配分」が実現されました。

5. 意義 (Significance)

本研究は、分類タスクにおける「計算量」と「確信度」の制御を、アーキテクチャの設計や事後的な調整（Temperature Scalingなど）に頼るのではなく、学習の目的関数（Objective Function）そのものから自然に導き出せることを示した点に大きな意義があります。これは、より効率的で、信頼性の高い（信頼できる自信を持つ）AIモデルの構築に向けた重要な一歩となります。