技術要約：エージェントの情報熱力学：メモリを持つチャネルの仕事容量

問題提起

将来の観測を予測することは、機械学習、生物学、経済学における中心的なパラダイムであり、しばゆる変分自由エネルギー原理などの原理に基づいている。しかし、受動的な観測（例：エージェントが既存の記号のシーケンスを処理する「テープ設定」）の熱力学的限界については十分に研究されている一方で、知覚・行動ループを通じて環境と相互作用する能動的なエージェントの熱力学的含意については、まだ十分に理解されていない。これらのループでは、エージェントの行動が将来の知覚に影響を与え、フィードバックメカニズムが形成される。

本研究が取り組む中心的な問いは、知覚・行動ループにおける適応的な情報処理のエネルギー的限界は何か、そして、これらの制約下でエージェントをどのように設計すべきか？ である。具体的には、予測が鍵となる受動的な観測（仕事抽出を最適化する設計原則）において成立する設計原則が、エージェントが環境に能動的に影響を与える場合にも成立するかどうかを調査している。

手法

著者らは、確率熱力学と隠れマルコフモデルの情報理論を組み合わせたフレームワークを開発した。

1. モデリングの枠組み:

   • エージェントと環境: 両者はともに隠れマルコフチャネル（メモリを持つ有限状態チャネル）としてモデル化される。環境チャネル（$\nu_{S|A}^{env}$）は行動（$A$）から知覚（$S$）への写像であり、エージェントチャネル（$\eta_{A|S}^{agt}$）は知覚から行動への写像である。
   • 知覚・行動ループ: 相互作用は、エージェントと環境のタプルとして定義され、グローバルな確率過程を形成する。著者らは、エージェントのメモリ、行動、知覚、および環境の隠れ状態の結合プロセスが有限状態の定常マルコフ連鎖を形成することを証明し、これにより、挙動の漸近的なダイナミクス（循環定常プロセスへの収束）が保証される。

2. 熱力学的仮定（等温情報処理 - IIP）:

   • 情報処理は、温度 $T$ の熱浴に結合された情報担体に作用する物理的プロトコルとしてモデル化される。
   • このプロトコルは、ポテンシャル景観に関して等温かつ周期的であり、仕事の抽出が内部エネルギーや外部制御装置の変化ではなく、情報処理（エントロピーの変化）の本質的なコストのみによって制限されることを保証する。
   • これらの仮定の下では、論理操作によって抽出される期待仕事量 $W$ は、非平衡自由エネルギーの変化によって制限される。これはエントロピーの境界 $W \leq H(X_{out}) - H(X_{in})$ に帰着する。

3. 主要な指標：仕事容量 ($C_{work}$):

   • 著者らは、仕事率を、1ラウンドあたりの抽出可能な仕事の漸近的な平均として定義する：$W(agt_M, env) = \langle H(A_t|M_t) - H(S_t|M_t) \rangle_t$。
   • 仕事容量は、与えられた環境チャネルに対して互換性のあるすべての可能なエージェントモデル（有限メモリを持つ）に対する、この仕事率の、上限（supremum）として定義される。これは、エージェントが環境から仕事を抽出できる最大速度を表す。

4. 予測ギャップ:

   • 予測の役割を分析するために、著者らは予測ギャップを条件付き相互情報量 $I[A_{0:t+1}S_{0:t}; S_t | M_t]$ として定義する。ゼロの予測ギャップは、エージェントのメモリが現在の知覚を予測するために過去のすべての関連情報を含んでいることを意味する。

主要な貢献と結果

1. 仕事容量の特性

著者らは、任意の環境チャネルに対する仕事容量の基本的特性を確立した：

• 存在性: 基盤となる有限状態マルコフ連鎖の収束特性により、仕事容量は存在する。
• 境界: $0 \leq C_{work}(env) \leq \log_2 |S|$。
• 劣加法性: 二つのチャネルのカスケードにおいて、カスケードの仕事容量は、個々の仕事容量の和以下である（$C_{work}(env_2 \circ env_1) \leq C_{work}(env_1) + C_{work}(env_2)$）。

2. 能動的ループにおける予測と効率の乖離

著者らは、受動的な観測（テープ設定）の熱力学からの決定的な相違点を明らかにしている：

• テープ設定: 受動的な設定では、仕事効率の良いエージェントは予測的（予測ギャップを最小化する）であり、かつ行動をランダム化する必要がある。
• 知覚・行動ループ: 真のフィードバックが存在する能動的な設定では、予測と仕事効率は互いに排他的になり得る。
  • 著者らは（定理3）、仕事効率の高いエージェント（$A_{eff}$）、最大限に予測的なエージェント（$A_{pred}$）、および最大エントロピー行動エージェント（$A_{mea}$）の集合が、互いに排他的となる環境が存在することを証明した。
  • 具体的には、最大限に予測的なエージェントは、将来の知覚を予測するために、自身の過去の行動に関する完全な情報を保持する。しかし、この情報の保持は、エージェントの行動のエントロピー（$H(A_t|M_t)$）を減少させる。これは仕事率の式における正の項である。その結果、予測的なエージェントは、過去の行動の一部を「忘れる」エージェントと比較して、より低い（あるいは正ではない）仕事率しか達成できない。

3. 予測と忘却のトレードオフ

知覚・行動ループにおいて、仕事効率の良いエージェントは、予測（$H(S_t|M_t)$ の最小化）と忘却（$H(A_t|M_t)$ の最大化）のバランスを取る必要がある。

• 将来の知覚を予測するために情報を保持することは、多くの場合、エージェントが過去の履歴に基づいて行動を条件付けることを要求し、それによって行動のエントロピーを減少させる。
• 逆に、仕事抽出のために行動エントロピーを最大化することは、環境の統計的構造を学習することを妨げ、知覚の不確実性を増大させる可能性がある。
• 最適な戦略には、非ゼロの「予測ギャップ」が含まれることが多く、これはエージェントが、高い行動エントロピーを維持するために、過去の詳細を意図的に忘れることを意味する。

4. 例証的な例

著者らは、フィードバックパラメータ $r \in [0, 1]$ を持つ特定の環境を分析している：

• $r=0$ (テープ設定): 環境は行動を無視する。ここでは、予測的なエージェントが仕事効率が良い。
• $0 < r < 1$ (能動的ループ): フィードバックが存在する。数値最適化の結果、$r$ が増加するにつれて、最適な仕事効率のエージェントは、最大限に予測的なエージェントから逸脱することが示された。最適なエージェントの予測ギャップは不連続なジャンプを示しており、これは、トレードオフを調整するためのメモリメカニズム（異なる「アンザッツ」設計間の切り替え）における定性的な変化を示唆している。
• $r=1$ (決定論的): 環境は行動に基づいて完全に決定論的になる。予測的なエージェントが再び最適となる。

意義と主張

本論文は、知覚・行動ループにおける情報処理の熱力学を分析するための基礎的なフレームワークを提供することを目的としている。その主要な意義は、「予測は常に最適である」という適応システムに関する仮定に異議を唱えることにある。

• 理論的転換: 本研究は、能動的学習システムにおいて、予測（将来に関する不確実性の最小化）とエネルギー効率（仕事抽出の最大化）という目標が、相反する場合があることを示している。
• 設計原理: フィードバックが豊かな環境で動作するエージェントにとって、最適な設計は、最大限のメモリ保持ではなく、戦略的な忘却を必要とする可能性があることを示唆している。
• 文脈: 著者らは、これらの知見を生物学的および人工的知能の広い文脈の中に位置づけ、予測的な観点からはサブオプティマルに見える挙動（例：意図的な忘却）が、実はエネルギー効率を最大化するための熱力学的制約を反映している可能性があることを示唆している。

本論文は、具体的な実験セットアップや即時の応用を提案するものではなく、環境と相互作用するエージェントの熱力学的限界と設計原理を確立するものである。