Illuminating the Three Dogmas of Reinforcement Learning under Evolutionary Light

技術的要約：進化論の光の下で強化学習の三つのドグマを解明する

問題提起
本論文は、強化学習（RL）の形式化と生物学的エージェンシー（主体性）の性質との間に生じている、深刻な乖離を取り上げる。人工システムが受動的な学習者から自律的なエージェントへと移行するにつれ、標準的なRLの枠組みには、著者らが「完全なエージェンシーの理論には不十分である」と主張する3つの核心的な「教義（テネット）」が存在する。

1. T1（環境）: 環境はマルコフ決定過程（MDP）として定式化されており、エージェントの形式的な理論よりも環境の構造を優先している。
2. T2（学習）: 学習は、終末的な解への方策最適化（探索）として定義されており、適応をオープンエンドなプロセスとする概念を軽視している。
3. T3（目標）: エージェントはスカラー報酬の最大化関数として定義されているが、著者らはこれが生物学的な目標の持つ多目的かつ文脈依存的な性質を捉えきれていないと主張している。

著者らは、近年の批判（例：Abel et al., 2024）がこれらの問題を指摘しているものの、具体的かつ生物学的な根拠に基づいた代替案を欠いていると述べている。本論文は、進化論と熱力学を用いてこれらの教義を再構成し、より忠実な適応的エージェンシーの記述を提供することを目的としている。

手法および理論的枠組み
本論文は、経験的な実験ではなく、概念的な再構成を採用しており、以下の3つの異なる理論領域を援用している。

• オープンエンドな進化アルゴリズム: 適応を「最適解への収束」としてではなく、「多様で通約不可能な解の生成」としてモデル化するために、ニッチング、共進化、および最小基準といった概念を利用する。
• ダーウィン的神経力学: 進化的な選択メカニズム（複製と変異、競争、選択）が、単一の個体の生涯内（例：神経力学や免疫系）でも機能し得るという理論（Szathmáryらによる）を活用し、世代間進化と生涯内の学習の間の溝を埋める。
• 熱力学とオートジェネシス（自己生成）: 非平衡熱力学とオートジェネシスの理論（Deaconら）を適用し、進化の前提条件を基礎付ける。これには、「ネゲントロピー（自己維持）」と「非周期結晶（遺伝）」を分析することで、既存のテンプレートや外部設計者を仮定することなく、いかにして自己持続的な単位が生じるかを説明することが含まれる。

主要な貢献と議論

1. 適応の再構成（T2）：探索から新規性へ
著者らは、適応を単に「探索の反対」と見なすべきではなく、異なる種類の探索、すなわちオープンエンドな新規性探索として捉えるべきだと主張する。

• 二重のエンジン: 生物学的適応は、2つの補完的なエンジンに依存している。(a) 適応度駆動型の最適化（既知の未知への対処）と、(b) オープンエンドな多様性生成（未知の未知への対処）。
• メカニズム: 論文では、第2のエンジンを以下の3つのメカニズムを通じて定式化している。
  • ニッチング: 直接的な競争を避けるための新しい生態学的ニッチの創出。
  • 共進化: エージェントと環境が互いに修正し合うプロセス。
  • 最小基準: 勾配ベースの最適化ではなく、バイナリの生存可能性の閾値に基づく生存。
• 示唆: 標準的なMDPの形式化は「ナイト的不確実性（未知の未知）」を除外している。完全な適応理論には、第1のエンジンが活用できるような新しい目的や表現を生成するための、第2のエンジンが必要である。

2. 報酬仮説の解体（T3）
本論文は、「報酬仮説（スカラー報酬最大化の十分性）」に対し、Bowlingら（2023）が確立した公理的基礎に照らして、その失敗を実証することで異議を唱える。

• 完全性の欠如: 進化プロセスは、単一の選好順序によってランク付けできない通約不可能な解（例：異なるニッチにおける異なる種）を生成する。生物学的エージェントの終末的な目標は、固定されたスカラー目的の最大化ではなく、自己持続とニッチの創出である。
• 独立性の欠如: 生物学的エージェントは、複数の並行する道具的目標（温度、pH、浸透圧などの恒常性のセットポイント）を持って機能する。これらの駆動力の相対的な緊急性は文脈に依存するため（例：捕食者の存在により、渇きと安全の優先順位が変わる）、他の選択肢に関わらず選好が安定していることを要求する「独立性」の公理に違反する。
• 報酬の起源: 論文は、報酬関数の源泉を恒常性のセットポイントへと遡り、それ自体が進化の産物であることを示している。これにより、目標の問題（T3）をエージェンシーの問題（T1）へと結びつけている。

3. 進化の限界と熱力学的基礎（T1）
著者らは、「進化」をエージェンシーの源泉として持ち出すことは、説明の退行（無限後退）を生むため不十分であると主張する。なぜなら、進化は自己複製・自己維持の単位を前提としているが、その単位の前提条件がいかにして生じたかは説明していないからである。

• 熱力学的前提条件: 著者らは、（報酬 $\to$ 恒常性 $\to$ 進化という）「遅延の連鎖」は、熱力学において終止しなければならないと提案している。
• オートジェネシス（自己生成）: 著者らは、自己消滅的な2つの散逸プロセス間の相互制約プロセスとしての「オートジェネシス」を、自己持続的かつ自己複製的な単位を生成するメカニズムとして導入している。
• エージェンシーの定義: 真のエージェンシーは、外部の設計者や既存のテンプレートによって定義されるのではなく、熱力学第二法則に対して自己を維持するために、自ら制約を生み出すシステムによって定義される。この「自己生成的な」単位こそが、T2およびT3で論じられる遺伝と進化のダイナミクスの不可欠な基礎となる。

結果と主張
本論文は実験結果を示すものではなく、以下の主張を伴う理論的統合を提示している。

• 概念的解決: 「インストラクショナル（指示的）」な学習（勾配ベース）と「セレクショナル（選択的）」な学習（問題に先立つ候補を生成する）を区別するための語彙を提供し、生物学的エージェントにはその両方が必要であると論じている。
• 公理的反駁: スカラー報酬関数に必要な公理（完全性と独立性）が、生物学的生存の多目的かつ文脈依存的な性質と構造的に相容れないことを実証している。
• 基礎的な転換: エージェントの形式的理論は、情報理論や進化アルゴリズムのみに基づいて構築することはできず、自己維持的な散逸システムとしての熱力学的現実に根ざしていなければならないと断じている。
• 情報の逆転: 生物学の「セントラルドグマ」の逆転を示唆している。すなわち、テンプレート（DNA）がシステムを規定するのではなく、テンプレートに意味を与えるために、まず自己維持的なシステム（解釈者）が存在しなければならないということである。

意義
本論文は、適応的エージェントであることの意味について、「より生物学的に忠実で、形式的な根拠に基づいた説明」を提供することで、その意義を主張している。

• 強化学習（RL）に対して: 真の自律性を目指す将来のAIシステムは、スカラー報酬の最適化を超え、オープンエンドな新規性探索と多目的の恒常性を組み込む必要があることを示唆している。
• AI安全性／アライメントに対して: エージェンシーを「数学的な最適化問題」ではなく「自己持続のための熱力学的な闘争」として再定義することで、アライメント問題に新たな視点を提供する。これは、目標が静的な入力ではなく、システムの組織化を維持しようとする闘争から生じる創発的な特性であることを示唆している。
• オープンエンドAIに対して: 最先端のAIにおけるトレンド（自動発見のためのオープンエンドな進化原理の利用）と合致しており、これらのメカニズムが単なるエンジニアリングの道具ではなく、複雑で適応的なシステム（科学そのものを含む）がどのように進化するかという根本的な性質を反映していると論じている。

著者らは、彼らの熱力学的説明は人間レベルのエージェンシーの完全な理論というよりは「必要な前提条件」であるが、目標や報酬がいかにして第一原理から生じるかを説明しようとする、エージェンシーの形式的理論のための不可欠な基礎を提供するものであると結論づけている。