Optimal strategies in Markov decision processes with finitely additive evaluations

この論文は、時間価値の原理を満たさない拡散測度を用いた評価を行う無限時間マルコフ決定過程において、最適戦略（純粋戦略・混合戦略のいずれも）が存在しないことを反例によって示すものである。

要約

この論文は、**「未来をどう評価するかによって、最善の選択が変わり、場合によっては『最善の選択』そのものが存在しなくなる」**という、一見すると不思議な数学的な発見について書かれています。

専門用語を排し、日常のたとえ話を使って解説しましょう。

1. 物語の舞台：「無限に続くゲーム」

まず、この研究の舞台は「マルコフ決定過程（MDP）」というものです。これを**「無限に続くボードゲーム」**と想像してください。

• プレイヤー：あなた（意思決定者）。
• 状況：ゲームは「ステージ 1, 2, 3...」と永遠に続きます。
• 行動：各ステージで、あなたは「上（T）」か「下（B）」のどちらかを選びます。
• 報酬：選んだ行動によって、その瞬間に「1 点」か「0 点」もらえます。
• ゴール：ゲームが終わらないので、「合計点」を計算できません。代わりに、**「長い時間をかけた平均的な得点」**を最大化したいと考えます。

2. 従来の考え方：「時間価値の原則」

これまでの研究（Neyman 氏など）では、**「時間価値の原則」というルールが前提でした。
これは、「今の 1 点は、将来の 1 点より少しだけ価値がある」**という考え方です（例：今もらう 1 万円は、100 年後の 1 万円より価値がある）。

このルールがある限り、どんなゲーム盤面でも**「常に同じ行動を選ぶ（例：いつも『上』を選ぶ）」という「最善の戦略」が必ず存在する**ことが証明されていました。つまり、プレイヤーは「迷わずに、この行動を貫けば OK」と安心できました。

3. この論文の発見：「最善の選択」が消える世界

しかし、この論文の著者たちは、「時間価値の原則」を無視した、もっと奇妙な評価方法を提案しました。

例え話：「奇数日の評価」と「偶数日の評価」の戦い

想像してください。あなたがゲームをする際、評価する人が二人いて、それぞれが**「全く異なるルール」**であなたの成績を採点するとします。

1. 評価者 A（奇数派）：「1 日目、3 日目、5 日目...（奇数日）の成績しか見ない！」
2. 評価者 B（偶数派）：「2 日目、4 日目、6 日目...（偶数日）の成績しか見ない！」

そして、あなたの最終スコアは、「A の評価」と「B の評価」を 50:50 で足し合わせたものになります。

ゲームの仕組み（「偶数か奇数か」ゲーム）：

• 奇数日に「上（T）」を選べば、その日は 1 点、次の日（偶数日）は 0 点。
• 奇数日に「下（B）」を選べば、その日は 0 点、次の日（偶数日）は 1 点。
• つまり、**「今 1 点もらうなら、次は 0 点。今 0 点なら、次は 1 点」**というジレンマがあります。

何が起きるのか？

• A さん（奇数派）を喜ばせたいなら：奇数日に「上（T）」を連打して、奇数日に 1 点を取り続けます。

  • 結果：A さんの評価は最高（1 点）ですが、偶数日は 0 点なので、B さんの評価は 0 点になります。
  • 総合スコア：0.5 点。

• B さん（偶数派）を喜ばせたいなら：奇数日に「下（B）」を選んで、偶数日に 1 点を取り続けます。

  • 結果：B さんの評価は最高（1 点）ですが、奇数日は 0 点なので、A さんの評価は 0 点になります。
  • 総合スコア：0.5 点。

• 両方をバランスよく取ろうとすると？

  • 「奇数日はたまに上、たまに下」と混ぜて、両方の評価を 0.5 ずつにしようとすると、総合スコアは 0.5のままです。

ここがミソです！
著者たちは、この評価ルールを**「数学的に非常に巧妙に（かつ不自然に）組み合わせた」**ことで、以下のような現象を引き起こしました。

「どんな戦略を選んでも、スコアを 1 にすることは不可能だ。しかし、0.99 に近づける戦略は無限にある。だから、0.99999... と限りなく 1 に近づけられるが、決して 1 には届かない」

4. 結論：「最善の戦略」は存在しない

これがこの論文の核心です。

• 通常の世界：「最善の戦略」は必ず存在します（例：「いつも上を選べば OK」）。
• この論文の世界：「最善の戦略」は存在しません。

なぜなら、「1 点」に限りなく近づける戦略は無限にありますが、その「1 点」を達成する戦略は一つもないからです。
まるで、**「ゴールラインに限りなく近づけるが、決してゴールインできない走者」**がいるようなものです。

• 戦略 A を選べば、少し改善できます。
• 戦略 B を選べば、さらに改善できます。
• しかし、どれを選んでも「これ以上ない最善」という状態には到達できません。

5. 私たちへの教訓

この研究は、**「評価の基準（ルール）が少し変わっただけで、最適解の概念そのものが崩壊する」**ことを示しています。

• ビジネスや政策への応用：
  「長期的な利益」をどう定義するかによって、最適な判断が全く変わってしまう可能性があります。特に、「今すぐの利益」と「将来の利益」をどうバランスさせるか（評価の重み付け）を曖昧にすると、「正解」と呼べるような明確な指針が存在しなくなるリスクがあるのです。

• 哲学的な視点：
  私たちは「最善の選択」があることを前提に生きていますが、この論文は**「評価の枠組みが複雑すぎると、最善という概念自体が消えてしまう」**という、少し不気味で興味深い可能性を提示しています。

まとめ

この論文は、**「無限に続くゲームにおいて、評価のルールを『時間価値』から外れた奇妙な形にすると、プレイヤーは『最善の戦略』を見つけることが永遠にできなくなる」**という、数学的なトリック（そしてその証明）を明らかにしたものです。

「正解」がない世界は、一見すると絶望的ですが、数学の深遠さと、評価基準の重要性を痛感させる素晴らしい発見だと言えます。

技術概要

1. 問題設定 (Problem)

• 対象モデル: 状態空間と行動空間が有限である無限 horizon のマルコフ決定過程（MDP）。
• 評価基準の革新: 従来の MDP では、割引総報酬や長期平均報酬が一般的ですが、本論文では、段階ごとの期待報酬の無限列を、**拡散チャージ（diffuse charge）**と呼ばれる有限加法性確率測度 $\mu$ によって集約し、一つの数値（利得）として評価します。
  • 拡散チャージ: 自然数集合 $\mathbb{N}$ 上の有限加法性確率測度であり、任意の単一要素 $n$ に対して $\mu(\{n\}) = 0$ となるもの（つまり、どの時点も重みゼロを持つ）。
• 核心的な問い:
  • 従来の研究（Neyman [2023]）では、チャージが「貨幣の時間価値の原理（time value of money principle）」を満たす場合、純粋な定常戦略（pure stationary strategy）が存在し、それが最適であることが示されていました。
  • しかし、この原理を満たさない一般的な拡散チャージの場合、最適戦略（純粋戦略も含め、ランダム化戦略も含む）が常に存在するかどうかは未解決でした。
  • 本研究は、この問いに対して「存在しない」という反例を示すことを目的としています。

2. 手法とモデル (Methodology & Model)

• 数学的枠組み:
  • ZFC 公理系を仮定。
  • 集約には、自然数集合上の有限加法性確率測度（チャージ）$\mu \in \Delta_f$ を使用。特に、単一要素の測度が 0 である「拡散チャージ」$\mu \in \Delta_d$ に焦点を当てます。
  • 利得の定義: 戦略 $\sigma$ に対する利得 $u_\mu(\sigma)$ は、各段階 $t$ の期待報酬 $E_\sigma[r_t]$ をチャージ $\mu$ に対して積分した値として定義されます。
    $$u_\mu(\sigma) := \int_{t \in \mathbb{N}} E_\sigma[r_t] \, \mu(dt)$$
• 対照となる結果（Neyman [2023]）の再確認:
  • チャージが特定の条件（式 (2) を満たす、すなわち頻度チャージの上下限の間に収まるもの）を満たす場合、決定者はすべてのそのようなチャージに対して最適となる「純粋な定常戦略」を持ちます。
• 反例の構築（Even-or-Odd MDP）:
  • 最適戦略が存在しないことを示すために、著者らは「偶数か奇数か（Even-or-Odd）」と呼ばれる特定の MDP を構築しました。
  • MDP の構造:
    • 状態: $\{1, 2, 3\}$。初期状態は 1。
    • 状態 1 での行動: $T$（報酬 1、次は状態 2）または $B$（報酬 0、次は状態 3）。
    • 状態 2: 報酬 0、次は状態 1。
    • 状態 3: 報酬 1、次は状態 1。
    • 転移は決定論的。
    • 直感的には、奇数段階で「今 1 を得て次 0」か「今 0 を得て次 1」かを選択するジレンマが生じます。
  • チャージ $\mu$ の巧妙な構成:
    • 頻度チャージ $\phi$ を基底として、2 つの異なるチャージ成分 $\mu_0$ と $\mu^*$ を定義し、それらの凸結合 $\mu = \frac{1}{2}\mu_0 + \frac{1}{2}\mu^*$ として最終的な集約チャージを定義します。
    • $\mu_0$: 奇数段階に集中するチャージ。
    • $\mu^*$: 偶数段階（より具体的には $2^n$ の倍数の集合列の極限）に集中するチャージ。
    • この構成により、$\mu_0$ に対しては行動 $T$ を頻繁に選ぶことが有利ですが、$\mu^*$ に対しては行動 $B$ を特定の頻度で選ぶことが有利になり、両者を同時に最適化することが不可能なように設計されています。

3. 主要な貢献と結果 (Key Contributions & Results)

• 主定理（Theorem 3）:

  • 上記で構築された「Even-or-Odd MDP」において、最適戦略は存在しないことを証明しました。
  • ここで「最適戦略」とは、純粋戦略（Pure）だけでなく、ランダム化戦略（Randomized）も含みます。
  • 証明の要点:
    1. 値（Value）の決定: この MDP の価値 $v_\mu$ は 1 であることが示されます（任意の $\epsilon > 0$ に対して、$1-\epsilon$ に近い利得を与える戦略が存在する）。
    2. 最適性の否定: 任意の戦略 $\sigma$ に対して、利得 $u_\mu(\sigma)$ は厳密に 1 未満であることを示します。
       • 仮に利得が 1 になると仮定すると、期待報酬が $1/2$を超える段階の集合$W$について$\mu(W)=1$ となる必要があります。
       • しかし、$\mu_0$ と $\mu^*$ の定義と性質（特に $\mu^*$ が $\mu_n$ の集積点であること）を用いると、$W$ が $\mu_0$ と $\mu^*$ の両方で測度 1 を持つことは矛盾を導くことが示されます。
       • 具体的には、$T$ を選んだ場合と $B$ を選んだ場合の報酬の和が常に 1 になる構造上、連続する 2 段階で両方とも期待報酬が $1/2$ を超えることは不可能であり、これがチャージの性質と衝突します。

• 補足的な知見:

  • 定常戦略の非存在: 最適戦略が存在しないだけでなく、特定のチャージに対しては「純粋戦略は存在するが、定常戦略は存在しない」というケースも示されています（Example 4）。
  • 非拡散チャージの場合: 集約チャージが拡散でない場合（確率測度の凸結合で、可算加法性の部分が正の重みを持つ場合）でも、最適戦略が存在しない例（Example 5）が示されています。これは割引総報酬と長期平均報酬の混合評価において、遅延させることで損失を最小化しようとするが、いつ行動を変えるべきか決定的なタイミングが存在しない状況に対応します。

4. 意義 (Significance)

• 理論的限界の明確化:
  • MDP 理論において、「有限状態・行動空間」という非常に一般的な仮定の下でも、評価基準（集約チャージ）の選び方次第で、最適戦略が存在しないことがあり得ることを初めて示しました。
  • Neyman [2023] の結果が「貨幣の時間価値の原理」を満たすチャージに依存していることを再確認し、その仮定を外した際の脆弱性を露呈させました。
• 戦略の複雑性:
  • ランダム化戦略を含めても最適解が存在しないという結果は、無限 horizon の決定過程における最適性の概念の深さと、有限加法性測度の非直感的な性質（特に、極限操作と積分の順序、あるいは集積点の性質）が戦略の存在性に決定的な影響を与えることを示唆しています。
• 応用への示唆:
  • 長期計画や経済モデルにおいて、特定の時点に重みをつけない（拡散的な）評価基準を用いる場合、決定者が「最適」な方策を一意に定式化できない可能性があることを警告しています。これは、AI の意思決定システムや経済政策の設計において、評価関数の設計が極めて重要であることを浮き彫りにします。

結論

本論文は、有限加法性測度を用いた MDP 評価において、最適戦略の存在が保証されないことを示す強力な反例を提示しました。これは、従来の MDP 理論が暗黙に仮定していた「最適戦略の存在」が、評価基準の数学的性質（特に有限加法性と拡散性）に強く依存していることを明らかにし、決定理論の基礎的な理解を深める重要な貢献です。