📊 statistics

Auditing the Risk Claims of Distributional Reinforcement Learning

本論文は、学習済み分布強化学習エージェントによるリスク感受性の主張は、環境の確率性（stochasticity）を正確に反映したものではなく、その大部分が構造的な学習の副産物（artifact）であり、それゆえに彼らのリスクに関する助言は情報価値がなく、しばしば意思決定に有害であることを示す監査フレームワークを提示するものである。

原著者： Hari Prasad

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hari Prasad

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、単に得点を予想するだけでなく、起こりうる未来の「全範囲」を予測できる、超スマートなロボットゲーマーを構築したと想像してください。それは、単に「雨が降るかもしれない」と言うだけでなく、どこに雨が降り、どの程度の強さで当たり、どこから太陽が顔を出すかを詳細な地図として描く気象予報士のようなものです。このロボットは分布強化学習（Distributional Reinforcement Learning）エージェントと呼ばれ、リスク愛好家の最高の相棒となるよう設計されています。平均スコアが同じであっても、ある動きが安全で退屈な賭けであり、別の動きが派手なギャンブルであることを見分けるように設計されているのです。

しかし、ここにひねりがあります。このロボットの「リスクマップ」の大部分は、幻覚なのです。

大規模監査

この論文の著者たちは、探偵のような役割を果たしました。彼らはシンプルな問いを投げかけました。「このロボットが『おい、この動きはリスクが高いが、あちらは安全だ』と主張するとき、それは真実を言っているのだろうか？」と。

これを確かめるために、彼らは単にロボットの言葉を信じることはしませんでした。彼らは「真実を判定する機械」を構築しました。ゲームの世界のスナップショットを取り、時間を凍結させ、その後、同じ瞬間を異なるランダムシード（何度もサイコロを振るようなもの）を用いて何千回もリプレイし、実際に何が起こるのかを観察しました。そして、ロボットの華やかな予測と、この膨大な量の現実世界のデータを比較したのです。

衝撃的な結果：「リスク」の40%から95%は偽物

この監査により、重大な問題が明らかになりました。テストされたゲーム（クラシックなアーケードゲームのミニ版であるMinAtar）において、ロボットが「リスクがある」と主張した内容の40%から95%が、完全に嘘であったのです。

このように考えてみてください。ロボットが廊下に立って、二つのドアを指差しています。そして叫びます。「ドアAは安全だ！ドアBは罠だ！」しかし、監査官がそのドアを蹴り開けて2,000回走り抜けてみたところ、どちらのドアも全く同じ部屋に通じていたのです。ロボットは違いを見ていたのではなく、ただ作り上げていただけでした。

「トップ」の主張ほど最悪だった： ロボットがリスクの違いについて自信を持てば持つほど、その主張が嘘である可能性が高くなりました。最も「リスクが高い」とされる上位2%の瞬間において、最大で**95%**の主張が否定されました。
単なる一時的な不具合ではない： これはロボットが疲れている時や学習中の時に起こるバグではありません。著者たちは、ロボットの成長のさまざまな段階でチェックを行いました。偽のリスク主張は、学習開始からわずか50万ステップで完全に形成されており、ロボットがゲームにおいて2倍上手くなったとしても、その状態は変わりませんでした。
ゲームのせいでもない： ロボットはトリッキーなゲームに混乱していたわけではありません。著者たちが、リスクが明確に定義された特別なカスタムゲーム（「RISKYGRID」）でテストしたところ、ロボットは**96〜100%**の確率で正解を出しました。これは、ロボットはリスクを見ることができるものの、実際のアーケードゲームにおいては、幽霊を見ているのだということを証明しています。

なぜこのようなことが起こるのか？

論文では、人々が推測するであろういくつかの可能性を排除しています。

ロボットがゲームを「下手」だからではない： 1,000万フレームのデータで訓練された、ほぼ完璧に近い事前学習済みのロボットでさえ、同じ罠に陥りました。
ロボットが「較正不足（キャリブレーション不足）」だからでもない（例：常に5度ずれている温度計のような状態）： もし「較正」によってロボットを修正しようとした場合、テストに合格させる唯一の方法は、ロボットに何も言わせないことでした。ロボットは単に少し間違っているのではなく、**無情報（uninformative）**なのです。それは、激しく回転するコンパスのようなものです。単に北を指すように調整すれば済む問題ではなく、そもそも磁気を感じ取る能力がないのです。
データの不足ではない： ロボットは何千もの例を見てきましたが、学習した「リスク」は、ゲーム自体の特徴ではなく、その「訓練方法」によって生じた構造的なアーティファクト（人工的な産物）でした。

危険性：嘘に基づいて行動すること

ここからが恐ろしい部分です。もしあなたが、このロボットのアドバイスを使って意思決定を行う人間プレイヤーだとしたら、窮地に立たされることになります。

あるゲーム（Breakout）では、ロボットのアドバイスは実際に役に立ちました。
しかし別のゲーム（Seaquest）では、そのアドバイスに従うと、リスクを完全に無視した場合よりも3倍も成績が悪化しました。
そして3つ目のゲーム（Asterix）では、コイン投げ（運任せ）と同じレベルでした。

最悪なのは、どのゲームがどれに該当するかを判別する方法がないことです。ロボットは「リスクスコア」を提示しますが、そのスコアは、そのアドバイスが命の恩人になるのか、それとも死への宣告になるのかについて、何も教えてくれません。それは、時に竜巻を予測し、時に晴天を予測する天気アプリのようなものですが、そのアプリは、どちらの予測が現実であるかのヒントを一切与えてくれないのです。

結論

この論文は、テストされたロボットにとって、彼らが見ている「リスク」とは訓練のアーティファクト、つまり機械の中に潜む幽霊であると結論付けています。それは、ロボットが自身の数学的計算によって描き出したパターンであり、世界が実際にそのように危険であるからではありません。

著者たちは非常に明確に述べています。ロボットのリスクマップを額面通りに信じてはいけません。 もし、自動運転車のような安全性が極めて重要なタスクにこれらのエージェントを使用したいのであれば、まず監査を行う必要があります。それまでは、ロボットの「リスク」は、非常に説得力があり、非常に自信満々な嘘に過ぎないのです。

技術要約：分布型強化学習におけるリスク主張の監査

問題提起

分布型強化学習（Distributional RL）は、スカラー値関数を完全なリターン分布（ $Z^\pi(s, a)$ ）に置き換えるものである。これらの分布は、最先端の性能を牽引し、解釈性やリスク感受性制御（CVaRなど）、安全性モニタリングへの活用が進んでいるが、しばしば「額面通り」に読み取られている。その核心的な仮定は、「ある行動の学習された分布が別の行動と形状が異なる場合（例：平均は等しいが、安全な小さなリターンを約束するものに対し、ギャンブル的なものを示す場合）、環境には実際にその特定のリスク構造が存在する」というものである。

しかし、理論的研究によれば、これらの分布は真のリターン分布と一致する必要はない（例：Quantile TD学習は非一意な固定点に収束する）。さらに、分布型手法は平均のみを利用する場合でも性能を向上させることが多く、これは学習された分布が事実として正確ではなくとも、有用な表現である可能性を示唆している。特定された決定的なギャップは、直接的な測定の欠如である：訓練された分布型エージェントが行う特定の「リスク主張」は真実なのか？ 集約的なダイバージェンス指標では、意思決定に影響を与えるエラーとそうでないエラーを区別できない。本論文はこの問いに取り組む。すなわち、訓練されたエージェントの「頭の中」に反映されている「リスク」は、真の環境特性なのか、それとも学習のアーティファクト（人工物）なのか、という問いである。

手法

著者らは、スクリーニング指標、グラウンドトゥルース（真の分布）の生成、および誤った結論を避けるための統計的ハネス（仕組み）を組み合わせた、意思決定に関連する監査フレームワークを提案している。

1. 意思決定に関連する監査指標

監査は、与えられた状態 $s$ において、平均リターンによってランク付けされた上位2つの行動間の超過ワッサーシュタイン・ギャップ（ $\Delta_x(s)$ ）に焦点を当てる。
$\Delta_x(s) = W_1(Z(s, a_1), Z(s, a_2)) - |\mu_1(s) - \mu_2(s)|$
ここで、 $W_1$ は2つの行動の分位点表現間の1-ワッサーシュタイン距離であり、 $\mu$ はそれらの平均リターンを表す。

意義: $\Delta_x(s) > 0$ が発生するのは、いずれの行動も他方を一次確率優越（first-order stochastically dominate）しない場合に限られる。これは、リスク感受性ポリシーが平均貪欲（mean-greedy）ポリシーから逸脱する際の正確な条件である。したがって、 $\Delta_x$ は意思決定の内容を伴う主張を抽出する。

2. スナップショット・リスタート・モンテカルロによるグラウンドトゥルース

主張を検証するために、著者らは以下の手順でグラウンドトゥルースを生成する：

学習済みエージェントからユニークな状態を収集する。
これらの状態における環境のディープコピー（スナップショット）を保存する。
各スナップショットから、各行動に対して2,000回のロールアウトを実行する。この際、特定の行動を強制し、終了まで貪欲ポリシーに従う。
極めて重要な点として、各リスタートされたコピーは**独立して再シード（reseeded）**される。これにより、ロールアウトが同一の未来を再生するのではなく、真の環境の確率性（アレオリックな不確実性）を捉えることを保証する。

3. 統計的ハネス

監査が誤った結論を捏造することを防ぐため、著者らは以下を採用している：

置換ヌル（Permutation Nulls）: 単一の行動のロールアウトを分割することで、推定ノイズのベースラインを確立する。
ブートストラップ反証: 学習された $\Delta_x(s)$ が、モンテカルロ（MC）超過分布の97.5パーセンタイルを超えた場合、その主張は反証される。
FDR制御: 状態全体にわたって偽発見率（False Discovery Rate）を制御するために、ベンジャミニ・ホッホバーグ法を用いる。
エイリアシング指数: 部分観測性が真の環境状態を隠蔽している可能性のある状態をフラグ立てするための指標。

4. 沈黙の落とし穴への対処

本論文は、リスタートに基づく評価において、以前に「説得力はあるが誤った監査」を生み出していた2つの具体的な失敗モードを記録している：

P1 (RNG クローニング): 環境に対して deepcopy を使用すると、内部の乱数生成器（RNG）もクローンされることがあり、「ランダムな」ロールアウトが同一の未来を再生してしまう。これは偽の決定論的な感覚を生む。
P2 (経験的ワッサーシュタイン・ノイズフロア): 同一の分布からの有限サンプルに対して、経験的ワッサーシュタイン距離は非ゼロの値（ $O(n^{-1/2})$ ）に収束する。ナイーブな閾値設定は、純粋なノイズをリスクのトレードオフとして「確認」してしまう可能性がある。監査は、状態ごとのヌルに対抗して較正を行う。

主な結果

1. 最も強い主張はほとんどが偽である

MinAtar（Breakout, Seaquest, Asterix）におけるQR-DQN, C51, IQN、およびフルAtariにおける学習済みSB3-zoo QR-DQNにわたる結果：

反証率: エージェント自身のリスクランキングの上位2%（実務家が最初にフラグを立てるであろう状態）において、40〜95% の主張されたリスクトレードオフが95%の信頼区間で反証された。
確認の不在: 735の状態を監査した結果、FDR補正後、実質的に確認可能な主張は存在しなかった。
真実盲目な識別不能性: 最も強い主張の配置は、「真実盲目なヘッド」（主張の大きさは維持されるが、状態にはランダムに割り当てられるもの）と統計的に区別がつかない。学習された超過量と真の超過量の相関はほぼゼロ（ $r \approx 0.02$ ）である。

2. アーティファクトの構造的性質

早期形成: 過剰主張のアーティファクトは、500kステップの学習段階ですでに形成されており、エージェントのスコアが2倍になっても持続する。
シード固有性: 特定の偽の主張は、各乱数シードに固有であり、最終的なパフォーマンスとは無相関である。
運命づけられた状態: ボールが取り返しのつかない状態（すべての未来が同じリターンをもたらす状態）においても、エージェントのヘッドは依然として高い $\Delta_x$ を持つ、幅広く交差する分布を報告している。

3. 意思決定レベルの影響

エージェントのCVaRのアドバイスに従って行動した場合、結果は混合しており、予測不可能である：

Breakout: アドバイスは実際に有益である（平均貪欲の場合の44%に対し、81%でより安全な選択となる）。
Seaquest: アドバイスは**逆予測的（anti-predictive）**であり、真に安全な行動を選択できるのはわずか24〜34%であり、リスクを無視する場合よりもレグレット（後悔）が3倍になる。
Asterix: アドバイスは実質的にコイン投げと同等である。
実務家がどのレジームにいるかを判断するための信号は観察されない。

4. 修復の失敗

標準的な対策は問題の解決にならない：

リスク感受性学習: CVaR貪欲になるよう訓練されたエージェントでも、同様の過剰主張のシグネチャが見られる。
アンサンブル: 分位点関数の平均化はアーティファクトを減衰させるが、トップの主張を較正することはない。
再較正（Recalibration）: 再較正は、主張を無効化（ノイズへと崩壊）させることでのみ監査を通過する。これは、ヘッドが単に較正ミスしているのではなく、**情報を持たない（uninformative）**ことを証明している。

5. ポジティブコントロール

監査自体が壊れていないことを確認するため、著者らは既知のリスクトレードオフを持つ環境である RISKYGRID でテストを行った。

監査は、実在する主張の96〜100%を高い相関（ $r \approx 0.92$ ）で正しく確認した。
これにより、監査がエージェントの「リスクを捉えられない能力」を測定しており、監査手法の失敗や、MinAtarにおける小さな効果サイズによるものではないことが証明された。

意義と主張

著者らは、テストされたエージェント（QR-DQN, C51, IQN）について、学習された「リスク」は環境の確率性ではなく、構造的な学習アーティファクトを反映していると結論付けている。

リスクの「勝者の呪い」: エージェントがリスクトレードオフについて最も自信を持っている状態（高い $\Delta_x$ ）こそが、まさに主張の信頼性が最も低い状態である。
情報の乏しいヘッド: 分布型のヘッドは、単に較正が不適切なだけでなく、リスク構造に関して情報を与えない。これらは、アレリックな不確実性とエピステミックな不確実性を混同し、偽のリスク信号を生み出している。
実務への示唆:
1. 解釈性: 可視化されたリターン分布は、グラウンドトゥルースによる検証なしには信頼すべきではない。
2. 安全性と制御: 生の分位点ヘッドから導出されたリスク感受性ポリシーは、決定的な状態で偽のリスクに基づいて行動し、平均貪欲なベースラインよりも悪い結果を招く可能性がある。
3. 今後の研究: 不確実性やリスクを推定すると主張するあらゆる手法は、意思決定レベルの監査によって評価されなければならない。著者らはツールキットを公開しており、標準を提示している。監査を通過するヘッドとは、そのトップの主張を裏付けられるものである。

著者らは謙虚な姿勢を強調している。彼らの主張は、特定のアルゴリズムと環境（MinAtar、特定のAtariシード）を対象としたものである。他の較正されたバリアントや、異なる条件下（フルスケールでのスティッキーアクションなど）で訓練されたエージェントについては、さらなる検証が必要であることを認めているが、現在の証拠は、標準的な分布型強化学習における「リスク」の大部分は学習プロセスのアーティファクトであることを示唆している。