Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form Analysis

ロボットが歩き方を学ぼうとしている場面を想像してみてください。そのロボットには、どの筋肉を収縮させるかを決定する「脳（アルゴリズム）」がありますが、カメラは自分の足元しか映せないほど小さく、足の下にある地面や、自分を押し返す風の存在は見えていません。これが**強化学習（Reinforcement Learning）**の世界です。ここでは、マシンは試行錯誤を通じて、最高のスコアを得る方法を学びます。通常、これらのロボットが失敗する場合、私たちは彼らが「盲目」であるためにタスクが不可能になっているのだと仮定します。つまり、正しい動きを理解するために十分な情報が見えていないのだと考えます。これを「ポリシー・ギャップ（方策の差）」と呼びます。これは、ロボットの脳が完璧な解を保持するには単純すぎるという考え方です。

しかし、もう一つ、より巧妙な失敗の原因があります。たとえロボットが完璧な動きを理解できる能力を持っていたとしても、その「学習のさせ方」がロボットを欺いてしまう可能性があるのです。ロボットは、見えているものに基づいて状況がどれほど良いかを推測しなければなりません。もし全体像が見えていないと、その推測に偏り（バイアス）が生じます。実際には安全な状況なのに危険だと判断したり、その逆だったりすることがあります。これが「ラーニング・ギャップ（学習の差）」です。それは、ロボットが賢くなれないということではなく、先生（学習アルゴリズム）が間違った宿題を与えているということなのです。この論文は、非常にシンプルな問いを投げかけます。「ロボットが部分的に盲目である世界において、問題はロボットの理解力が足りないことなのか、それとも学習手法そのものが壊れていることなのか？」

---

目隠しをしたドライバーと間違った地図

凸凹道で車を操縦しようとしているドライバーを想像してください。ドライバーは車のすぐ目の前にある道路（「観測された状態」）は見ることができますが、数秒後にやってくる路面の窪み（「観測されていない状態」）は見ることができません。車のサスペンションはこれらの隠れた窪みに反応して、車を跳ねさせています。

この物語において、ドライバーはアクター（Actor）（ハンドルを切ることを決定する部分）であり、**クリティック（Critic）**はスコアカードをつけ、ドライブがどれほど良いか悪いかを伝える助手席の乗客です。乗客は跳ねている車は見えますが、隠れた窪みは見えていません。

この論文は、非常に具体的で解決可能なバージョンのこの問題を設定しています。車は、隠れた窪みが予測可能な数学的ルールに従って車を揺らすトラックの上にあります。ドライバーには、「車が跳ね上がったら、ハンドルを押し下げろ」という単純なルールが許されています。このルールは十分に単純であり、もしドライバーが「真実のすべて」を知っていれば、完璧なステアリング角度を計算できるものです。実際、完璧なステアリング角度は、すべてを見通せる最高のドライバーと比較しても、わずか**10.4%**程度しか劣っていません。つまり、「ポリシー・ギャップ」（ドライバーが表現できる限界）は小さいのです。ドライバーは、ほぼ完璧になれるはずなのです。

しかし、ここにひねりがあります。ドライバーが標準的な「アクター・クリティック（Actor-Critic）」法を用いて実際に学習しようとすると、その優れた解にたどり着けません。代わりに、彼らは、本来できたはずの最高の結果よりも35%も悪い、ひどい解へと墜落してしまいます。

なぜ乗客は嘘をつくのか

なぜ学習は失敗するのでしょうか？ 論文は、それがドライバーが愚かだからではないことを示しています。問題は、乗客（クリティック）がドライバーに嘘をついているからです。ただし、意図的に嘘をついているわけではありません。

乗客は車が跳ねているのを見ています。彼らは、隠れた窪みのせいで車が跳ねていることは分かっていますが、窪み自体は見えていません。彼らが見えるのは車だけです。彼らにとって、この跳ね上がりは、予測不能で荒れ狂う嵐のように見えます。乗客は、車の位置のみに基づいてスコアカードを書かなければならないため、なぜ車がこれほど激しく跳ねているのかを説明しなければなりません。

「ああ、これは路面の窪みのせいだ」と言うことができないため、彼らは車の位置そのもののせいにしてしまいます。彼らはこう結論づけます。「わあ、この車は本当に不安定な場所にいる！ ここからほんの少し動くだけで、価値が急激に下がるはずだ」。彼らは、安全の「谷」が極めて深く、狭いものであるという地図を描き出します。

この地図を信じたドライバーは、「大変だ！ この小さな安全なスポットに留まるために、強く、素早くハンドルを切らなければならない！」と考えます。そして、ドライバーはステアリングを最大限に回してしまいます。その結果、彼らは実際に必要な量の15倍もの「ゲイン（ステアリングの感度）」で運転することになります。彼らは、地図が示しているほど恐ろしくはない嵐に対して、過剰に修正を行ってしまうのです。

論文はこの現象を正確に計算しています。ドライバーが学習を止めるべき地点において、乗客の地図が示す「曲率（谷がいかに急峻か）」は16.7です。しかし、もし彼らが世界のすべてを見通せていた場合の真の曲率は、わずか1.11です。地図は15倍も急峻なのです！ ドライバーはこのエラーに従い続け、クラッシュへと突き進みます。

先を見通すことの魔法

では、悪い地図を持つ乗客に騙されているドライバーを、どうすれば直せるのでしょうか？ 論文は、調整すべき非常に具体的な「つまみ」を見つけ出しました。

多くの学習アルゴリズムにおいて、乗客は単に「次のステップ」を見るだけでなく、スコアがどのように変化するかを見るために、もう少し先の未来を見通します。これはブートストラップ・ホライゾン（bootstrap horizon）（または $\lambda$ パラメータ）と呼ばれます。

• もし乗客がわずか一歩先しか見ない（短いホライゾン）場合、彼らは間違った急峻な地図を手に入れ、ドライバーはクラッシュします。
• もし乗客が十分に先を見通す（具体的には、隠れた窪みが影響を及ぼす時間をカバーできるほど長く見る）ことができれば、地図は自らを修正します。

論文は、この「先を見通す時間」を隠れた窪みの「記憶」に一致させれば、ドライバーは完璧な地点で停止することを示しています。それは、乗客に対して「今なぜ車が跳ねているのかを推測するだけでなく、しばらく様子を見なさい。もし跳ね続ければそれは路面のせいだ。もし止まったなら、それはただの一時的な衝撃だったのだ」と教えるようなものです。

ディープラーニングの驚き

著者は単に数式上の計算を行っただけではありません。彼らはこれを現代的なディープ強化学習（Deep Reinforcement Learning）（ビデオゲームなどで使われるAI）を用いてテストしました。彼らは、AIに過去32フレームのビデオを見せることで「記憶」を与え、これにより隠れた窪みを見通せるようになることを期待しました。

ここで驚くべき結果が出ました。AIに記憶を与えても、効果はありませんでした。
たとえビデオの履歴があったとしても、もし「先を見通す（look-ahead）」つまみが正しく設定されていなければ、AIは依然としてクラッシュしました。AIが高度な脳を持っていようが、記憶のバンクを持っていようが関係ありません。学習ルール（乗客の地図）にバイアスがあれば、AIはそのバイアスに従ってしまうのです。
しかし、彼らが「先を見通す」つまみを正しい設定に切り替えると、記憶がなくても、AIは優れた解を見つけ出すことができました。

論文は他のいくつかのアイデアも排除しました。例えば、AIがもっと「探索（ランダムな動きを試すこと）」をすれば解決するのではないか、という点です。彼らはランダムなノイズの量を一定に保ちましたが、問題は解決しませんでした。問題は依然として、先を見通す設定にありました。また、学習を早めに終了させればよいのかについても検討しましたが、数学的には、これはタイミングの問題ではなく構造的な問題であることが示されました。

結論

この論文の主な教訓は、AIに対する一般的な考え方に衝撃を与えるものです。私たちはしばしば、部分的な観測（盲目であること）の原因を、AIの脳が過去を記憶するのに十分な複雑さを持っていないこと（記憶力の不足）に求めがちです。しかし、この論文はこう言っています。「いいえ、脳は問題ありません。」 問題は、学習アルゴクションが、目に見えるノイズを信号と誤認し、過剰反応を促すような偽の危険信号を作り出してしまうことにあります。

解決策は、必ずしもAIに大きな脳や優れた記憶を与えることではありません。AIが、一時的な不具合と本当の問題を区別できるよう、「先を見通すホライゾン」を調整することです。この一つのつまみを正しく設定すれば、たとえ盲目であっても、AIは正しい道を学ぶことができます。もし設定を間違えれば、どんなに賢いAIであっても、世界を救っていると信じ込みながら、自ら崖へと突き進んでしまうのです。