🤖 machine learning

Streaming Reinforcement Learning under Partial Observability with Real-Time Recurrent Learning

本論文は、線形複雑性で正確なリアルタイム再帰学習を可能にする対角再帰アーキテクチャである再帰的トレースユニットを導入し、これによりストリーミング強化学習エージェントがリプレイバッファやバッチ更新に依存することなく、部分的観測性と長期的依存関係を効果的に処理することを可能にする。

原著者： Noah Farr, Aryaman Reddi, Carlo D'Eramo, Jan Peters

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Noah Farr, Aryaman Reddi, Carlo D'Eramo, Jan Peters

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに迷路のナビゲーションを教えようとしていると想像してください。ただし、2 つの非常に厳格なルールがあります：

ノート禁止：ロボットは過去の経験を見返すことができません。現在の瞬間からのみ学び、直ちにデータを忘却しなければなりません。
目隠し：ロボットは迷路全体を一度に見ることができません。目の前の世界のわずかな断片しか見えないため、現在を理解するには数秒前に何が起こったかを記憶する必要があります。

これが、この論文が取り組む課題です：部分観測性下でのストリーミング強化学習。

以下に、彼らの解決策を簡単なアナロジーを用いて解説します。

問題：「1 ステップ」の記憶のギャップ

現代の AI の多くは、「リプレイバッファ」と呼ばれる巨大なノートを見て学習します。そこには後で研究するために数千の過去の動きが保存されています。しかし、現実世界（自動運転車や工場の床にあるロボットなど）では、それほど多くのデータを保存できないことがよくあります。その場合、一度に 1 ステップずつ「その場」で学習しなければなりません。これをストリーミングと呼びます。

ロボットが「目隠し」状態（部分的に観測可能）にある場合、現在を理解するために過去を記憶する必要があります。通常、AI は過去の履歴を数ステップ遡って見ることでこれを処理します。しかし、過去を保存できない場合、遡れるのは1 ステップだけです。

アナロジー：「今、何が起きているか？」と尋ねるだけで済む謎解きを想像してください。もし必要な手がかりが 10 ステップ前にあった場合、あなたは行き詰まります。この論文ではこれを「1 ステップ勾配ホライズン」と呼び、これが AI に長期的な記憶を必要とするタスクで失敗を引き起こすと指摘しています。

従来の解決策：高価な計算機

RTRL（リアルタイム再帰学習）と呼ばれる数学的手法があり、これならノートなしで完璧にすべてを記憶できます。これは、過去のすべてのステップが現在の瞬間にどのように影響するかを計算します。

問題：この計算を行うのは非常に重荷です。標準的な AI の脳にとって、計算量は雪だるまが雪崩になるように急激に増大し、リアルタイムで実行することは不可能になります。マラソンを走りながら頭の中で数独を解こうとするようなものです。

新しい解決策：「対角」のショートカット

著者たちは、この重たい計算を軽くする巧妙な方法を見つけました。彼らはRTU（Recurrent Trace Units：再帰トレースユニット）と呼ばれる特定の種類のニューラルネットワーク層を使用しました。

アナロジー：標準的な AI の脳を、すべての通りが他のすべての通りにつながる忙しい都市だと考えてください。交通量（勾配）を計算するには、すべての交差点をチェックしなければなりません。
RTU のトリック：RTU は都市のレイアウトを変え、すべての通りが自分自身にしかつながないようにします。これは「対角」の道路システムです。接続が非常に単純なため、計算は高速かつ容易（線形時間）になり、ロボットはノートなしでリアルタイムに完璧な「すべてを記憶する」計算を実行できるようになります。

統合方法

チームは、既存の「ストリーミング」アルゴリズム（1 ステップずつ学習するもの）を採用し、これに特別なRTU層を交換して組み込みました。

結果：ロボットはもはや単一のデータストリームから学習し、イベントの長い連鎖を記憶し、全体像が見えない状況でも何をすべきか判断できるようになりました。

証拠：機能したか？

この論文は、3 種類の課題でこれをテストしました：

「記憶連鎖」テスト：100 ステップ前に与えられた秘密の数字を記憶しなければならないゲームを想像してください。
- 従来のストリーミング AI：約 16 ステップ後に数字を忘れました。
- 新しい AI：64 ステップまで完璧に記憶しました。これは、アーキテクチャだけでなく、「ショートカット計算（RTRL）」が鍵であることを証明しました。
「POPGym」記憶ゲーム：これらは、AI が時間とともにパターンを記憶することを要求する論理パズルです。
- 結果：新しいストリーミング手法は、過去のデータを保存する「ノート」方式（バッチ PPO）と同じように、5 つすべてのパズルを解決しました。
「目隠し」ロボット（MuJoCo）：彼らは、歩行するが自分の速度や位置を見ることができない（記憶に基づいて推測しなければならない）ロボットをテストしました。
- 結果：ストリーミングロボットは歩行を学習し、古いデータを見返すことは決してなかったにもかかわらず、「ノート」を持つロボットのパフォーマンスの大部分を回復しました。

「鮮度低下」の問題（軽微な欠点）

この論文は、小さな副作用も指摘しています。ロボットは移動しながら学習しているため、過去を記憶するために使用する計算はわずかに「鮮度が落ちた」ものになります（地形がわずかに変化しているのに、1 秒前に描かれた地図を読んでいるようなものです）。

彼らはこの「鮮度低下」を測定し、地図をより正確にする数学的な「補正」（テイラー補正）を見つけ、エラーを大幅に減少させました。

まとめ

この論文は、これがすべての仕事に対する絶対的な最良の AI であると主張しているわけではありません。代わりに、特定のギャップを埋めたと主張しています。つまり、記憶のノートを使用せずに、AI に長期的な出来事を記憶させ、「目隠し」状態に対処させることを可能にしたと証明しました。これは、リアルタイムで完璧な記憶を可能にする特殊で軽量な数学的トリック（RTU + RTRL）を使用することで達成されます。

技術的概要：リアルタイム再帰学習を用いた部分観測性下でのストリーミング強化学習

問題定義

ストリーミング強化学習（RL）は、エージェントが各入力サンプルから即座に方策または価値関数を更新し、リプレイバッファを保持したりバッチ更新を使用したりしないオンライン学習パラダイムである。最近の研究では、適性跡（eligibility traces）を用いて完全観測環境における深層関数近似にストリーミング RL を拡張することに成功しているが、これを部分観測環境（POMDP）に拡張することは依然として未解決の課題であった。

部分観測環境では、エージェントは過去の文脈を捉える隠れ状態を維持するために再帰的アーキテクチャに依存しなければならない。しかし、標準的な再帰学習手法はストリーミング設定においてトレードオフに直面する：

切り捨てられた時間方向逆伝播（TBPTT）：単一サンプル更新設定では、TBPTT は 1 ステップの地平線（TBPTT(1)）に縮小する。これでは長期的な時間依存関係に対するクレジット割り当てに不十分な 1 ステップの勾配しか得られない。
リアルタイム再帰学習（RTRL）：RTRL はフォワードモードの勾配を逐次的に維持するため、理論的にはストリーミングに理想的である。しかし、一般的な再帰アーキテクチャ（GRU や LSTM など）の場合、RTRL の計算複雑度は隠れ次元 $n$ に対して 4 乗（ $O(n^4)$ ）にスケールし、計算コストが許容不可能となる。

本論文は、POMDP における長期的なクレジット割り当ての必要性と、ストリーミング更新の計算制約との間のギャップに対処する。

手法

提案手法は、既存のストリーミング RL アルゴリズムに再帰跡ユニット（RTU）と正確なリアルタイム再帰学習（RTRL）を統合する。

コアアーキテクチャ：再帰跡ユニット（RTU）

RTU は対角型で複素数値を持つ再帰アーキテクチャである。一般的な再帰ユニットとは異なり、RTU レイヤは以下のように定義される：
$h_t = \Lambda h_{t-1} + W x_t$
ここで、 $\Lambda$ は複素数成分 $\lambda_k = r_k(\cos \Omega_k + i \sin \Omega_k)$ を持つ対角行列である。各隠れユニットが自分自身にのみ接続される（対角再帰）ため、勾配計算が大幅に簡略化される。この構造により、正確な RTRL をパラメータ数に対して線形な時間およびメモリ複雑度で計算可能となり、標準的な RTRL の $O(n^4)$ というボトルネックを回避する。

ストリーミング RL への統合

著者らは、標準的なストリーミングアルゴリズム（値ベースには QRC( $\lambda$ )、方策ベース制御にはストリーム AC( $\lambda$ )）の観測エンコーダとフィードフォワードヘッド（価値または方策）の間に、単一の RTU レイヤを挿入する。

更新メカニズムは、自然に合成される 2 つの異なる跡を含む：

適性跡（Eligibility Traces）：ストリーミング RL で時間的に勾配を蓄積するために使用される標準的な時間的クレジット割り当て跡（ $z_t$ ）（ $z_t = \gamma\lambda z_{t-1} + g_t$ ）。
RTRL 跡：再帰状態を通じて勾配を伝播させるために RTU レイヤが維持するフォワードモードの感度行列（ $S_t = \partial h_t / \partial \psi$ ）。

勾配計算戦略：

再帰パラメータ（ $\psi$ ）：正確な RTRL 跡 $S_t$ を用いて勾配を計算し、各ステップで前方に更新する。
ヘッドパラメータ（ $w$ ）：時間的依存関係がないため、標準的な逆伝播を使用する。
エンコーダパラメータ（ $\theta$ ）：深層エンコーダを通じて正確な跡を維持することの過剰なコストを避けるため、著者らは1 ステップ近似を使用する。エンコーダは、過去の状態を通じた影響を無視し、現在の隠れ状態への即時的な影響のみに対してクレジットが与えられる。これはストリーミング領域における深層エンコーダにとって必要な近似である。

陳腐化の分析と補正

本論文は、ストリーミング更新下ではパラメータ $\psi$ が各ステップで変化することを認めている。その結果、RTRL 感度行列 $S_t$ は古くなったパラメータで評価されたヤコビアンを蓄積し、「陳腐化（staleness）」を引き起こす。

著者らは、この陳腐化誤差に対する理論的限界を導出し、それがステップサイズとクレジット割り当ての地平線に対して線形にスケールすることを示した。
彼らは、感度更新に対する1 次テイラー補正を提案する。パラメータ更新 $\Delta \psi$ に基づいて即時的ヤコビアンの変化を近似することで、陳腐化誤差を $O(\eta)$ から $O(\eta^2)$ に低減する。

主要な貢献

アルゴリズム：正確な RTRL で訓練された RTU を用いた、部分観測環境向けのストリーミング深層 RL アルゴリズム。リプレイバッファもバッチ更新も不要である。
診断的検証：この組み合わせが、フィードフォワードネットワーク、TBPTT(1) を用いた GRU、または TBPTT(1) を用いた RTU を使用するストリーミングベースラインが崩壊する連鎖長さ（最大 64 ステップ）にわたってクレジット割り当てを維持することを示す MemoryChain 実験。
実証的パフォーマンス：5 つの POPGym メモリタスクと部分観測 MuJoCo 連続制御タスクにおける証拠。ストリーミングアプローチはバッチ PPO と競争力があり、すべての POPGym タスクを解決し、MuJoCo においてバッチパフォーマンスの相当部分を回復した。
陳腐化分析：ストリーミング更新下での RTRL 感度の陳腐化の定量的分析。定常状態の誤差限界を提供し、1 次テイラー補正がこの限界を厳密にする効果を実証する。

実験結果

MemoryChain（クレジット割り当ての地平線）

$L$ ステップ後にバイナリキューを想起するエージェントを必要とする診断タスクにおいて：

ベースライン：フィードフォワードネットワーク、TBPTT(1) を用いた GRU、TBPTT(1) を用いた RTU は、連鎖長さ $L > 16$ でほぼゼロの収益に崩壊した。
提案手法：正確な RTRL を用いた RTU は、 $L=48$ まで高いパフォーマンスを維持し、 $L=64$ まで競争力を保った。これは、アーキテクチャだけでなく、勾配手法（RTRL）がストリーミングにおける長期的なクレジット割り当ての決定的要因であることを確認する。

POPGym（離散メモリタスク）

5 つのタスク（Autoencode, Concentration, CountRecall, HigherLower, RepeatFirst）で評価：

2 つのストリーミング変種（QRC( $\lambda$ )-RTU およびストリーム AC( $\lambda$ )-RTU）が、バッチ PPO-RTU ベースラインと比較された。
2 つのストリーミング手法は相補的であった：QRC( $\lambda$ )-RTU が失敗した 3 つのタスクでストリーム AC( $\lambda$ )-RTU が成功し、その逆もまた然りであった。
結果：合わせて、ストリーミング手法は過去の軌跡を保存することなく、バッチ PPO のパフォーマンスに匹敵しながら、すべての 5 つのタスクを解決した。

Masked MuJoCo（連続制御）

速度または位置がマスクされた移動タスク（Ant, HalfCheetah, Hopper, Walker2d）で評価：

ストリーミング手法（ストリーム AC( $\lambda$ )-RTU）は、いくつかのタスク（例：HalfCheetah-P での一致、Walker2d-V での優位）においてバッチ PPO-RTU と競争力があった。
一部のタスク（例：Walker2d-P）ではバッチ PPO に劣ったが、バッチパフォーマンスの相当部分を回復し、リプレイバッファなしでの部分観測性下における連続制御の実現可能性を示した。

KMemoryChain（陳腐化の定量化）

RTRL 跡を継続的に行使するように設計された MemoryChain の変種：

陳腐化は、オンライン感度行列と現在のパラメータで再計算した参照との間の $\ell_2$ 距離として測定された。
陳腐化は理論的限界と一致して、メモリ地平線 $K$ が増加するにつれて増加した。
テイラー補正は、特に長い地平線（ $K=16$ ）において陳腐化を大幅に低減し、高陳腐化領域における学習の高速化とトレーニング曲線の安定化に対応した。

意義と主張

著者らは、自らの主張について謙虚さを明確に述べている：

最先端（SOTA）：制約のないバッチ手法と比較して、単一のベンチマークにおいて絶対的な最高パフォーマンスを達成すると主張するものではない。
主要な貢献：重要性は、ストリーミング RL と部分観測性の間のギャップを埋めることにある。RTU と正確な RTRL を組み合わせることで、リプレイバッファなし、単一サンプル更新という厳格な制約の下で POMDP における深層 RL が可能であることを実証している。
適用性：この手法は、過去軌跡の保存が非現実的な、デバイス内学習、リアルタイム制御、生涯学習など、リソース制約が現実的なシナリオ向けに位置づけられている。

本論文は、一部の連続制御タスクではバッチパフォーマンスとのギャップが残っているものの、提案手法はストリーミングパラダイムを複雑な部分観測環境に成功して拡張し、深層 RL における線形複雑度の正確な RTRL の妥当性を検証したと結論づけている。