🤖 machine learning

Investigating Action Encodings in Recurrent Neural Networks in Reinforcement Learning

本論文は、再帰型ニューラルネットワークの状態更新関数に行動情報を組み込む異なる手法が強化学習のパフォーマンスにどのように影響するかを調査し、経験的評価を提供するとともに、将来の設計上の課題について論じる。

原著者： Matthew Schlegel, Volodymyr Tkachuk, Adam White, Martha White

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

原著者： Matthew Schlegel, Volodymyr Tkachuk, Adam White, Martha White

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

暗く混乱する迷路をロボットにナビゲートさせることを想像してください。ロボットは全体の地図を見ることはできません。目の前の壁のわずかでぼやけた断片しか得られないのです。良い意思決定を行うためには、ロボットは自分がどこを歩いたか、そして直前に何をしたかを覚える「記憶」が必要です。人工知能の世界では、この記憶システムは**再帰型ニューラルネットワーク（RNN）**と呼ばれます。

この論文は、その記憶システムのためのメカニックマニュアルのようなものです。著者たちは、シンプルながら決定的な問いを投げかけました：ロボットの記憶システムは、ロボット自身の行動をどのように「聴く」べきか？

ロボットが移動する（例えば「左へ曲がる」）とき、その行動は世界を変化させます。記憶システムはその移動に基づいて自身を更新する必要があります。この論文は、その「左へ曲がる」という情報を記憶にどのように取り込むか、さまざまな方法をテストしました。

以下に、彼らがテストした 3 つの主要な方法を、アナロジーを用いて説明します。

1. 「加法的」アプローチ（紙の山）

あなたの記憶が紙の山だと想像してください。行動をとると、あなたは単に「左へ曲がった」と書かれた新しい付箋を山の上に追加するだけです。

仕組み: コンピュータは、行動情報を観測情報の隣に単に貼り付け、それを記憶に押し込みます。
結果: 機能はしますが、少し不器用です。記憶がごちゃごちゃになり、特に迷路が長い場合、出来事の正確な順序を覚えるのに苦労することがあります。

2. 「乗法的」アプローチ（特化型フィルター）

次に、あなたの記憶が単なる紙の山ではなく、スマートなフィルターだと想像してください。行動をとると、記憶は単にメモを追加するのではなく、その行動に基づいて記憶全体を再形成します。

仕組み: 「左へ曲がった」場合、記憶システムは過去を処理する方法を能動的に変化させます。「左へ曲がったからこそ、私が以前いた廊下は、まっすぐ進んだ場合とは異なって見えたはずだ」というようにです。それは、行動を記憶に乗算し、過去に対する動的で変化する理解を生み出します。
結果: これはほぼすべてのテストで勝利者となりました。ロボットはより速く学習し、間違いを減らし、「加法的」バージョンよりもはるかに長く複雑な迷路をナビゲートできました。まるでロボットが突然、自身の行動が世界をどう変化させるかを理解する第六感を獲得したかのようでした。

3. 「行動なし」アプローチ（健忘症）

これは対照群です。ロボットは迷路を覚えようとしますが、直前に何をしたかを無視します。

結果: 予想通り、これは最悪のパフォーマンスでした。直前にどのような移動をしたかを知ることができないため、ロボットはしばしば混乱し、簡単に道に迷いました。

「秘密の調味料」：なぜ乗法が勝つのか

著者たちは、「乗法的」手法が優れているのは、ロボットの行動を単なる追加データではなく、能動的な成分として扱うからです。

アナロジー: ケーキを焼くことを考えてみてください。
- 加法的: 小麦粉、砂糖、卵をボウルに入れ、単に混ぜ合わせます。それらは隣り合って存在するだけです。
- 乗法的: 成分を混ぜ合わせ、化学反応を起こさせます。小麦粉は卵によって変化し、砂糖は熱によって変化します。その結果、構成要素の単なる和とは根本的に異なる新しい物質（ケーキ）が生まれます。
ロボットの脳において、「乗法的」手法は、記憶が「行動 A」が「観測 B」の意味を、「行動 C」がそうではない方法で変化させることを理解することを可能にします。

実験（テストドライブ）

著者たちは、これらの方法をいくつかの「迷路」でテストしました。

リングワールド: 単純な円形のトラックです。乗法的ロボットはトラックを完璧に学習し、正解するために非常に少ない「トレーニング時間（切り捨て）」で済みました。加法的ロボットは自分がどこにいるかの追跡に苦労しました。
TMaze: 奥に T 字路がある長い廊下です。ロボットは、廊下の最初にある手がかりを覚えておき、最後でどちらに曲がるべきかを知る必要がありました。乗法的ロボットはこれを簡単に解決しました。加法的ロボットはしばしば手がかりを忘れました。
方向性 TMaze: ロボットの向きが重要になる、より難しいバージョンです。ここでは、加法的ロボットは完全に失敗しましたが、乗法的ロボットは成功しました。
ルナランダー: ロボットが月に着陸しなければならない、複雑なビデオゲームのような環境です。乗法的ロボットは、他のロボットよりもはるかに速く、より確実に着陸することを学習しました。

大きな教訓

この論文は結論として、ロボットの記憶をどのように設計するかは、私たちが思っていた以上に重要であると述べています。

多くの AI 研究者は、データ処理の標準的な方法である「加法的」手法（データを単に貼り合わせること）を使用してきました。しかし、この論文は、現実世界で行動することを学習するロボットにとっては、「乗法的」手法（行動に基づいて記憶を再形成すること）がはるかに適していることを示しています。それは、単純なメモ帳から、因果関係を理解する動的で思考するノートブックへのアップグレードのようなものです。

要約すると: ロボットにその過ちと行動から学習させたいのであれば、単に何をしたかを伝えるだけでなく、その記憶に何をしたかに対して反応することを教えなければなりません。「乗法的」アプローチはまさにそれを行います。

技術的概要：強化学習における再帰型ニューラルネットワークの行動符号化の調査

問題定義

実世界の部分的に観測可能な環境に強化学習（RL）エージェントを配備するには、過去の十分な統計量として機能する状態表現を構築・維持する能力が必要である。時系列依存性のモデル化には再帰型ニューラルネットワーク（RNN）が標準的なツールであるが、その RL への応用には文献でしばしば見落とされる重要な設計選択が伴う。具体的には、本論文は、RNN の状態更新関数に行動情報を組み込むために用いられる戦略に焦点を当てる。著者らは、行動が知覚と状態構築において根本的な役割を果たすことを指摘し（Noë, 2004; Prinz, 1990; Clark, 2013 を引用）、多くの既存の RL 実装では、行動入力を省略するか、単純な連結（concatenation）を通じて組み込むのみであり、その帰結の厳密な分析が欠如しているとしている。核心的な問題は、行動符号化のメカニズム（加法的対乗法的）が、部分的に観測可能なマルコフ決定過程（POMDP）において、エージェントが価値関数を予測し、制御方策を学習する能力にどのように影響するかを決定することである。

手法

著者らはエージェントと環境の相互作用を POMDP として形式化し、観測 $o_t$ 、直前の行動 $a_{t-1}$ 、および直前の状態 $s_{t-1}$ に基づいて隠れ状態 $s_t$ を更新するように設計された各種 RNN アーキテクチャを評価した。本研究は、行動の組み込みに関する 2 つの主要なカテゴリに焦点を当てている。

加法的符号化:
- 標準的加法的: 行動埋め込みを観測ベクトルに連結し、その後再帰セルで処理する（例: $s_t = \sigma(W_x x_t + W_a a_{t-1} + b)$ ）。
- 深層加法的: 行動を連結前にフィードフォワードニューラルネットワーク（ $f_a$ ）に通して埋め込みを作成する。
乗法的符号化:
- 乗法的（2 次）: 2 次 RNN に着想を得たこのアプローチは、観測、状態、行動を統合するためにテンソル積を使用する。更新則は重みテンソル $W$ と $n$ -モード積を含む: $s_t = \sigma(W \times_2 x_t \times_3 a_{t-1})$ 。
- 分解乗法的: フルランクの乗法的更新の高いパラメータ数を軽減するため、著者らはカノニカル・ポリアディック（CP）分解を用いた低ランク近似を採用する。これによりテンソルをランク 1 成分の和に因数分解し、乗法的相互作用の恩恵を保持しつつパラメータ数を削減する。

実験には標準的な RNN とゲート付き再帰ユニット（GRU）の両方が用いられた。予測にはオフポリシー半勾配 TD(0)（一般価値関数を使用）を、制御には $\epsilon$ -greedy 探索を伴う Q 学習を採用した。サンプル効率を向上させるため、リプレイバッファに隠れ状態を格納し、サンプリング時にシーケンスを初期化するために経験再生（ER）を組み込んだ。

実験設定

著者らは、異なる観測タイプとダイナミクスを持ついくつかの例示ドメインにおいてこれらのアーキテクチャを評価した。

リングワールド: 活性ビットからの距離を追跡する必要がある循環環境。予測能力と切断長さへの感応性をテストするために使用。
TMaze: T 字路を備えた古典的な廊下環境。行動の関連性が低い（東/西の行動のみが位置に顕著に影響する）制御能力をテストするために使用。
方向性 TMaze: エージェントの向きが状態の一部となるように修正された TMaze。観測の解釈に行動が不可欠となる。
画像方向性 TMaze: 深層特徴抽出器を用いた性能をテストするために、ピクセルベースの観測（MNIST 数字）を用いた拡張版。
ルナランダー: センサーノイズを伴う連続制御設定での性能をテストするための、OpenAI Gym 環境の部分的に観測可能なバージョン。

主要な結果

行動符号化の有効性に関する実証的評価は、いくつかの明確な知見をもたらした。

乗法的更新の優位性: 行動が基礎となる状態ダイナミクスに決定的に影響を与えるドメイン（リングワールド、方向性 TMaze、ルナランダーなど）において、乗法的更新は加法的および行動なしのバリアントを一貫して凌駕した。乗法的アーキテクチャは、予測タスクにおいてより低い二乗平均平方根値誤差（RMSVE）を達成し、制御タスクではより高い成功率を示し、効果的な学習のためにしばしばより短い切断長さ（ $\tau$ ）を必要とした。
文脈依存性の性能: 行動の関連性が特定の遷移に限定される標準的な TMaze では、乗法的バリアントは他の手法を厳密に凌駕しなかった。場合によっては、行動入力なしの標準 GRU が同等かそれ以上の性能を発揮した。これは、複雑な行動符号化の恩恵が、行動と状態遷移の間の特定の依存関係に紐付いていることを示唆している。
パラメータ効率: フルランクの乗法的更新は加法的なものよりも著しく多くのパラメータを持つが、分解（低ランク）乗法的バリアントは、多くの場合、より少ないパラメータで同等の性能を達成する。ただし、一般的にはフルランクの乗法的バージョンには及ばない。
状態表現分析: 学習された隠れ状態の T-SNE 可視化は、乗法的セルが加法的セルよりも環境の基礎状態に応じて隠れ状態をより効果的にクラスタリングすることを明らかにした。加法的セルは過去の行動に基づいて状態を過剰に分離する傾向があるのに対し、乗法的セルは行動の変動にもかかわらず環境状態のより一貫した表現を維持する。
深層加法的の限界: 行動埋め込みを学習する「深層加法的」バリアントは、一般的に標準的な加法的アプローチと同程度かそれ以下の性能しか示さなかった。これは、ゼロから埋め込みを学習することが、加法的更新の構造的限界を克服できなかったことを示唆している。

意義と主張

本論文は、状態更新関数に行動をどのように組み込むかの選択が、RL エージェントの性能に大きく影響する、しばしば見落とされる重要な設計決定であると主張している。著者らは以下を論じている。

教師あり学習の仮定は転用できないかもしれない: 教師あり学習で成功したアーキテクチャや設計選択（単純な連結など）は、エージェントがデータストリーム上の自らの主体性をモデル化する必要がある RL 設定では最適ではないかもしれない。
乗法的相互作用は有益である: 行動が状態をどのように変化させるかを追跡する必要があるタスク（部分的に観測可能な制御で一般的）では、乗法的更新はより良い状態構築と高速な学習を促進する構造的帰納バイアスを提供する。
専門的な RL アーキテクチャの必要性: 結果は、現在の RL 研究におけるギャップを浮き彫りにし、教師ありドメインからの「既製品」RNN では不十分であることを示唆している。本論文は、時間的依存関係の処理を切断された時間逆伝播（BPTT）のみに依存させずに、RL におけるオンライン・アクティブなデータ収集の固有の課題に特化した再帰セルを開発するための将来の作業を呼びかけている。

著者らは結論として、乗法的更新はテストされたドメインにおいて「明確な勝者」のように見えるが、最適なアーキテクチャはドメインに依存しており、将来のシステムは動的に適応する構造バイアスを学習または選択できるメカニズムから恩恵を受ける可能性があると述べている。