技術要約：継続的ロボット学習のためのメモリアンカー（Memory Anchors）

問題提起

実世界の環境に配лоイされるロボットのポリシーは、新しいタスクを継続的に学習する能力を備えていなければならず、その際、新しい行動を学習することで過去に学習した知識が上書きされてしまう**破滅的忘却（catastrophic forgetting）**を回避する必要があります。この領域における主要な課題は、新しいタスクが過去のタスクと独立していることは稀であり、しばしば観測的な類似性（例：同様の物体やシーン）を共有しながらも、相反するアクション（例：瓶を時計回りに回すか、反時計回りに回すか）を必要とする点にあります。

経験再生（Experience Replay; ER）——過去のデータと新しいデータを共に用いて訓練を行う手法——は、忘却を軽減するための標準的なアプローチですが、著者らはその有効性がデータの選択に強く依存することを指摘しています。ランダムにサンプリングされたバッファは、特定の「高衝突（high-conflict）」なタスクペアに対する性能を維持できないことが多く、過去のデータが存在しているにもかかわらず、劇的な性能低下を招きます。本論文は、過去の経験の中でもごく一部の決定的なサブセットが、過去の性能を維持するために不釣り合いなほど大きな役割を果たしているが、これらの特定のメモリはランダムなバッファでは確実に選択されるとは限らない、という仮説を立てています。

手法：メモリアンカーとANCHORER

著者らは、継続的な学習中に破滅的忘却を防ぐために不可欠な、過去のタスクデータの特定のサブセットとしてメモリアンカー（Memory Anchors）を導入しました。彼らは、これらのアンカーを特定・抽出するための3ステップのアルゴリズムと、それを用いてリプレイバッファを強化する手法であるANCHORERを提案しています。

1. メモリアンカーの特定

抽出プロセスでは、現在のポリシーの潜在空間（latent space）と予測を利用して、新しいタスクが古いタスクと衝突するデータポイントを見つけ出します。

• ステップ1：状態表現の重複の発見。 アルゴリズムは、新しいタスクの観測値（$D_n$）を、過去のタスクで学習されたポリシー（$\pi_{n-1}$）の潜在的な観測空間へとマッピングします。これにより、タスクの違いにかかわらず、視覚的または意味的な類似性を示す、過去のタスクの表現へと崩壊（collapse）する新しいデータのサブセット（$D_n^{SID}$）を特定します。
• ステップ2：アクションの不一致の分離。 重複したデータの中から、相反するアクションを必要とするポイントを特定します。これには生成的なアプローチを用います。具体的には、新しいデータポイントの正解アクションにガウスノイズを加え、それを古いポリシー（$\pi_{n-1}$）を用いてデノイジング（除去）します。もしデノイズされたアクション（$\hat{a}$）が正解のアクション（$a$）と大きく異なる場合、そのポイントは高いアクションの不一致（$D_n^{OD}$）を持つものとしてフラグが立てられます。このステップにより、ポリシーの更新を必要としない共有された部分軌道をフィルタリングします。
• ステップ3：メモリアンカーの抽出。 アルゴリズムは、潜在空間内において、高不一致セット（$D_n^{OD}$）に最も類似した過去のタスクデータポイントを検索します。これらとして回収された過去のサンプルが、メモリアンカー（$D_{Anchor}$）を構成します。

2. ANCHORERアルゴリズム

これらの知見を活用するため、著者らは、抽出されたメモリアンカーのためにリプレイバッファの特定の割合（例：10%または20%）を独占的に確保する経験再生戦略であるANCHORERを提案しています。これにより、新しい、かつ衝突するタスクを学習している間、最も重要な正規化データが確実に存在することが保証されます。

主な貢献

1. メモリアンカーの分析： 本論文は、過去のデータのわずかな割合（メモリアンカー）が、過去のタスクの保持に不釣り合いなほど大きく寄意していることを示しています。リプレイバッファから最良のアンカーのわずか10%を取り除くだけで、LIBEROベンチマークにおいて破滅的忘却が4.5倍増加することを実証しました。
2. ANCHORERアルゴリズム： ERバッファをメモリアンカーで強化する手法であり、高衝突なタスクペアにおける破滅的忘却を63%削減し、均質なタスク・スイートにおける全体的なタスク保持率を向上させます。
3. 実ロボットによる検証： 著者らは、対照的な戦略を必要とする視覚的に類似した瓶（OpenJar）や、言語条件付きのセーター畳み（SweaterFold）を含むタスク・スイートを構築し、実機ロボット（ARXアーム）で検証しました。ANCHORERは、ランダムにサンプリングされたバッファと比較して、総タスク成功率を1.7倍向上させ、可塑性（新しいタスクの学習）と安定性（古いタスクの保持）を巧みに両立させました。
4. VLAへの感度： 研究は、Vision-Language-Action (VLA) モデル（$\pi_{0.5}$）にも及び、これらの堅牢なモデルであっても、小さなバッファでは顕著な忘却を示し、メモリアンカーの存在に敏感であることを明らかにしました。

実験結果

• LIBEROベンチマーク： 均質なタスク（LIBERO-Goalスイート）において、トップ10%のメモリアンカーを除去すると忘却が大幅に増加しました。逆に、10%〜20%のメモリアンカーでバッファを強化することで、最も衝突の激しいタスクペアにおける忘却を63%削減できました。
• バッファサイズへの感度： ANCHORERの恩恵は、バッファサイズが小さい場合（例：過去のデータの1%）に最も顕著になります。このような場合、ランダムサンプリングでは重要なアンカーを自然に捉えることが困難です。
• 実世界でのパフォーマンス： OpenJarおよびSweaterFoldの実機ロボット実験において、ANCHORERはロボットが過剰な汎化を行ったり、可塑性を失ったりすることを防ぎました。例えば、OpenJarスイートにおいて、標準的なERバッファは第1のタスク（反時計回り）を忘れることなく第2のタスク（時計回り）を学習することに失敗しましたが、ANCHORERは両方のタスクの学習に成功しました。
• ベースラインとの比較： ANCHORERは、Maximal Interference Retrieval (MIR) や勾配ベースのサンプル選択 (GSS)、およびアクションの不一致ステップを省略した独自手法のアブレーションと比較して、優れた性能を示しました。

意義と主張

本論文は、ロボティクスにおける破滅的忘却のメカニズムは、観測空間が重なりつつもアクション戦略が分岐する、特定のタスク間の衝突によって引き起こされると主張しています。本研究の意義は、経験再生のパラダイムを、一様なランダムサンプリングから、クリティカルなデータのターゲットを絞った検索へとシフトさせたことにあります。

著者らは以下のように論じています：

• すべての過去のデータが継続的学習において等しく価値があるわけではありません。ごく一部のサブセットが、衝突する新しい入力に対して性能を安定させる「アンカー」として機能します。
• 重複する潜在空間におけるアクションの不一致を通じてこれらのアンカーを特定することは、破壊的な上書きを防ぐための堅牢なヒューリスティックとなります。
• このアプローチは、環境の変化によってタスク表現が自然に分離されるヘテロジニアス（異種混合）なタスクではなく、環境や物体は同じだがアクションが異なるホモジニアス（同質）なタスクにおいて不可欠です。

結論として、メモリアンカーは大規模で多様なバッファの中には自然に存在していますが、リソースが制限された、あるいは非常に衝突の激しい継続的学習のシナリオにおいて安定性を確保するためには、それらを明示的に特定し、集中させることが必要であるとしています。