技術要約：ロボティクスにおける模倣学習のデモンストレーション・アンラーニングに関する再考

問題提起

ロボティクスにおける模倣学習（IL）は人間のデモンストレーションに依存しているが、規制や倫理的枠組みにより、全件の再学習という膨大なコストをかけずに、特定の撤回されたデータへの依存性を除去する能力が求められるようになっている。核心的な課題は、閉ループのフィードバックシステム内で動作するポリシーに対して、「アンラーニング（忘却）」が何を意味するかを定義することである。機械学習のアンラーニングから継承された既存の指標（忘却損失や単一軸のメンバーシップ推論攻撃（MIA）など）は、編集が特定のデモンストレーションの影響を真に除去したかどうかを確立するには不十分である。著者らは、既存のアプローチが2つの異なる次元を混同していると主張している。すなわち、振る舞い（ポリシーは、そのデータなしで再学習されたものと同様に動作するか？）と、証拠（監査人は、そのデータが使用されたことを検出できるか？）である。

手法

本論文は、デモンストレーションのアンラーニングを、残りのクリーンなデータ（$D_r$）を用いてゼロから（または同じアダプターを用いて）再学習されたポリシーである「再学習カウンターファクチュアル（反事実）」($\pi^*$) に対して較正された、**再学習較正監査（retrain-calibrated audit）**フレームワークを用いて評価することを提案している。

1. 2つの軸

• 振る舞いの軸（Behavior Axis）: 一致した状態における、編集されたポリシー（$\pi_\theta$）と再学習された参照モデル（$\pi^*$）の間のアクションの乖離を測定する。これは、独立した再学習（$\pi^*_i, \pi^*_j$）から得られる「フロア（底値）」によって較正される。ポリシーは、その乖離が独立した再学習間の分散と同等であれば、振る舞いにおいて一貫しているとみなされる。
• 証拠の軸（Evidence Axis）: 監査人が、メンバーシップ推論を用いて、編集されたポリシーと再学習された参照モデルを区別できる能力を測定する。これは以下のように報告される：
  • ランクAUC（Rank AUC）: メンバーを非メンバーよりも高くランク付けする能力。
  • 絶対的なメンバー損失レベル（Absolute Member-Loss Level）: メンバーの損失とヌル（再学習）の損失の比率（$mem/null$）。
  • 重要な洞察: ランク統計はスケールフリーであるが、「オーバーシュート（メンバーの損失がヌルを超えて膨張すること）」には盲目である。したがって、ランクと絶対レベルの両方が必要となる。

2. 結合仮説検定

著者らは、両方の軸を「共同再学習一貫性」という単一の仮説に組み合わせた**コンフォーマル検定（conformal test）**を導入している。この検定は、編集されたポリシーの監査ベクトルが、一連の独立した再学習（「再学習フリート」）と交換可能であるかどうかをチェックする。もし編集されたポリシーがフリートのメンバーよりも特異な場合、削除の主張は棄却される。

3. 実験設計

本研究では、5つの条件（事前登録された確認的、修正、探索的、無効化）にわたって、3つのポリシークラスを評価している。

• ポリシークラス: ACT（チャンク化されたL1回帰）、Diffusion Policy (DDPM)、および $\pi_{0.5}$（LoRAを用いたVision-Language-Actionフローマッチングモデル）。
• 汚染（Contamination）: 130個のデモンストレーションのうち30個が「誤ったモード」（例：カップをずれた位置で離してしまい、倒してしまう）を学習している。
• オペレーター:
  • Redirect（リダイレクト）: 特定の分岐状態において、クリーンなカウンターファクチュアルのアクションに向けて重みを編集する（Behavior Uncloningに類似）。
  • Ascent（アセント）: 忘却セットに対する勾配上昇。
  • Fine-Tuning (FT)（ファインチューニング）: クリーンなデータのみでの学習（コントロール）。
• 評価: オフラインのアクション乖離、メンバーシップ攻撃、およびブラインド・スコアによる実機ロボット試行（AgileX PiPER アーム）とシミュレーション・スイート（Robomimic, PushT）を用いる。

主な結果

1. 軸の解離

中心的な発見は、振る舞いの軸と証拠の軸が、同一のチェックポイントにおいて両方向への解離を示すことである。

• 忘却を伴わない修復（Repair without Forgetting）: ACTアームに対する「redirect」オペレーターは、ロボットのタスク成功率を18/20試行（再学習の20/20に近い）まで回復させ、アクションのギャップの24.9%を閉じた。しかし、そのメンバーシップ攻撃のAUCは1.000のままであり、編集前のポリシーと区別がつかず、絶対的なメンバー損失レベルも変化しなかった。つまり、この編集は振る舞いを修復したが、証拠は編集前と同じであり、再学習のヌルへと移動することに失敗した。
• 修復を伴わない証拠の減少（Evidence Reduction without Repair）: 勾配上昇オペレーターは、ランクベースの証拠を減少させる（ヌルを越える）ことはできたが、リネージ（系統）に依存した挙動を示した。主要なリネージでは、アセントは振る舞いを再学習カウンターファクチュアルから遠ざけた（ギャップの128%までオーバーシュートした）が、他の2つの独立したシードでは、同じ予算で振る舞いが再学習へと近づいた（それぞれ63%と27%）。
• 標準的な監査における偽陽性: 標準的な単一軸の監査（ランクAUCのみ、あるいはタスク成功率のみ）は、結合基準によって拒絶された編集を、しばしば受け入れてしまう。例えば、一部のオペレーターは完璧なランクAUC（削除を示唆）を達成したが、ポリシーは振る舞いとして壊れたままであったり、証拠が膨張していたりした。

2. ハードウェア検証

実機ロボット（$\pi_{0.5}$ および ACT）における検証：

• redirect 編集は、タスク成功率を回復させたが（ACTで17/20、$\pi_{0.5}$ で18/20）、証拠の監査には失敗した（AUC 1.000、編集前と区別不能）。
• Fine-tuning はタスク成功率を回復させたが、オフラインのカウンターファクチュアルな挙動を4.6%変化させた（特に $\pi_{0.5}$ クラスで観察）。これはランク証拠を変化させなかったため、成功は「発現チャネル」であって「削除の証明」ではないことを示している。
• Ascent オペレーターは混合した結果を示した：PushTアームでは、高い用量においてシード間で+8.0から+11.6ポイントの成功率向上が見られたが、$\pi_{0.5}$ アームでは、成功率は再学習より低く、未編集のポリシーよりは高かった。いずれの場合も、アセントは共同再学習一貫性を達成できなかった。

3. コンフォーマル拒絶

19個の独立した再学習からなるフリートを用いた結果、コンフォーマル検定は監査されたすべてのチェックポイントを $p=0.05$ で拒絶した。テストされたどの編集も「共同再学習一貫性」（振る舞いがフロアにあり、かつ証拠がヌルに一致すること）を達成できなかった。

意義と主張

本論文は、再学習と同等の削除とは、単一の軸のスコアではなく、結合（コンジャンクション）であると主張している。

• 構造的主張: 有効な削除の主張には、振る舞いが再学習のフロアに近づくことと、証拠が再学習のヌルに一致することの両方が必要である。どちらか一方の軸だけでは不十分である。
• 監査能力: 提案された監査は、削除の主張を拒絶（再学習フリートとの不一致を示すことで）できるが、それらを**証明（認証）**することはできない（テストに合格しても、メモリが消えたことを証明するのではなく、単に再学習と一貫していることを示すに過ぎない）。
• オペレーターの限界: 現在のオペレーター（redirect, ascent, FT）は、共同一貫性を達成するには不十分である。Redirectは振る舞いを修復するが証拠を隠蔽し、Ascentは証拠を変化させるが、しばに振る舞いを破壊したり異常を生じさせたりする（PushTでは成功の向上が見られたが、共同一貫性は達成されなかった）。また、特定の編集（分岐リダイレクトなど）の実現可能性は、削除要求の構造（例：汚染がクリーンなサポートと接頭辞を共有しているか）に依存する。エピソード全体が汚染されている場合、局所的な編集は適用できない。

著者らは、振る舞いの修復は（保持される情報の損傷や非対称な影響という代償を払いつつ）「購入可能」であるが、行動的基準と証拠的基準の両方を満たす真の「アンラーニング」を実現することは依然として困難な課題であると結論付けている。既存のオペレーターはどれも共同再学習一貫性を達成できなかった。本研究は、表面的なメトリクスを超えて、ポリシーの中で実際に何が除去されたのかという構造的分析を行う、ロボティクスにおけるアンラーニングのための厳格かつ再学習で較正されたプロトコルを提供するものである。