💻 computer science

Latent Actions from Factorized Transition Effects under Agent Ambiguity

本論文は、曖昧な観測遷移を再利用可能なプリミティブへと分解することで、教師なし学習において複雑で妨害要素の多い環境下でもベースラインを凌駕する、堅牢で行動に近い潜在表現を学習する、Observed Transition Factorization（OTF）およびその派生手法であるOTF-LAMとOTF-LAM-Dinoを紹介する。

原著者： Heejeong Nam, Chandradithya S Jonnalagadda, Harshit Aggarwal, Eric Xu, Randall Balestriero

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Heejeong Nam, Chandradithya S Jonnalagadda, Harshit Aggarwal, Eric Xu, Randall Balestriero

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文の解説：「エージェントの曖昧さ下における、分解された遷移効果からの潜在アクション」を、日常的な例えを用いて分かりやすく説明します。

大きな問題：「ノイズだらけのキッチン」

あなたは、シェフが料理をしている動画を見て、料理の仕方を学ぼうとしていると想像してください。しかし、その動画は非常に散らかった状態です。シェフが玉ねぎを切っている間（あなたが注目すべきアクション）、カメラは揺れ、床を犬が走り抜け、風でカーテンが揺れています。

AIの世界では、これを**「エージェントの曖昧さ（Agent Ambiguity）」**と呼びます。

エージェント： シェフ（あなたが制御したい対象）。
アクション： 玉ねぎを切ること。
曖昧さ： 動画には、すべての変化が同時に映っています（玉ねぎの動き、犬の動き、カーテンの揺れ）。

従来のAIモデルは、この乱雑な動画全体を見て「玉ねぎを切る」というアクションを推測しようとしました。その結果、犬が走っていることが料理のレシピの一部だと勘違いしたり、シェフの動きとカメラの揺れの違いを判別できなくなったりして、混乱してしまうことがよくありました。

解決策：動画を「レゴブロック」に分解する

著者らは、OTF-LAMと呼ばれる新しい手法を提案しています。動画の変化を一気に推測しようとするのではなく、動画の変化を、混ざり合ったレゴブロックの山を仕分けするように、小さくて再利用可能なパーツへと分解します。

彼らはこれらのパーツを**「観測された遷移プリミティブ（Observed Transition Primitives）」**と呼んでいます。

「シェフが玉ねぎを切っている」と見る代わりに、AIは「ある小さなパッチのピクセルが左に動いた」「エッジが下にずれた」「背景がぼやけた」といった具合に見ます。
これらが**「レゴブロック」**です。これらは、シェフであっても、ロボットであっても、あるいはアニメのキャラクターであっても、どこでも発生しうる、シンプルで再利用可能な動きのパターンです。

仕組み： 2つのステップ

ステップ1：「ブロック仕分け係」（OTF）
まず、AIは何千もの動画を観察し、画像内のあらゆる微細な変化を、独自の語彙の中から特定の「ブロック」へと仕分けます。

例え： 本の内容が何であるかには関心を持たず、ただ「ページがどのようにめくられているか」だけを気にする司書を想像してください。彼らはあらゆるページめくりを、「素早い反転」「ゆっくりとしたスライド」「破れ」といったカテゴリーに分類します。
AIは、「素早い反転」が、人間の手が本をめくる動きであっても、ロボットの腕がダイヤルを回す動きであっても、同じように見えることを学習します。これにより、これらの「ブロック」は再利用可能になります。

ステップ2：「シェフの助手」（OTF-LAM）
ブロックが仕分けられたら、次にAIは、どのブロックがシェフによって引き起こされ、どのブロックが犬や風によるものかを判断する必要があります。

例え： AIは現在のシーン（キッチン）を見て、「シェフがナイフを持っていることを踏まえると、これらの『動いているブロック』のうち、どれがシェフによるものらしいか？」と問いかけます。
AIは関連するブロックを選び出し、ノイズ（犬）を無視して、それらを一つの「アクション信号（Action Signal）」へと統合します。この信号がAIに「シェフは玉ねぎを切っている」ということを伝えます。

「Frozen DINO」のトリック（OTF-LAM-Dino）

論文では、さらにスマートなバージョンであるOTF-LAM-Dinoも紹介しています。

例え： 動画の次のフレームを予測しようとしている場面を想像してください。通常、AIはすべてのピクセル（玉ねぎの色や、テーブルの質感など）を書き直そうとします。しかし、照明が変わったりテーブルの見え方が変わったりすると、これは非常に困難です。
トリック： ピクセルを直接描き直す代わりに、このバージョンは、物の「形」や「構造」をすでに理解している専門家（DINOv2）を「凍結（frozen）」した状態で利用します。AIは、正確な色ではなく、その「構造」がどう変化するかだけを予測すればよいのです。
これは、チェスの駒の木目を描こうとするのではなく、盤面の配置（構造）を見て次の手を予測するようなものです。これにより、AIは邪魔な要素を無視するのが非常に上手くなります。

何を証明したのか？

著者らは、主に2つのテストを行いました。

Moving MNIST（「数字」テスト）： 数字が動いている動画を見せました。彼らは0から4までの数字で学習させ、その後、一度も見せたことのない5から9までの数字でテストを行いました。
- 結果： AIは数字の具体的な見た目ではなく、動きのパターン（ブロック）を学習していたため、新しい数字に対しても完璧に機能しました。これは「ブロック」が再利用可能であることを証明しています。
DCS（「ロボット」テスト）： ロボットが走ったり歩いたりしている間に、背景が動く複雑なロボットシミュレーションを使用しました。
- 結果： 新しい手法（OTF-LAM）は、従来のメソッドよりもロボットの制御を学習することに優れていました。背景の邪魔な動きをうまく無視し、ロボットの動きに集中することができました。

まとめ

この論文はこう述べています。「雑多な動画からアクション全体を推測しようとしてはいけません。代わりに、動画の変化を小さくて再利用可能な『動きのブロック』へと分解しましょう。まずこれらのブロックを仕分け、それから、どのブロックが制御したいエージェントに属しているのかを見極めるのです。」

これを行うことで、AIは、多くの邪魔な要素が存在する、雑多な現実世界の環境において、より優れた学習ができるようになります。

技術要約：エージェントの曖昧性下における分解された遷移効果からの潜在アクション

1. 問題提起

潜在アクションモデル（Latent Action Models: LAMs）は、明示的なアクションラベルなしに、観測遷移（例：ビデオフレーム $x_t$ から $x_{t+1}$ ）からアクションに似たプロキシを直接学習することを目指している。制御された環境においてエージェントが変化の主たる要因である場合には効果的であるが、LAMsは複雑なシーンにおける**エージェントの曖昧性（agent ambiguity）**に直面する。ディストラクタ（妨害要素）、動く背景、カメラのダイナミクス、あるいは関節を持つ物体が存在する環境では、視覚的遷移 $\Delta x_t$ は、エージェントによって制御された動きと、制御不能な外生的要因の混合体となる。

標準的なLAMsは、この遷移全体を単一のモノリシックな潜在ベクトルへと圧縮する。教師なし学習では、モデルは観察された変化のうち、どれがエージェントに起因し、どれがディストラクタに起因するかを区別するための基盤を持たない。この曖昧性は、潜在空間に制御可能な動きと環境固有のノイズを混在させ、転移性やダウンストリームのポリシー学習を阻害する。既存の手法は、オブジェクト中心の事前知識やセグメンテーションに依存することが多いが、これらは硬直した仮定を課し、スケーラビリティを制限する。

2. 手法

著者らは、視覚的遷移を単一のイベントとして圧縮するのではなく、再利用可能な**観測遷移プリミティブ（observed-transition primitives）**の疎な構成として扱うボトムアップのアプローチ、**観測遷移分解（Observed Transition Factorization: OTF）**を提案する。このフレームワークは、主に2つのステージで構成される。

2.1. 観測遷移分解 (OTF)

第1ステージでは、局所的な運動効果の共有語彙を学習する。

入力構成: 連続するフレームに勾配変換（またはSobelフィルタ）を適用し、差分を計算することで、運動観測 $o_t$ を構築する。これにより、静的な外観や物体のアイデンティティへの依存を減らしつつ、観察可能な変化を強調する。
パッチ単位のベクトル量子化: 運動入力は空間的なパッチに分割される。各パッチはエンコードされ、VQ-VAE形式の目的関数を用いてサイズ $K$ の離散コードブックに量子化される。
プリミティブ: コードブックは、再利用可能な観測遷移プリミティブ（例：局所的な変位、エッジのシフト、回転のような残差、接触による変形）を学習する。決定的なのは、これらのプリミティブが純粋な物理的運動や物体のアイデンティティではなく、「視覚的効果」を表している点である。
因子表現: 各遷移について、モデルは因子の構造化された集合 $E_t = \{e_{t,k}\}_{k=1}^K$ を出力する。ここで、各因子 $e_{t,k}$ は、コードブックのエントリ、占有マップ（空間的サポート）、および活性化強度で構成される。
学習目的: ファクタライザーは、選択されたプリミティブと現在のフレーム $x_t$ を参照用として用いて運動観測 $o_t$ を再構成するように訓練される。その際、標準的なVQ損失とともに、コードブックの多様性を確保するための直交正規化項を最小化する。

2.2. OTF-LAM: アクションの抽象化

OTFモジュールが事前学習された後、それは凍結され、抽出された因子の上の潜在アクションモデルが訓練される。

状態依存の抽象化: モデルは因子 $E_t$ と現在の状態 $x_t$ を受け取り、コンパクトな潜在アクション $z_t^{act}$ を形成する。
ゲーティング機構: 「アクション抽象化モジュール」は、各因子を状態依存のトークンに変換する。ゲーティングネットワークは、現在のコンテキストに基づいて各因子への関連性の重み $\alpha_{t,k}$ を割り当て、どの観測遷移プリミティブがエージェントのアクションに関連しているかを効果的に選択する。
予測: 集約された潜在変数 $z_t^{act}$ は、標準的な逆順・順方向ダイナミクス（inverse-forward dynamics）の枠組みにおいて、次の観測（または残差更新）を予測するために使用される。

2.3. OTF-LAM-Dino

再利用可能なコンポーネントと環境固有の詳細をさらに分離するために、デコーダーレスのバリアントが導入される。

凍結された表現: ピクセル空間を予測する代わりに、モデルは凍結された DINOv2 表現空間内で将来の状態を予測する。
アーキテクチャ: 視覚エンコーダ（DINOv2）とOTF運動プリミティブ抽出器の両方が凍結されている。学習可能なコンポーネントは、アクションアグリゲーターと、DINO特徴空間内での順方向ダイナミクス予測器に限定される。これにより、モデルはピクセルレベルのテクスチャの再構成ではなく、制御に関連する遷移構造の抽象化に集中することを強制される。

2.4. ポリシー学習

学習された潜在空間を現実世界の制御に接続するために、少量の行動（action）の教師あり情報が使用される。行動模倣（behavioral cloning）ポリシーは、潜在アクション $z_t^{act}$ を真のアクションにマッピングし、アクションデコーダは、どの物体にその運動が適用されるかという曖昧さを解決するために現在の観測を利用して、予測された潜在変数から真のアクションへとマッピングするように訓練される。

3. 主な貢献

観測遷移分解 (OTF): 複雑な視覚的遷移を、潜在アクションを推論する前に、疎で再利用可能な局所的プリミティブへと分解する新しい手法。これは、学習ターゲットを「真のアクションの回復」から「観察された遷移効果の構造化」へとシフトさせるものである。
OTF-LAM および OTF-LAM-Dino: 分解された遷移インターフェースを利用する2つのアーキテクチャ。特にOTF-LAM-Dinoは、再利用可能な遷移語彙と凍結された視覚状態表現（DINOv2）を組み合わせることが、ピクセルレベルの摂動因子に対する正則化として機能し、ダウンストリームの性能を向上させることを示している。
ゼロショット転移性: 学習された運動プリミティブが、異なる視覚的キャリア（例：Moving MNISTにおける異なる数字クラス）や、異なる具象形態（例：Distracting Control SuiteにおけるWalkerからCheetahへの転移）に対してゼロショットで転移できることを示す経験的証拠。これは、コードブックが環境固有のテンプレートではなく、一般的な遷移構造を捉えていることを示している。
曖昧性への堅牢性: 遷移を分解することで、より堅牢な潜在アクション学習が可能になり、複雑な設定においてモノリシックなLAMベースラインを上回る、あるいは同等の性能を発揮することを実証した。

4. 実験結果

本論文では、Distracting Control Suite (DCS)（Cheetah-RunおよびWalker-Run）と Moving MNIST を用いて手法を評価している。

再利用性: クロス形態およびクロスキャリアの転移実験において、OTFの語彙は、モノリシックなVQ-VAEベースラインと比較して、性能低下が著しく低いことを示した。例えば、DCSにおいて、Walker-Runで訓練されたOTFの語彙は、Cheetah-Runにゼロショット適用した場合でも高い再構成品質を維持したが、モノリシックなベースラインは大きなエラー増加（OTFの約20%の低下に対し、最大71%の低下）を経験した。
ダウンストリームのポリシー学習:
- DCSにおいて、OTF-LAMおよびOTF-LAM-Dinoは、LAPO、FLAM、HiLAMなどのベースラインと比較して、同等または優れたリターンを達成した。
- OTF-LAM-Dinoは、デコーダーベースのOTF-LAMよりも一貫して優れた性能を示し、これは凍結された表現空間内で予測を行うことが、制御タスクにおいてピクセル再構成よりも効果的であることを示唆している。
- 本手法は、視覚的遷移に重大なディストラクタノイズが含まれている場合でも、潜在アクションをポリシーへと蒸留することに成功した。
アブレーション: コードブックサイズ（ $K$ ）に関する研究は、複雑な環境（Cheetah-Run）ではより大きな語彙が一般に役立つものの、性能は厳密に単調増加ではないことを示しており、最適な容量は環境やアーキテクチャに依存することを示唆している。

5. 意義と主張

本論文は、**分解された観測効果（factorized observed effects）**が、エージェントの曖昧性下における観測のみの潜在アクション学習のための、より優れた中間表現として機能すると主張している。

視点の転換: 著者らは、観測のみの学習においては、最も信頼できるターゲットは真のアクションそのものではなく、観察された遷移効果の構造であると主張している。遷移を再利用可能なプリミティブの構成として扱うことで、モデルは硬直したオブジェクト中心の事前知識に頼ることなく、制御可能な動きとディストラクタを分離できる。
汎用性: 結果は、潜在アクションを単一のモノリシックな潜在変数として学習するよりも、視覚的遷移の「語彙」を学習する方が、異なるエージェントや視覚ドメイン間での汎用性が高まることを示唆している。
限定的な範囲: 著者らは、本研究が制御された設定およびDCSのディストラクタ環境でこれらのアプローチを評価していることを明示している。彼らは、これらをより豊かで多様なビデオゲームドメイン（例：スクロールするカメラ、多様な非エージェントのダイナミクス）へ拡張することは今後の課題であると認めている。彼らは、監視なしでアクション回復という一般的な逆問題を解決すると主張しているのではなく、分解された中間表現が、学習された潜在アクションインターフェースの堅牢性と転移性を大幅に向上させることを実証している。