技術要約：個別の行動における暗黙的ニューラル表現（Implicit Neural Representations of Individual Behavior）

問題提起

本論文は、ラベルのないマルチポリシー（多種多様な方策）行動データからの方策表現学習という課題に取り組んでいる。ロボットのプレイ、スポーツ、レーシング、ゲームのログなど、多くの実世界の領域において、データセットには複数の異なる方策（例：異なるプレイヤー、ドライバー、デモンストレーター）によって生成された軌跡が含まれているが、各エピソードを生成した具体的な方策が不明である場合が多い。

核心となる目的は、教師なしで、潜在的な方策のアイデンティティを復元するためのエピソードごとの潜在表現 $z_i$ を推論することである。著者らは、単一のエピソード内では方策は固定されていると仮定しているが、学習中に方策のラベル、ペアワイズ制約、または環境パラメータは利用できない。この表現は、エピソードの「状態と行動の構造」のみから、オフラインかつ自己教師あり学習によって推論されなければならない。

特定された重大な課題は、方策レベルの分布外（OOD）シフトである。標準的な行動OODの設定では、エージェントや環境が変化する。しかし、マルチポリシーの模倣データにおいては、以下の2つの追加の軸によるシフトが発生する：

1. 状態分布のシフト： 同じ方策が異なる状態分布に対して評価される。
2. 行動分布のシフト： 学習時とテスト時の分割間で、周辺的な行動統計が変化する。

著者らは、既存の多くの手法が、真の条件付き方策マップ $\pi(a|s)$ ではなく、周辺的な状態分布 $p(s)$ や行動分布 $p(a)$ に基づいて方策を特定するという「ショートカット学習（近道学習）」に依存しているため、これらのシフトに対して失敗すると主張している。

手法：Behavioral INR

著者らは、コンピュータビジョンにおけるINRの概念を行動データに適応させた、自己教師あり生成モデルである Behavioral INR (Behavioral Implicit Neural Representation) を導入する。

コアコンセプト

ビジョンにおけるINRは、画像を空間座標をRGB値にマッピングする連続関数として表現する。Behavioral INRは、方策を状態から行動へのマッピングとなる関数として表現する。

• 関数表現： エピソードは、基礎となる状態行動関数からのサンプルの集合として扱われる。
• 潜在変数による変調： 共有された状態・行動ネットワーク（MLP）は、FiLM (Feature-wise Linear Modulation) 層を介して、エピソードレベルの潜在コード $z_i$ によって変調される。
• 目的： 潜在コード $z_i$ は、単に軌跡の履歴を要約するのではなく、状態の関数として行動がどのように変化するかを説明しなければならない。

アーキテクチャと学習

• デコーダ： 入力として状態を受け取り、次に行う行動を予測する、3ブロックのFiLM変調MLP。
• 潜在変数の推論： 履歴を直接潜在変数にマッピングするアモルタイズ（償却）型エンコーダとは異なり、Behavioral INRは、表現抽出を関数フィッティングとして扱う。テスト時には、共有されたINRの重みは固定され、エピソード $z_i$ は、その特定のエピソードの観測された状態・行動ペアに対する勾配降下法を用いて最適化される。
• 学習： モデルは、回帰損失（連続値）またはクロスエントロピー（離散値）を用いて、状態・行動の履歴、現在の状態、および次の行動のバッチを用いて学習される。学習中に方策ラベルは使用されない。

ベースライン

本論文では、方策ラベルを必要としない既存の表現メカニズムの忠実な適応版として、Behavioral INRを以下の手法と比較する：

• CVAE-Transf./RNN： 履歴をエンコードし行動をデコードするためにTransformerやRNNを使用する、軌跡オートエンコーダ。
• VQ-VAE： 離散的な軌跡コーディング。
• 履歴条件付きINR： 潜在変数が依然として標準的なアモルタイズ型履歴エンコーダによって生成されるINRデコーダ（INRデコーダの利点と、アモルタイズ型エンコーダの利点を分離したもの）。
• 拡散モデル (Diffusion Models)： 条件付きDDPM型の行動予測器。
• Behavior Embedding Maps (BEM)： 状態・行動ペアの非パラメトリックなクラスタリング。

主な貢献

1. Behavioral INRフレームワーク： 方策の表現を、潜在コードが共有された状態・行動マッピングを変調する、暗黙的なニューラル関数として定式化した新しい枠組み。
2. 方策レベルのOOD定義： 方策のアイデンティティが周辺的なショートカット（状態や行動の頻度など）から復元可能である場合に、モデルが条件付きの $\pi(a|s)$ を学習しているかをテストするために設計された、マルチポリシーデータセットに特有のOODシフトの定式化。
3. ショートカットに関する実証的分析： 方策のアイデンティティが状態/行動の周辺統計、記号的な反復、または低次元の統計量から復元可能な場合、アモルタイズ型の履歴エンコーダが競争力を維持することを示す体系的な評価。これに対し、Behavioral INRは、条件付きの状態・行動関数を復元する必要がある「困難な」レジームにおいて、大幅に優れた性能を示す。

結果

著者らは、合成ガウスランダムフィールド (GRF) データ、MuJoCo (Minari および拡張されたHopper)、DM Lab Seek-Avoid、Lichess (チェス)、DROID (ロボティクス)、および FastF1 (フォーミュラ1) で評価を行っている。

• 合成データおよびMuJoCoのスケーリング： エピソードが長く、方策の数が増え、OOD分割（例：Hopper 10x/20x）がある制御された設定において、Behavioral INRは、方策アイデンティティの復元における線形プローブ精度およびkNN精度において、アモルタイズ型のベースラインと比較して一貫して高い精度を達成した。ベースラインはエピソードの長さやOODの難易度が増すにつれて低下することが多いが、Behavioral INRはほぼ完璧なプローブ精度を維持している。
• 実世界のドメイン：
  • FastF1： Behavioral INRは最も強力なパフォーマンスを示し、方策の数が増え、ショートカットが弱い場合に、適合された関数的表現がより良くスケールすることを証明した。
  • DROID： 結果は競争力があるが、行動の周辺統計が強力なショートカットとなる低次元の設定である。
  • Lichess： パフォーマンスはベースラインよりも低い。著者らはこれをドメインの構造に起因すると考えている。記号的な盤面状態、繰り返されるオープニング、および疎な指し手の分布により、他の手法がBehavioral INRが依存しないショートカットを利用できてしまうためである。
• OODへの堅牢性： Behavioral INRは、タスクが $p(s)$ や $p(a)$ に頼るのではなく、複雑な条件付きマップ $\pi(a|s)$ を推論する必要がある場合に最も効果的である。状態や行動が重複する方策が存在する設定において、Behavioral INRは他の手法が失敗する場面でもアイデンティティの復元に成功している。

意義と主張

本論文は、Behavioral INRが、ラベルのないデータや分布シフトが存在する場合、特に連続的で複雑な状態・行動空間において、方策アイデンティティのためのより堅牢な表現を提供すると主張している。

著者らは、これらの結果がBehavioral INRがあらゆるドメインで支配的であることを示唆しているのではないことを強調している。代わりに、以下の特定のレジームを特定している：

• 最も効果的に機能する場合： 方策のアイデンティティが、複雑で非線形な状態条件付き関数から推論されなければならず、周辺的なショートカット（状態や行動の頻度）が不十分、あるいは誤解を招く恐れがある場合。
• 競争力を持つ場合： 方策のアイデンティティが、状態/行動のショートカット、記号的な反復、または低次元の行動統計量から復元可能な場合、アモルタイズ型の履歴エンコーダは依然として有効である。

本研究は、行動を「要約すべきシーケンス」としてではなく、「適合させるべき関数」として扱うことが、ロボティクス、ゲーム、スポーツにおける不均質なデータセットを理解する上で、背後の方策構造がショートカット学習を防ぐほど十分に複雑である場合に、明確な利点を提供することを示唆している。