技術要約：視覚・言語・行動モデル（VLA）のためのニューラル・アクション・コーデック（NAC）

問題提起

視覚・言語・行動（VLA）モデルは、視覚的な観測と自然言語の指示を、低レベルのロボット制御信号に直接マッピングすることを目指している。事前学習済み視覚言語モデル（VLM）の汎化能力と推論能力を活用するため、ロボット制御はしばしば自己回帰的なシーケンスモデリングタスクとして定式化される。しかし、このアプローチにはアクションのトークン化（action tokenization）、すなわち連続的な物理的アクションの軌跡を離散的な記号へと変換するプロセスが必要となる。

既存のトークン化手法は、圧縮率、レイテンシ、およびダウンストリームの性能の間でトレードオフに直面している：

• 一様ビンニング（Uniform Binning）: 初期のメソッドは次元ごとのビンニングを用いており、高周波制御においてはトークンシーケンスが極めて長くなる結果となった。
• 設計済み圧縮（Hand-Designed Compression）: FASTのような手法は、周波数領域での圧縮（例：離散コサイン変換）を利用してシーケンスを短縮するが、固定された事前分布により複雑な非線形ダイナミクスを見逃す可能性がある。
• レイテンシと忠実度: 最適なトークナイザーを設計することは困難である。なぜなら、それは効果的な分布モデリングのための統計的規則性を捉えつつ、低いレイテンシ（アクションチャンクあたりのトークン数）と高速なデコードを維持しなければならないからである。

オーディオ生成ドメインでは、ニューラル・オーディオ・コーデックを用いることで、同様の課題（高忠実度な圧縮、低レイテンシ、複雑な時間的分布）を解決することに成功しているが、これらのアーキテクチャはロボットのアクションに対して直接的に適応されてこなかった。オーディオ・コーデックの原理（具体的には、残差ベクトル量子化（RVQ）と敵対的学習）を、多チャンネルかつ低周波の運動学的信号という異なるドメインにどのように転用するかについての理解には、大きなギャップが存在する。

手法：ニューラル・アクション・コーデック（NAC）

著者らは、最先端のニューラル・オーディオ・コーデック（具体的にはマルチスケールRVQGAN）をロボットのアクション・トークン化のために適応させた学習型アクション・トークナイザーであるNACを提案する。

1. 信号表現とアーキテクチャ

NACは、連続的なアクション・チャンクをマルチチャンネル1D信号として扱う。

• 入力: 連続的なアクション・チャンク $a \in \mathbb{R}^{B \times H_a \times D_a}$ は、1D擬似波形 $w \in \mathbb{R}^{B \times 1 \times L}$ （ここで $L = H_a \cdot D_a$）へと平坦化される。
• エンコーダ: 完全畳み込み型のSEANetスタイルのエンコーダが、この擬似波形を処理する。これは、ストライド付きダウンサンプリングと残差ブロックを備えたスタックされた1D畳み込みを使用し、連続的な潜在表現 $z$ を生成する。
• 量子化: 潜在変数 $z$ は、**マルチスケール残差ベクトル量子化（MRVQ）**を用いて離散化される。標準的なRVQとは異なり、NACは量子化の前に各ステージで時間的プーリングを適用する。これにより、初期のステージはより広い時間窓にわたって粗いグローバルな軌跡構造を捉え、後続のステージは微細な高周波の残差を捉えることを強制する。
• デコーダ: ISTFT（逆短時間フーリエ変換）ヘッドを備えたVocosスタイルのデコーダが、離散コードから連続的なアクション信号を再構成する。ISTFTヘッドはSTFTの振幅と位相を予測し、エンコーダのホップ長と同期することで、エンコーディング中に失われた位相情報を復元する。

2. ロボティクスにおける重要な適応

論文では、オーディオ・コーデックをそのまま適用すると失敗することを指摘している。

• 損失関数の転換: オーディオモデルは通常、人間の聴覚知覚に合わせるためにメルスペクトログラム損失を最適化する。著者らは、メルスペクトログラムの目的関数が運動学的信号には不適切であり、ダウンストリームのポリシー性能をほぼゼロまで崩壊させることを示している。NACはこれらを、単純な時間領域（MSE/L1）および非メルスペクトル再構成損失に置き換える。
• 敵対的学習: NACは、アクション・トークン化における敵対的損失の最初の適用を導入する。高周波の忠実度を維持するために、判別器（具体的にはDACスタイルの判別器）が使用される。これは、ロボットにおける迅速な修正動作や急激な速度変化をモデル化するために極めて重要である。
• コミットメント損失: コードブックの崩壊を防ぐため、潜在空間を厳格に拘束するように、強力なスケーリング（例：係数1000）を伴うコミットメント損失が適用される。

3. ポリシーの定式化

NACは、自己回帰的な行動クローニング・ポリシーを可能にする。

• オフセット・コードブック: 構造化されたトークンスペースを提供するために、NACはオフセット・コードブックを使用する。量子化スケールが $n_q$ 個ある場合、語彙サイズは $|V| = n_q \times V_{bins} + 1$ となる。各スケールのトークンは特定のID範囲内に制限される。
• 学習: ポリシーは、視覚的観測と言語指示に基づき、条件付きで離散トークンシーケンス $C = [c_1, \dots, c_L]$ を予測し、トークンシーケンスの対数尤度を最大化する。
• 推論: ポリシーは自己回帰的にトークンを生成する。トークンはスケールごとに分割され、再びコード指数に変換された後、凍結されたNACデトナイザーに渡されて実行可能な連続アクションへと復元される。

主な貢献

1. NACアーキテクチャ: マルチスケールRVQGANアーキテクチャに基づき、アクションを1D擬似波形として扱うことで、マルチチャンネルのロボット軌跡に特化した学習型アクション・トークナイザーを導入した。
2. 構造化された自己回帰ポリシー: NACのオフセット・コードブックを利用して、構造化された因果的な次トークン予測を行う行動クローニング・ポリシーを定式化した。
3. 損失関数に関する洞察: オーディオ特有のメルスペクトログラム損失を外すことが、オーディオ・コーデックをロボティクスに適用する上で極めて重要であることを示した。本論文は、時間領域および非メルスペクトル損失の使用と、アクション・トークン化における初の敵対的損失の使用を紹介している。
4. 実証的検証: シミュレーション（LIBERO-10, RoboMimic）および実世界の操作タスクにおける包括的な評価を行い、既存のベースラインと比較して優れた再構成忠実度とダウンストリームのポリシー性能を示した。

実験結果

著者らは、NACを連続制御ベースライン（Diffusion Policy）および離散トークンベースライン（Uniform Binning, FAST, VQ-VLA, OAT）と比較評価した。

• 再構成とアブレーション:
  • メルスペクトログラム損失: メルスペクトログラム損失を使用した場合、ダウンストリームタスクの成功率は**0%**となり、オーディオと運動学の間の知覚的なミスマッチが確認された。
  • 敵対的学習: 判別器を取り除くと、ダウンストリームの性能が完全に崩壊した。これは、微細な時間的詳細を保持するための敵対的学習の必要性を強調している。
  • デコーダヘッド: ISTFTヘッドを線形デコーダに置き換えると、再構成誤差とポリシー成功率の両方が著しく悪化した。
• ダウンストリーム性能（シミュレーション）:
  • LIBERO-10において、NACは**49.73%**の成功率を達成し、FAST（38.02%）およびOAT（44.17%）を上回った。
  • RoboMimicにおいて、NACは**33.94%**を達成し、FAST（28.38%）およびOAT（31.94%）を上回った。
• 実世界での性能:
  • 8つの物理的操作タスクのスイートにおいて、NACは**50.0%**の成功率を達成し、すべてのベースライン（例：FAST 40.0%、OAT 40.0%）を上回った。

意義と主張

本論文は、再利用されたニューラル・オーディオ・コーデックが、現代のVLAにおける学習型アクション・トークン化のための強力で実用的なバックボーンを提供できると主張している。その意義は以下の点にある：

1. オーディオ基盤モデルのコアアーキテクチャ（畳み込みエンコーダ、RVQ、敵対的学習）は、周波数領域の目的関数を運動学的信号に適応させることで、ロボティクスにおいても非常に効果的であること。
2. 敵対的学習は、精密なロボット制御に必要な高周波ダイナミクスを捉えるために不可欠であること。
3. NACは、コンパクトで秩序あるトークンスペースを提供し、標準的な自己回帰ポリシーが短く構造化されたシーケンス上で動作することを可能にし、同等またはより優れた圧縮率において、ビンニング、FAST、および従来のVQベースのトークナイザーよりも低い再構成誤差と高い成功率を実現していること。

著者らは、NACがオーディオ基盤モデルとロボット制御の間の溝を埋め、効果的なポリシー学習に必要な構造的忠実度を保持する、データ駆動型の代替案を提供するものであると結論づけている。