💻 computer science

FAWAM: Force-Aware World Action Models for Closed-Loop Contact-Rich Manipulation

FAWAMは、知覚、予測、およびクローズドループ実行にわたって6軸力/トルク信号を統合することで、接触の進化を明示的にモデル化し、オンラインでアクションを洗練させる力覚対応の世界アクションモデルであり、ビジョンのみの手法や既存の力覚対応ベースラインと比較して、接触の多いロボット操作において著しく高い成功率を達成している。

原著者： Haotian He, Zeyu Yan, Qipeng Liu, Ning Guo, Wenzhao Lian

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Haotian He, Zeyu Yan, Qipeng Liu, Ning Guo, Wenzhao Lian

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ホワイトボードを拭いたり、きゅうりの皮を剥いたり、箱を押したりしようとしているロボットを想像してみてください。人間にとってこれらの作業は、触覚という「第六感」があるため、自然に感じられます。私たちは、押しすぎる強さ、何かが滑っている感覚、あるいは何かにぶつかった感覚を瞬時に察知します。単に物体を見ているのではなく、相互作用を「感じ」、グリップや圧力をリアルタイムで調整しているのです。

しかし、現在のロボットは、厚手の感覚のない手袋をして目隠しをした状態でこれらの作業を行っている人のようです。彼らは主にカメラ（視覚）に頼っています。カメラがホワイトボードを捉えれば、ロボットはそれを拭こうとします。しかし、もしロボットが強く押しすぎてマーカーが滲んでしまったり、逆に弱すぎて何も起きなかったりしても、なぜ失敗したのかを、手遅れになるまで理解できないことがよくあります。それは、地図だけを見て運転しようとし、ステアリングの感触やエンジンの音を無視している車の運転のようなものです。

FAWAMは、ロボットにその触覚を取り戻させるための新しい「脳」ですが、一つの超能力を備えています。それは、未来を予測できるという点です。

FAWAMがどのように機能するかを、料理の比喩を用いて3つのシンプルなステップで説明します。

1. 「シェフの直感」（知覚）

ほとんどのロボットは、食材を「見る」だけです。しかし、FAWAMは鍋を見るだけでなく、立ち上がる熱を感じ、湯気を嗅ぎ取ることができるシェフのようなものです。

何をするのか： それは力の履歴（ロボットが過去数秒間にどれくらい押し引きしたか）を取り込み、それを使って現在の状況を理解します。
比喩： 単に沸騰している鍋を見るのではなく、ロボットは振動や熱を感じることで、スープがスプーンに対してどのように反応しているかを正確に理解します。これにより、「接触状態」――物体が滑っているのか、それとも引っかかっているのか――を理解するのに役立ちます。

2. 「水晶玉」（予測）

これがこの論文における最大の革新です。ほとんどのロボットは、「今」起きていることに反応します。しかし、FAWAMは「もしこの動作をしたら、次の1秒間に力はどう変化するか？」と問いかけます。

何 يقومのか： ロボットの手がどこへ動くかを予測するだけでなく、手が感じるであろう「力」を予測します。未来の相互作用をシミュレーションするのです。
比喩： シェフがスプーン一杯のスープを味見し、「もし塩を足したら、10秒後にはしょっぱくなりすぎるだろう」と即座に予測する様子を想像してください。FAWAMはこれを物理学で行います。「この箱を前方に押すと、0.5秒後に急な抵抗を感じるだろう」と予測するのです。この「痛み」や「滑り」の未来を予測することで、ロボットはより優れた計画を立てることができます。

3. 「即座の反射」（修正）

水晶玉を持っていても、うまくいかないことはあります。例えば、テーブルがわずかに傾いていたり、物体が予想よりも重かったりする場合です。

何をするのか： ロボットが動いている間、常に自分の「予測」（何が起こると考えていたか）と「現実」（センサーが実際に感じていること）を比較します。もしそこに不一致が生じた場合、即座に動きを微調整して修正します。
比喩： これは綱渡りをする人に似ています。彼らには渡りきるための計画がありますが、もし突然の突風（予測からの逸脱）を感じたら、バランスを保つために即座に重心を移動させます。FAWAMはこれを1秒間に10回行います。もしロボットがスムーズな滑りを予測していたのに、突然の衝撃を感じた場合、衝突を防ぐために即座にグリップを調整します。

結果：なぜ重要なのか

研究者たちは、きゅうりの皮を剥いたり花瓶を拭いたりといった、触覚を多用する複雑なタスクを用いて、実機のロボットでテストを行いました。

視覚のみのロボット（「目隠しをされた」ロボット）の成功率は半分以下でした。
力だけを「感じて」いたロボット（予測と修正を行わなかったもの）は、より優れた結果を出しましたが、依然として苦戦しました。
FAWAMは**85%**の確率で成功しました。

論文は、過去を感じること、未来の力を予測すること、そしてその瞬間に修正することを組み合わせることで、ロボットは非常に堅牢（ロバスト）になるのだと主張しています。ロボットは問題に反応するだけでなく、問題を予見し、タスクが失敗する前にそれを解決するのです。

要約すると： FAWAMは、ロボットを、視覚だけに頼る不器用な機械から、複雑な作業を「感じながら」進めることができる熟練した職人へと変貌させます。凸凹を事前に予測し、作業を完遂するためにグリップを瞬時に調整することができるのです。

技術要約：FAWAM – 閉ループ接触型操作のための力覚を考慮したワールド・アクション・モデル

1. 問題提起

接触が豊富なロボット操作タスク（例：拭き取り、皮むき、押し込み）には、環境との相互作用を継続的に制御することが求められる。視覚的な観察は標準的であるが、弱い接触、過度な圧力、あるいはジャミング（詰まり）といった重要な相互作用状態を推論するには、視覚だけでは不十分な場合が多い。力をセンシングとして組み込む既存の手法は、通常、方策学習のための追加の観測モダリティとして扱うか、低レベルの反応的制御に使用する。しかし、これらのアプローチは、将来の接触状態（例：将来の力積/レンチ）の進化を明示的にモデル化できておらず、実行時の修正を導くための予測的なリファレンスも欠いている。その結果、ロボットは接触の結果を予期し、感知されたフィードバックが期待値から逸脱した際に先制的な調整を行うことが困難である。

2. 手法

著者らは、力信号を知覚、予測、および実行の3つのレベルで統合する閉ループ・フレームワークであるFAWAM（Force-Aware World Action Model）を提案する。システムは、高レベルのプランニングを行う1 HzのForce-Envisioned Action Modelと、オンライン調整を行う10 HzのForce-Guided Residual Correctorという、2つの異なる周波数で動作する。

A. Force-Envisioned Action Model
このコンポーネントは、GE-Actに基づくワールド・アクション・モデルを拡張し、力覚への対応を実現する：

力の条件付け（Force Conditioning）: 直近の6軸力/トルク履歴（ $w_{t-H_f+1:t}$ ）を、軽量なMLPを介してコンパクトな接触特徴量（ $c_t$ ）へとエンコードする。この特徴量は、AdaLN-Zeroスタイルの変調を用いてアクション生成経路を調整する。ここでは、力によって条件付けられたオフセットが、DiTブロック内の標準的なAdaLN-Zeroパラメータ（シフト、スケール、ゲート）に加算される。
結合予測（Joint Prediction）: 単独の力予測ヘッドを使用する代わりに、元の作用投影を結合線形投影に置き換える。これにより、将来のアクション軌跡（ $A_t$ ）と将来の力積（レンチ）軌跡（ $W_t$ ）を連結して出力する。この設計により、デコーダはロボットの運動とその物理的な接触の結果との間の結合関係を捉える共有表現を学習することを強制される。
学習: モデルは2段階の学習戦略を採用する。まず、潜在空間フローマッチングを用いてビデオ生成モデルを微調整する。次に、力学的な注意を払ったアクションデコーダを、同じフローマッチングの枠組みの下で、将来の運動と接触力を同時に予測する結合損失関数（ $L_{stage2} = L_{action} + \lambda_F L_{force}$ ）を用いて学習する。

B. Force-Guided Residual Correction
アクションチャンクの実行中（例：突然の抵抗など）に発生する予期せぬ接触の変化に対処するため、残差補正器（Residual Corrector）が導入される：

入力: 補正器は、ベースとなるアクションチャンク、予測された力積リファレンス、リアルタイムの力フィードバック、および現在の自己受容感覚状態を入力とする。
誤差計算: 実測された力フィードバック（ $w^{meas}$ ）と予測された力積軌跡（ $w^{pred}$ ）を比較することで、力積追従誤差（ $e^w_t$ ）を明示的に計算する。
ゲーティング機構: ゲーティングヘッドがスカラーゲート（ $g^{res}_t$ ）を予測し、補正が必要かどうかを判断する。残差モデルが標準的な実行を妨げないよう、閾値に基づいたバイナリマスク（ $\kappa_t$ ）が適用される。
出力: システムは残差アクション（ $\Delta a^{res}$ ）を出力し、ゲートがアクティブな場合にのみベースのアクションに加算され、オンラインで実行を精緻化する。
データ収集: 補正データは、力フィードバックを用いたリーダー・フォロワー方式のテレオペレーション（FACTR）を使用して収集される。人間が異常な接触が発生した際に介入し、補正されたコマンドとベースの方策コマンドとの差分が残差ターゲットとなる。

3. 主な貢献

FAWAMフレームワーク: 接触が豊富な操作を可能にするため、知覚、予測、および実行の全レベルで力信号を活用する、力覚対応型のワールド・アクション・モデル。
Force-Guided Residual Correction: 予測された力と感知されたフィードバックの不一致を利用して、実行中にアクションを補正する新しいメカニズム。これは単なる反応的な制御を超え、予測に基づいた能動的な調整を実現する。
実証的検証: 最先端のベースラインと比較して、大幅な性能向上を示す広範な実世界実験。

4. 実験結果

Franka Research 3 (FR3) ロボットアームを用い、「ホワイトボードの消去」「キュウリの皮むき」「ボックスの回転」「花瓶の拭き取り」の4つのタスクにおいて実験を行った。これらのタスクには、表面の傾斜、テーブルの高さ、物体の位置の変化によって誘発される多様な接触条件が含まれる。

性能: FAWAMは平均成功率（SR）**85.00%**を達成した。
- これは、視覚のみのベースライン（例： $\pi0.5$ は47.50%、GE-Act は48.75%）に対して36.25%の向上である。
- また、既存の力覚対応ベースライン（ForceVLA および TA-VLA、共に63.75%）に対して21.25%の向上を示している。
アブレーション解析:
- 残差補正のないベース方策（FAWAM w/o Res）は73.75%の成功率を達成しており、力覚を考慮したアクションモデル単体でも強力な基盤を提供していることを示している。
- 残差補正器の追加により最終的に85.00%まで上昇したことは、オンライン補正の有効性を裏付けている。
- アブレーション研究により、すべてのコンポーネント（力学条件付き観測、結合予測、および残差補正）が性能にプラスに寄 듯していることが確認された。

5. 意義と主張

本論文は、接触が豊富な操作は単なる反応的な「観測からアクションへのマッピング」ではなく、能動的な予測パラダイムであると主張している。将来の接触状態の進化を明示的にモデル化し、これらの予測をオンラインのリファレンスとして使用することで、FAWAMはロボットが接触の結果を予期し、失敗が発生する前に偏差を修正することを可能にする。著者らは、単純な観測の融合を超えて、予測的モデリングと残差補正へと力信号を体系的に統合することが、動的な環境の変化や外部からの摂動に対する堅牢な振る舞いをもたらすと断言している。結果は、将来の接触予測が、持続的な物理的相互作用を必要とするタスクにおける現在の視覚運動方策において、極めて重要な欠落要素であることを示唆している。