💻 computer science

Denoising Tells When to Replan: Denoising-Variance Adaptive Chunking for Flow-Based Robot Policies

本論文は、フローベースのポリシーにおけるデノイジング分散を監視することによってアクションチャンクの実行長を適応的に決定するテスト時手法であるDVACを提案し、それにより多様な操作ベンチマークにおけるタスク成功率の向上と不要な再計画の削減を実現する。

原著者： Xiangdong Feng, Yuxuan Cheng, Chen Shi, Boyao Han, Yuxuan Yan, Yitong Hong, Zhuotao Tian, Li Jiang

公開日 2026-06-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiangdong Feng, Yuxuan Cheng, Chen Shi, Boyao Han, Yuxuan Yan, Yitong Hong, Zhuotao Tian, Li Jiang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに、ブロックを積み上げたり飲み物を注いだりといった複雑なタスクを教える場面を想像してみてください。コンピュータは、単に「手を前に動かせ」と命じるのではなく、将来の動きの「塊（チャンク）」、例えば次の20ステップ分を一括で予測し、新しい指示を求める前にそのすべてを実行させます。

これは効率的ですが、一つの欠点があります。それは、「ロボットがその20ステップのリストをどれくらいの期間、信頼すべきか？」という問題です。

ロボットが何もない部屋を歩いているとき（「予測可能な」フェーズ）は、20ステップのリスト全体を安心して信頼できます。
しかし、滑りやすいカップを掴もうとしたり、鍵を鍵穴に差し込もうとしたりする場合（「精密さ」が求められるフェーズ）は、20ステップも前の計画を信じ続けるのは危険です。すぐに立ち止まり、状況を再確認して、新鮮な計画を求める必要があります。

現在、ほとんどのロボットは固定されたルールを使用しています。「常に10ステップ実行し、それから停止して新しい計画を求める」というルールです。これは、まっすぐな高速道路を走っているのか、あるいは混雑した曲がりくねった市場をナビゲートしているのかに関わらず、「正確に10秒ごとにバックミラーを確認する」と決めている車の運転のようなものです。

ビッグアイデア：「ロボットの脳の声を聞く」

この論文の著者たちは、現代の「フローベース」のロボットの脳がどのように機能しているかについて、非常に興味深い発見をしました。これらのロボットは単に答えを出すだけではありません。彼らは「デノイジング（除去・精緻化）プロセス」を経ます。これは、彫刻家が粗い石の塊（ノイズ）から、少しずつ削り取って最終的な像を浮かび上がらせるプロセスに似ています。

ロボットが計画を「彫刻」していくにつれて、それは中間的な推測を行っていきます。著者たちは以下のことを発見しました：

物事が簡単なとき（何もない空間を移動しているとき）、計画を洗練させるにつれて、ロボットの推測は非常に安定し、一貫したものになります。
物事が難しいとき（物体に触れたり、精密な動作が必要なとき）、ロボットは最善の動きを見つけようとして、推測が激しく揺れ動いたり変動したりします。

洞察： ロボットの思考プロセスにおける「揺れ（分散）」の量は、いつ停止して計画を立て直すべきかを教えてくれる、組み込みのシグナルなのです。

解決策：DVAC（Denoising-Variance Adaptive Chunking）

チームは、DVACと呼ばれる手法を開発しました。DVACは、固定されたタイマーやステップ数を使う代わりに、リアルタイムでロボットの脳を監視する賢い監督者のように振る舞います。

比喩： あなたが子供に物語を読み聞かせている場面を想像してください。
- もし物語が退屈で予測可能であれば（「猫がマットの上に座りました」）、一文を読み終える前に「もっと聞きたいですか？」と尋ねる必要はありません。
- もし物語が刺激的で混乱を招く内容になったら（「突然、ドラゴンが現れた！」）、すぐに読むのを止めて、子供の顔を見て「次はどうしましょうか？」と尋ねます。
DVACの仕組み：
1. 行動計画を確定させる際の、ロボットの「揺れ（分散）」を監視します。
2. 揺れが少ない場合（計画が安定している場合）、ロボットに長いチャンクの行動を実行させます。
3. 揺れが急増した場合（計画が不安定になった場合）、「止まれ！その計画の部分は不確実すぎる」と判断します。安全で安定している部分のリストだけを実行し、すぐに新しい計画を生成するようロボットに求めます。
4. また、感度を自動的に調整します。ロボットが全般的に「揺れやすい」環境にいる場合は、DVACは寛容になります。逆に「安定した」環境にいる場合は、より厳格になります。

得られた結果

チームは、LIBERO、RoboTwin、CALVINといったいくつかのロボット・シミュレーション・ベンチマーク、さらには実機の物理ロボットを用いてテストを行いました。

成功率の向上： ロボットはタスクを完了する能力が向上しました。例えば、あるベンチマークでは、成功率が**94.75%から98.00%**に上昇しました。
負担の軽減： ロボットは、助けを求めて停止する回数が減りました。計画の再生成（リプラン）が必要な回数を約**43%**削減しました。
実世界での証明： キューブを積み重ねたり試験管を動かしたりする実機のロボットにおいて、DVACは固定ルールを使用するロボットよりも、より速く、より高い成功率を実現しました。

まとめ

要約すると、この論文はこう述べています。「いつ止まるべきかを推測するのではなく、ロボット自身の思考プロセスに教えてもらいなさい」。ロボットの予測がどれほど「自信がある」か、あるいは「揺れ動いている」かに耳を傾けることで、より効率的（より多くを、止まることなく行う）で、かつより慎重（難しい局面で正確に止まる）なロボットを作ることができるのです。

技術要約：Denoising-Variance Adaptive Chunking (DVAC)

1. 問題提起

DiffusionやFlow Matchingを利用したものを含む、フローベースのロボット・ポリシーは、連続的なアクションシーケンスを生成するための標準となりつつあります。一般的なデプロイ戦略はアクション・チャンキング（action chunking）であり、これは予測された未来のアクションシーケンスのプレフィックス（接頭辞）を実行し、その後にポリシーが再計画（リプラン）を行うというものです。チャンキングは時間的な一貫性を向上させ、推論コストを軽減しますが、現在の実装は固定された実行ホライゾン（例：常に予測された50アクションのうち最初の10アクションを実行する）に依存しています。

この固定的なアプローチには、本質的なトレードオフが存在します：

予測可能なフェーズ（例：自由空間におけるアームの移動）では、効率性を維持するために再計画の頻度を低く抑えることができます。
精度が重要なフェーズ（例：接触を伴う操作、精密な物体操作）では、エラーを修正するために頻繁な再計画が必要です。
静的なホライゾンは、これらの変化するダイナミクスに適応できないため、非効率な過剰再計画、あるいは重要なタスク中のリスクの高い再計画不足を招きます。既存の適応型手法は、追加の候補チャンク、追加の選択ヒューリスティック、またはタスク固有の学習を必要とすることが多く、デプロイを複雑にします。

2. 手法：DVAC

著者らは、Denoising-Variance Adaptive Chunking (DVAC) を提案します。これは、フローベース・ポリシーの推論プロセスにおける内部ダイナミクスに基づいて、実行ホライゾンを動的に決定する、学習不要のテストタイム・フレームワークです。

核心となる洞察：
フロー・マッチングの推論中、ポリシーはノイズの乗ったアクション・チャンクを、クリーンなアクションの推定値へと反復的に洗練させていきます。著者らは、最終的なデノイジング・ステップにおけるこれらの中間的なクリーン・アクション推定値（ $\hat{x}_0$ ）の分散が、タスク・フェーズの安定性を示す内在的な信号として機能することに着目しました。

低分散： 予測可能な運動フェーズで発生し、安定した予測を示します。
高分散： 接触を伴う操作や精度が敏感な操作において発生し、不確実性と再計画の必要性を示します。

アルゴリズムの概要：

分散の推定： ホライゾン $H$ を持つ予測されたアクション・チャンクに対して、DVACはデノイジング・プロセスの最終 $L$ ステップを監視します。各未来のアクション・インデックス $k$ について、クリーン・アクション推定値の分散（ $V_s(k)$ ）を計算します。
閾値設定： 固定の数値的閾値（これはタスクやロールアウトによって変動します）を使用する代わりに、DVACはスケール適応型閾値（ $\tau_s$ ）を採用します。直近の分散統計量を保持するローリング・バッファを維持し、局所的な平均（ $\mu_s$ ）と標準偏差（ $\sigma_s$ ）を計算します。閾値は $\tau_s = \mu_s + \alpha\sigma_s$ として設定され、ここで $\alpha$ は不確実性の許容度を定義するハイパーパラメータです。
適応的実行： ポリシーは、分散が閾値を下回っている最も長いアクションのプレフィックスを実行します。分散が $\tau_s$ を超えた場合（不安定なフェーズが近づいていることを示す）、実行を停止し、ポリシーは再計画をトリガーします。
制約： 安定性を確保し、過度な再計画を防ぐため、実行長は最小（ $N_{min}$ ）および最大（ $N_{max}$ ）の制限によって拘束されます。

3. 主な貢献

内在的信号の特定： 本論文は、デノイジングの収束の安定性が、フローベース・ポリシーにおける適応的実行のための、学習不要で内在的な信号であることを確立しました。これは、接触を伴う操作や精度が敏感なタスクのフェーズと直接相関しています。
DVACフレームワーク： デノイジング分散とオンライン・スケール適応型閾値を用いて実行ホライゾンを適応させる、プラグアンドプレイ可能で学習不要な推論時手法の提案。
実証的検証： 複数のベンチマーク（LIBERO, RoboTwin, CALVIN）、多様なフローベース・バックボーン（ $\pi_0.5$ 、Qwen2.5-VL、GR00Tを含む）、および実世界の操作タスクにわたる包括的な評価。

4. 実験結果

著者らは、シミュレーション・ベンチマークおよび実機ハードウェアにおいて、DVACを固定ホライゾン・ベースラインおよび他の適応型手法と比較して評価しました。

LIBERO ベンチマーク： $\pi_0.5$ ベースのポリシーを使用した場合、DVACは平均成功率を 94.75% から 98.00% に向上させると同時に、再計画の頻度を 43.0% 削減しました（1エピソードあたり32.6回から18.6回へ）。また、AACやAutoHorizonといった他の適応型ベースラインを上回りました。
RoboTwin & CALVIN： DVACはRoboTwinにおける平均成功率を0.359から0.416に向上させ、CALVIN-5における平均完了サブタスク数を3.905から4.040に増加させました。特筆すべきは、固定閾値のバリアントがCALVINにおいて性能を低下させたことであり、これはDVACのスケール適応型設計の必要性を強調しています。
バックボーンの転移性： 本手法は、異なるモデルアーキテクチャ（例：Qwen2.5-VL および Qwen3-VL-GR00T）に対して、再学習なしで性能を向上させる「プラグアンドプレイ」能力を示しました。
実世界操作： 立方体の配置、スタッキング、試験管の移動などのタスクにおいて、DVACは固定ホライゾン・ベースライン（例：立方体配置において0.867 対 0.800）よりも一貫して高い成功率を達成し、同時にタスク時間と再計画回数を大幅に削減しました。
フェーズ相関： 分析により、DVACが操作に敏感なフェーズでは実行ホライゾンを短縮し、移動フェーズでは延長するという、理論的動機と一致した動作をすることが確認されました。

5. 意義と主張

本論文は、DVACが、チャンク化されたロボット・ポリシーの信頼性を考慮したデプロイのための、シンプルかつ効果的なメカニズムを提供すると主張しています。デノイジング・トラジェトリを推論中に既に計算していることを利用することで、DVACは以下の必要性を排除します：

追加の学習。
追加の候補アクション生成。
数値的閾値のタスク固有のチューニング。

著者らは、デノイジングの安定性は、容易に利用可能な内在的な信号であり、それによってポリシーが動的な応答性（必要な時の再計画）と推論効率（安定している時の長いチャンク実行）のバランスを取ることを可能にすると主張しています。このアプローチは、大規模な視覚運動（visuomotor）ポリシーのデプロイにおける重要なボトルネックである、頻繁な再計画による計算オーバーヘッドを軽減しながら、タスクの成功率を向上させます。

認められた限界：
著者らは、DVACが較正された不確実性推定値ではなく、デノイジング分散を経験的なプロキシとして使用していることを指摘しています。現在は、中間的なトラジェトリを公開するフローベースまたはディフュージョン型のポリシーに限定されており、これらの内部状態へのアクセスを前提としています。実世界での評価は、タスクの多様性とエンボディメントの規模において限定的でした。