🤖 machine learning

STITCH-OPE: Trajectory Stitching with Guided Diffusion for Off-Policy Evaluation

STITCH-OPEは、高次元かつ長期的な設定における既存のオフポリシー評価手法の限界を克服するために、誘導型拡散（guided diffusion）と軌跡の繋ぎ合わせ（trajectory stitching）を活用するモデルベースの生成フレームドであり、分散を大幅に低減し精度を向上させることに成功している。

原著者： Hossein Goli, Michael Gimelfarb, Nathan Samuel de Lara, Haruki Nishimura, Masha Itkina, Florian Shkurti

公開日 2026-07-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hossein Goli, Michael Gimelfarb, Nathan Samuel de Lara, Haruki Nishimura, Masha Itkina, Florian Shkurti

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットにビデオゲームの遊び方を教えようとしていると想像してください。しかし、ロボットに実際に現実の世界でゲームをプレイさせることはできません。ロボットが非常に高価であったり、あるいはそのゲームが危険すぎたりする可能性があるからです。代わりに、あなたは「旧型ボット（Old Bot）」がそのゲームをプレイしている異なるロボットの古い録画映像の巨大なライブラリを持っています。あなたの目標は、それらの古い録画映像を見るだけで、「新型ボット（New Bot）」がどれくらい上手くプレイできるかを判断することです。これは**オフポリシー評価（Off-Policy Evaluation: OPE）**と呼ばれます。

問題は、新型ボットと旧型ボットでは、遊び方が大きく異なる可能性があることです。もし新型ボットが、旧型ボットが決して行わなかったような行動をとろうとした場合、古い録画映像は役に立ちません。もし、単に古いデータを引き延ばすことで新型ボットのスコアを予測しようとすれば、数学的な計算が複雑になり、特に長く複雑なゲームにおいては、混乱の中で数値が爆発してしまいます。

そこで登場するのが、巧妙なビデオエディターであり、かつクリエイティブなディレクターでもある新しい手法、STITCH-OPEです。

旧来の手法の問題点

これまでの試みは、まるで映画の全フレームを最初から最後まで一気に予測しようとするようなものでした。

「インポータンス・サンプリング（重要度サンプリング）」のアプローチは、壊れた映画の各フレームの音量を巨大な数で掛け合わせることで修正しようとするようなものです。もし映画が長ければ、音量が大きくなりすぎてスピーカーを破壊してしまいます（分散の爆発）。
「モデルベース」のアプローチは、世界の完璧なシミュレーターを構築しようとするようなものです。しかし、最初の1秒でわずかなミスを犯すと、そのミスは毎秒ごとに大きくなっていき、最後にはシミュレーション全体が完全に間違ったものになってしまいます。

STITCH-OPEの解決策：「レゴ」戦略

STITCH-OPEは、長い映画を小さく管理可能な塊に分割することで、ゲームのルールを変えます。それは、長いレゴの橋を作るようなものです。橋全体を一度に組み立てようとする（それは難しく、折れやすい）のではなく、一つの小さなセクションの終わりを次のセクションの始まりに接続しながら、一つずつパーツを組み立てていくのです。

その仕組みは以下のステップで行われます：

「ショートクリップ」エディター:
STITCH-OPEは、モデルに10分間のビデオ全体を一度に生成させるのではなく、ゲームの短いクリップのみを生成するように「拡散モデル（diffusion model）」（ランダムな静止ノイズから鮮明な画像を作り出す高度なAI）を訓練します。例えば、8秒間のクリップを生成するように学習させます。それは、クリップの乱雑でノイズの多いバージョンを受け取り、それが旧型ボットが行うような実際の動きに見えるまで、それをクリーンアップする方法を学びます。
「スティッチング（繋ぎ合わせ）」のトリック:
長いビデオを作るために、STITCH-OPEはすべてを一度に生成するわけではありません。まず8秒間のクリップを生成し、一旦停止し、それからAIにこう問いかけます。「よし、君は今この地点で終わった。では、今終わった場所から正確に始めて、次の8秒間のクリップを生成してくれ」。こうして、短いクリップを端から端へと縫い合わせるように繋いでいきます。
- なぜこれが素晴らしいのか： もしAIが最初のクリップで小さなミスをしたとしても、それは映画全体を台無しにすることはありません。なぜなら、次のクリップは、前のクリップが実際に終わった場所に基づいて生成されるからです。これにより、他の手法を悩ませる「エラーの爆発」を防ぐことができます。
「ディレクターのガイダンス（指示）」（秘伝のソース）:
ここで、生成されるクリップが、単に旧型ボットの動きではなく、新型ボットがするものに見えるようにする必要があります。AIには「スコア関数（新型ボットが何を好むかを知る方法）」があります。
- 罠：もし単に「新型ボットが好むようにしろ」とAIに命じると、新型ボットのスタイルが旧型ボットと全く異なる場合、AIは混乱して不可能な動きを作ってしまうかもしれません。
- 解決策： STITCH-OPEは「ネガティブ・ガイダンス」というトリックを使用します。それはAIに対し、「新型ボットが好むようにしろ。ただし、旧型ボットが大好きだった要素を差し引いて行え」と指示します。
- 比喩： あなたがシーンを演出していると想像してください。旧型ボットは円を描いて踊るのが大好きです。新型ボットは直線を走りたいと考えています。もし単に「直線で走れ」と言うだけなら、俳優は行き詰まってしまうかもしれません。しかし、「円を描いて踊るな、その上で直線を走れ」と言えば、俳優は何を避けるべきかを正確に理解できます。これにより、AIが旧型ボットの「コンフォートゾーン（慣れ親しんだ領域）」に陥るのを防ぎ、新型ボットのスタイルを探索するように強制します。

数字が示すこと

著者らは、D4RLやOpenAI Gymといった有名なロボット制御タスク（ロボットに跳ねたり、歩いたり、走らせたりするタスク）を用いてテストを行いました。彼らは、大きなロボットの場合はゲームの長さを768ステップに、小さなロボットの場合は256または196ステップに設定しました。

結果は有望でした：

精度： STITCH-OPEは、15の特定のテストケースのうち11ケースにおいて、他のほぼすべての手法を打ち負かしました。
ランキング： 録画されているものと非常に異なるロボットであっても、どのロボットが「最高」であるかを判断することにおいて非常に優れていました。
「ウィンドウ」サイズ： 彼らは、長さ8（ウィンドウサイズ $w$ ）のクリップを生成することが、最適なバランスであることを発見しました。これは、間違いを最小限に抑えつつ、適切に繋ぎ合わせるためのスイートスポットでした。

まだ分かっていないこと（現在）

論文では、これがあらゆることに対する魔法の杖ではないことを慎重に述べています。

「不可能」な動き： もし新型ボットが、旧型ボットが決して行わなかったこと（例えば、旧型ボットが地上を歩いていた時に、崖から飛び降りるなど）をしようとした場合、AIは混乱し、架空の不可能な動きを作り出してしまう可能性があります。数学的な前提として、旧型ボットが新型ボットの行うことの少なくとも一部を見ていることが必要です。
現実世界の複雑さ： これらのコンピュータ・シミュレーション上ではうまく機能しますが、データが不完全であったり、ロボットがすべてを明確に視認できなかったりする、より乱雑な現実世界の課題に対して、これが完璧に機能するかどうかについては、著者らもまだ確信が持てないと認めています。

結論

STITCH-OPEは、長い困難な問題を、縫い合わせ可能な小さな断片に分解し、「あれはしないで」という巧妙なルールを使ってAIを導くことで、新しいロボットを現実の世界に触れさせることなく、その性能をより正確に予測できることを示唆しています。これは、リスクの高い状況におけるロボットの安全なテストに向けた大きな一歩ですが、著者らは、これはあくまでシミュレーションに基づく成功であり、現実世界でのテストこそが次のフロンティアであることを強調しています。

技術要約: STITCH-OPE

問題提起

オフポリシー評価（Off-Policy Evaluation: OPE）は、異なる振る舞い方策（behavior policy: $\beta$ ）から収集されたオフラインデータを用いて、ターゲット方策（target policy: $\pi$ ）の性能を推定することを目的としている。これは、オンラインでの相互作用が高コストまたは危険であるロボット工学やヘルスケアなどの領域において極めて重要である。しかし、既存のOPE手法は、高次元かつ長ホライゾン（長期的な時間軸）の問題に対して、主に以下の2つの失敗モードにより苦慮している：

重要度サンプリング（Importance Sampling: IS）: ホライゾンの呪い（curse of horizon）に苦しみ、評価ホライゾンに伴って分散が指数関数的に増大する。
モデルベース手法: サンプル効率は高いものの、長い軌跡のダイナミクスモデルを学習する際に**累積誤差（compounding errors）**が生じ、不正確な価値推定につながる。
分布シフト（Distribution Shift）: $\beta$ と $\pi$ の差異により推定が不正確になり、デプロイ前に方策を選択することが困難になる。

モデルフリーの密度比推定を用いた最近の試みは、振る舞い方策とターゲット方策が大きく異なる場合に、経験的なパフォーマンスが悪化することが示されている。

手法: STITCH-OPE

著者らは、デノイジング拡散モデル（denoising diffusion models）を活用したモデルベースの生成フレームワークであるSTITCH-OPE（Sub-Trajectory Importance-Weighted Trajectory Composition for Long-Horizon OPE）を提案している。その核心的な革新は、フル軌跡の生成に伴う累積誤差を回避しながら、振る舞いデータに対して学習された拡散モデルをガイダンス（誘導）することで、ターゲット方策の合成軌跡を生成することにある。

1. 分布シフト補正のためのガイデッド拡散

新しいターゲット方策ごとにモデルを再学習する代わりに、STITCH-OPEは振る舞いデータセット（ $D_\beta$ ）上で拡散モデルを事前学習し、振る舞いの軌跡分布 $p_\beta(\tau)$ を学習する。推論時には、**デノイジング過程をガイダンス（誘導）**することで、ターゲット方策の軌跡（ $p_\pi$ ）を生成する。

ガイダンス関数 $g(\tau)$ は、ターゲット方策と振る舞い方策の尤度比から導出される。尤度比を拡散ガイダンスにおける分類密度として解釈することで、著者らはガイダンスを以下のスコア関数の差として定式化している：
$g(\tau) = \nabla_\tau \sum_{t=0}^{T-1} \log \pi(a_t|s_t) - \nabla_\tau \sum_{t=0}^{T-1} \log \beta(a_t|s_t)$
これにより、モデルは再学習を行うことなく、サンプリング分布を $p_\beta$ から $p_\pi$ へとシフトさせることができる。

2. ネガティブ・ビヘイビア・ガイダンス（Negative Behavior Guidance）

主要な技術的貢献は、ネガティブ・ビヘイビア・スコア項（ $-\nabla_\tau \log \beta$ ）の導入である。

問題: ターゲット方策のスコア（ $\nabla_\tau \log \pi$ ）のみを使用すると、ガイドされたサンプリング分布が、ターゲット方策の下では起こり得ないにもかかわらず、振る舞い方策の高密度領域へと崩壊してしまう（過剰な正規化）。
解決策: 振る舞いのスコアを差し引くことで、この崩壊を防ぎ、モデルがデータの範囲外へ汎化し、分布シフトを正しく対処できるようにする。著者らは、相対的な重要性を制御するために係数 $\alpha$ および $\lambda$ （通常 $\lambda < \alpha$ ）を用いてこれを一般化している。

3. 条件付き拡散による軌跡のスティッチング（Stitching）

長ホライゾン生成の累積誤差に対処するため、STITCH-OPEは一度にフル軌跡を生成するのではなく、以下の手順を踏む：

サブ軌跡生成: 拡散モデルは、長さ $w \ll T$ の短いサブ軌跡に対して学習される。
条件付きサンプリング: 生成は半自己回帰的な形式で行われる。モデルは、直前に生成されたサブ軌跡の最終状態を条件として、次のサブ軌跡を生成する。
スティッチング: これらの部分的なロールアウトをエンドツーエンドで繋ぎ合わせる（スティッチングする）ことで、フルレングスの軌跡を形成する。

このアプローチは、振る舞いの軌跡分布をサブ軌跡の混合体として扱う。全履歴ではなく、直前の状態のみを条件とすることで、モデルはより高いエントロピーと振る舞いデータのより広いカバレッジを維持し、構成可能性（compositionality）と新しい初期状態への汎化性能を大幅に向上させる。

理論的保証

本論文は、STITCH-OPE推定量の平均二乗誤差（MSE）に関する理論的境界（定理 3.3）を提供している。

尤度比が有界であり、学習された振る舞いモデルの誤差が有界であるという緩やかな仮定の下で、MSEは抑えられる。
極めて重要な点は、この境界が全ホライゾン $T$ ではなく、サブ軌跡の長さ $w$ に依存することである。
これにより、標準的な重要度サンプリング（ $O(\exp(T))$ でスケールする）と比較して分散の指数関数的な減少を実現し、フル軌跡拡散手法と比較しても、より好ましい多項式依存関係（ $O(T^2)$ ）をもたらす。

実験結果

著者らは、D4RLベンチマーク（Hopper, Walker2d, HalfCheetah）およびOpenAI Gym（Pendulum, Acrobot）を用いてSTITCH-OPEを評価した。

パフォーマンス: STITCH-OPEは、様々な指標において、最先端のベースライン（Fitted Q-Evaluation, Doubly Robust, Importance Sampling, Policy-Guided Diffusionを含む）に対し、15事例中11事例で上回る性能を示した：
- Log RMSE: 誤差の大幅な減少。
- ランク相関（Rank Correlation）: ターゲット方策を正しく順序付けする能力の向上。
- Regret@1: 最良の方策を選択する際のレグレットの低減。
拡散方策（Diffusion Policies）: 本手法は、明示的な確率分布を持たないために他の推定器が苦戦する、拡散モデルとして定義された複雑なターゲット方策の評価にも成功した。
アブレーション研究: 実験により、最適なパフォーマンスは小さなウィンドウサイズ（ $w=8$ ）と、ネガティブ・ビヘイビア項が存在するガイダンス構成（ $0 < \lambda < \alpha$ ）において得られることが確認された。

意義と主張

本論文は、STITCH-OPEが高次元かつ長ホライゾンのタスクにおいて、堅牢なオフポリシー評価を実証した最初の研究であると主張している。その意義は以下の点にある：

ギャップの解消: サブ軌跡のスティッチングを通じて累積誤差を軽減することにより、モデルベースOPE（サンプル効率）とフル軌跡オフライン拡散（生成能力）の間の溝を埋めることに成功した。
スケーラビリティ: IS手法に特有の指数関数的な分散爆発に陥ることなく、高次元空間において拡散モデルをOPEに適用できることを示した。
汎化性能: 条件付き拡散とネガティブ・ビヘイビア・ガイダンスの組み合わせにより、初期状態やアクション分布が異なる、振る舞い方策から大きく逸脱したターゲット方策に対しても、堅牢な評価を可能にした。

著者らは限界についても謙虚に述べており、本手法が振る舞いデータがターゲット方策のサポートをカバーしているという仮定（仮定 3.1）に依存していること、また、複雑で部分観測的な状態における軌跡の忠実度の評価が依然として困難であることを指摘している。また、ロボティクス以外のドメイン固有の問題への適用可能性については、未解決の課題であるとしている。