💬 NLP

Crayotter: Learning Long-Horizon Video Editing Agents via Group-Relative Preference Backpropagation

本論文は、Group-Relative Preference Backpropagation (GRPB) を通じて学習された9Bのビデオ編集エージェントであるCrayotterを紹介しており、これは主観的な長期間の編集フィードバックを順序比較へと効果的に変換することで意味セグメント間にクレジットを再分配し、それによってAgenticVBenchのようなベンチマークにおいてプロプライエタリなシステムを凌駕するものである。

原著者： Lecheng Yan, Jianze Lin, Yichong Zhang, Ben Pan, Wenxi Li, Chenyang Lyu, Liting Zhou, Cathal Gurrin

公開日 2026-08-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Lecheng Yan, Jianze Lin, Yichong Zhang, Ben Pan, Wenxi Li, Chenyang Lyu, Liting Zhou, Cathal Gurrin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたはロボットに映画監督になるよう教えていると想像してください。あなたは一束の生のビデオクリップを渡し、「かっこいいスポーツのハイライト映像を作って」という単純な指示を与えます。ロボットは多くの作業をこなさなければなりません。適切なクリップを見つけ、カットし、タイムラインに並べ、音楽を加え、最終的なファイルを書き出す必要があります。これは多くのステップを含む長いプロセスです。問題は、最終的な映画を最後に一度見るだけだということです。もし映画がつまらなかったとしても、どの特定のステップが間違っていたのかを簡単に特定することはできません。クリップ選びが悪かったのでしょうか？カットが短すぎたのでしょうか？それとも、ただ並べ方が悪かったのでしょうか？人工知能の世界では、これは「ロングホライゾン（長期的展望）」問題と呼ばれます。これは、ケーキの作り方を教える際に、食べた後に「味が悪い」とだけ伝えるようなものです。結果が判明した後でも、その結果をもたらした特定のステップに対して、どのように手柄（あるいは責任）を与えるべきかを知る方法が必要です。

この論文は、これらのAIエディターを教えるための新しい手法であるCrayotterを紹介しています。研究者たちは、ロボットにビデオ全体に対して単一の「スコア」を与えようとするのではなく（「良い」というのは人それぞれなので難しいのです）、単に「同じ素材から作られた2つの異なるバージョンのビデオのうち、どちらが良いか？」と問うべきだと気づきました。全く同じ素材から作られたビデオ同士を比較することで、AIは明確なランキングを学習できます。しかし、厄介なのは、長いプロセスのどこでAIが良い選択をしたのか、あるいは悪い選択をしたのかを突き止めることです。著者らは、Group-Relative Preference Backpropagation (GRPB) と呼ばれる手法を提案しています。これは、試合の終わりに単に「よくやった！」とか「ダメだ！」と叫ぶだけの審判ではなく、チーム全体のパフォーマンスを見て、誰が勝利に貢献したかを判断し、特定のプレイヤー（この場合は特定の編集ステップ）に適切な手柄や責任を配分しつつ、特定のステップに過剰な手柄や責任が集中しないようにする、スマートなレフェリーのようなものです。

問題点：ビデオ編集の「ブラックボックス」

AIがビデオを編集しようとする際、AIは一連の決定プロセスを経ます。映像を分析し、クリップを選び、タイムラインを構築し、最終的な製品をレンダリングします。問題は、最終的なビデオの品質——ストーリーの流れが適切か、テンポが感じられるか、あるいはスタイルが要求に合っているか——は、それらすべての決定が行われた後にしか見えないということです。

もし、最後に単一の数値（例えば「このビデオは10点満点中7点です」）だけを与えたとしても、それは混乱を招きます。その7点は、AIが悪いクリップを選んだからでしょうか？それとも音楽が大きすぎたからでしょうか？あるいは、タスク自体が非常に難しかったからでしょうか？編集タスクによって「良い」ビデオのルールは異なるため、異なるタスク間でスコアを比較することは、リンゴとオレンジを比較するようなものです。

この論文は、完璧なグローバルスコアを計算しようとするのではなく、比較に焦点を当てるべきだと主張しています。もしAIが同じスポーツハイライトの3つの異なるバージョンを作成した場合、「バージョンCはバージョンAよりも優れており、バージョンAはバージョンBよりも優れている」と簡単に言うことができます。これにより、曖昧で主観的な感覚を、明確で論理的な順序へと変えることができます。

解決策：GRPBと「ラグ（遅延）」付きのクレジットシステム

著者らは、Group-Relative Preference Backpropagation (GRPB) を導入しています。その仕組みを、遊び心のある比喩を使って説明します。

3つのチーム（チームA、チームB、チームC）に全く同じ材料を与え、シチューを作るよう命じる料理コンテストを想像してください。審査員は3つのシチューをすべて試食し、順位をつけます。チームCが勝者、チームAが2位、チームBが敗者です。

従来の手法では、審査員は勝ったチームに大きなトロフィーを、負けたチームには参加賞のリボンを与えるだけかもしれません。しかし、それではシェフたちが何を正しく行い、何が間違っていたのかが分かりません。チームCが勝ったのは、玉ねぎをより上手く刻んだからでしょうか？それとも、スパイスを加えるタイミングが適切だったからでしょうか？

GRPBは、試合を細かく分析する非常にスマートなコーチのようなものです。

グループ（集団）： これは、全く同じ材料（同じリクエストとソースクリップ）を使用したチーム同士のみを比較します。
ゼロサムゲーム： ランキングをゼロサムゲームとして扱います。チームCが勝てばポイントを獲得し、他のチームは失点します。部屋の中の合計ポイントは常にゼロになります。
ラグ（遅延）型アロケーター： これが巧妙な部分です。コーチは単に完成したシチューを見て推測するのではなく、「ラグ（遅延）」システムを使用します。コーチは、現在のバッチに対してどのように手柄を与えるかを決めるために、前のバッチの調理レッスンを参照します。これにより、コーチが自身の即座の反応によって混乱することを防ぎます。これは、採点中に書き留めたばかりのルーブリックではなく、先週作成したルーブリックに基づいてテストを採点する教師のようなものです。
セグメントレベルのクレジット： チーム全体にスコアを与える代わりに、GRPBは調理プロセスを「刻む」「煮込む」「味付けする」といったセグメントに分解します。そして、どの特定のセグメントが勝利または敗北に最も貢献したかを判断します。もしチームCが玉ねぎを完璧に刻んだなら、その特定のステップに手柄が与えられます。もしチームBがニンニクを焦がしたなら、その特定のステップに責任が課されます。
セーフティキャップ： AIが興奮しすぎたり落ち込みすぎたりしないように、システムは単一のステップが受け取れる手柄や責任に対して「キャップ（上限）」を設けています。また、「信頼性のゲート」も使用しており、判定システムが正しく機能していると確信できるまで、手柄を与え始めないようにしています。

研究結果

研究者らは、この新しい手法を用いて、90億パラメータを持つAIモデルであるCrayotterを構築し、トレーニングを行いました。彼らは、単純なカットから複雑な多段階の修正まで、現実的な編集タスクを含むシミュレーション環境でテストを行いました。

結果は、GRPBが他の手法よりも優れていることを示しました。

より優れた編集： GRPBでトレーニングされたモデルが作成したビデオは、標準的な手法でトレーニングされたモデルよりも、人間の審査員から好まれることが多くなりました。ブラインドテストにおいて、GRPBモデルは「ベース」モデル（オリジナルのAI）に対して67.1%の確率で勝利しました。
よりスマートなクレジット： 研究者が、AIがなぜ良いビデオを作れたのかを知っているかどうかをテストしたところ、GRPBは特定の編集ステップを特定することにおいてるるい手法よりもはるかに優れていました。GRPBは「勝利した」セグメントを20.8%の割合で正しく特定しましたが、他の手法ではわずか11.9%でした。
プロを凌駕： AgenticVBenchと呼ばれる標準的なベンチマークにおいて、9BのCrayotterモデルは、テストされたすべてのシステムの中で第3位に入り、大手テック企業のいくつかの高価なプロプライエタリ・システムを上回りました。平均スコアは**15.7%で、特に「リパーパス（再利用）」タスク（ビデオ編集に非常に近いタスク）では23.0%**という高いスコアを記録しました。

なぜ重要なのか

この論文は、正解が主観的な複雑でクリエイティブなタスクにおいては、完璧なスコアは必要ないということを示唆しています。必要なのは、異なる試行を比較し、どの特定のステップがより良い結果につながったかを判断する方法です。同様の試行を比較し、バイアスを避けるために判断を遅らせ、プロセスの特定の部分に注意深く手柄を分配することで、AIはより優れたエディターになる方法を学ぶことができます。

著者らは、これがビデオ編集のような、明確な段階と代替となる結果が存在するタスクのための特定の解決策であることを注意深く述べています。彼らはこれがすべてのAIの問題を解決すると主張しているわけではありませんが、このような「ロングホライゾン」なクリエイティブな仕事においては、問題をローカルで比較可能な好みに分解することが、機械に創造性を教える強力な方法であることを示しています。彼らの実験のコードとデータは公開されており、他の人々がこの「ラグ付きクレジット」のアプローチを自身のクリエイティブなAIプロジェクトで試すことを歓迎しています。

技術要約: Crayotter と Group-Relative Preference Backpropagation (GRPB)

1. 問題提起

長時間のビデオ編集エージェントは、フィードバックからの学習において根本的な課題に直面している。最終製品の品質は主観的であり、複数の正解が存在し得、かつ一連の相互依存的な決定（ソース分析、クリップの検索、タイムライン構築、レンダリング、および修正）の後にのみ観察可能であるためである。

既存のアプローチは、主に以下の2つの問題に苦慮している：

曖昧なグローバル目標: グローバルなスカラー報酬は、編集作業には適していない。なぜなら、品質の次元（物語の連続性、テンポ、スタイルの忠実度など）はタスクや判定者によって異なるからである。絶対的なスコアは、製品の品質、タスクの難易度、および判定者のスケールの差異を混同させてしまい、タスクを跨いだキャリブレーションを無意味にする。
遅延および拡散したクレジット: 実行トレースは、ツールの完了やアーティファクトの妥当性に関する検証可能なフィードバックを提供するが、意味論的な選択や物語の質を捉えることはできない。これらの質はレンダリング後にのみ観察可能である。標準的な強化学習（RL）手法は、ノイズやバイアスを導入することなく、最終的な製品の判断から、初期段階の特定の編集決定へとクレジットを割り当てることに苦慮する。

既存の手法は、外部から検証可能な終端条件（編集には存在しない）に依存するか、あるいは単一の軌跡レベルのアドバンテージをすべての行動に放送してしまうため、特定の意味論的セグメントが結果を引き起こした原因を特定できず、クレジットを局所化することができない。

2. メソドロジー: Group-Relative Preference Backpropagation (GRPB)

著者らは、主観的で遅延した結果を、構造化されたタスクローカルな選好学習へと変換するフレームワークである GRPB を導入する。この手法は、セグメント化されたトレース、レンダリングされたアウトカム、およびプロセス診断を提供する Crayotter 編集環境内で動作する。

コアメカニズム

GRPBは、学習問題を以下の3つの明確なステージに分解する：

A. タスクローカルな選好構築
グローバルな品質スコアを回帰する代わりに、GRPBは同一のリクエスト、素材、ターゲット持続時間、および制約を持つロールアウトのグループ ( $G_q$ ) をサンプリングする。マルチモーダルな判定者が、これらの最終ビデオをランク付けする ( $J_k$ )。

ゼロサム・ランク・アドバンテージ: 判定者によるスコアは、グループ内でのペアワイズな勝敗アドバンテージ ( $A^{rank}_k$ ) に変換される。この統計量はゼロサム（ $\sum A^{rank}_k = 0$ ）であり、範囲は $[-1, 1]$ である。これにより、スコアのオフセット、スケールの変化、およびタスクを跨いだキャリブレーションに対して不変となる。

B. 遅延セグメント割り当て (Lagged Segment Allocation)
核心となる革新は、軌跡レベルの選好を、特定の編集セグメント（編集ステージのラベルを共有する連続したイベント）にマッピングすることである。

スパース・ブラッドリー・テリー・アロケーター: スパースな線形モデルが、セグメントの特徴ベクトル平均に基づき、ロールアウトの効用を予測する ( $\hat{z}_k = w^\top \bar{f}_k$ )。重み $w$ は、グループ内のランキングに対するブラッドリー・テリー損失を最小化するように訓練される。
ラグ更新 (Lagged Update): 決定的なのは、アロケーターが現在のバッチを観察する前に凍結された重み ( $w^-$ ) を使用することである。ポリシーのクレジットは $w^-$ を用いて計算され、その後に $w$ が更新される。これにより、モデルが現在のラベルを記憶し、それを同じバッチに対して直接クレジットとして返すことを防ぐ。
信頼性ゲーティング: 初期のアロケーターの推定値は、ウォームアップ観察と精度に基づく信頼係数によってゲート制御される。アロケーターが十分な予測精度を示した後にのみ、クレジットが有効になる。

C. 有界クレジット再分配 (Bounded Credit Redistribution)
ゼロサム・ランク・アドバンテージは、厳格な制約を持つ「ウォーターフィリング」アルゴリズムを用いてセグメントに再分配される：

符号付きキャップ付き割り当て: 正の予算は高スコアのセグメントを優遇し、負の予算は低スコアのセグメントを罰する。単一のセグメントが全予算を吸収することを防ぐため、セグメントごとの絶対上限 ( $C$ ) が設けられている。
正確な保存: 割り当てられたクレジットの合計は、ロールアウトのランク・アドバンテージ・予算と正確に一致する ( $\sum c_{k,m} = b_k$ )。
意味論的配置: クレジットは、トークン数によって分配されるのではなく、意味論的セグメントの最終的な学習可能ポジションに割り当てられる。これにより、長い言語スパンが不当に大きな選好質量を受け取ることを防ぐ。

D. ポリシー最適化
割り当てられたセグメント・クレジットは、セグメントのエンドポイントにおけるプロセス報酬に加算される。ポリシーは、学習されたバリュー・ベースラインを用いた PPO with GAE (Generalized Advantage Estimation) を用いて最適化される。グループ全体に軌跡レベルのスカラーを共有する GRPO とは異なり、GRPB はグループを予算構築のためにのみ使用し、クリティックと GAE は局所化されたセグメント報酬から導出されたステップ変動アドバンテージを処理する。

3. 主な貢献

定式化: 本論文は、長時間のビデオ編集を、検証可能なプロセス・フィードバックと主観的な最終製品の評価を分離した、タスクローカルなアーティファクト選好クレジット割り当て問題として定式化している。
アルゴリズム (GRPB): ゼロサムのタスク内ランク・アドバンテージと、ラグがあり、信頼性ゲートを備えた、キャップ付きのセグメント・アロケーターを組み合わせた新しい手法である。これは、正確なリターン保存を保証し、現在の判断が同じロールアウト・グループを直接形成することを防ぐ。
データセットと評価: 著者らは、データ漏洩を防ぐためにプロジェクト分離型の分割を行った、70の現実的な編集タスク（通常規模12、中規模12、長時間規模46）からなる、ホライゾン層別化されたプロジェクト分離済みのスイートを手動で構築した。

4. 実験結果

著者らは、GRPBで訓練された 9B パラメータモデル (Crayotter) を、いくつかのベースラインおよび外部ベンチマークと比較評価した。

一致するベースライン (AgenticVBench):
- GRPB は AgenticVBench において最高の平均スコア (15.7%) を達成し、Process-PPO (13.7%) および Terminal Rank PPO (12.0%) を上回った。
- 特に、GRPB は編集タスクと高度に一致する指標である "Repurpose" ピラーにおいて優れた性能 (23.0%) を示した。
- アブレーション研究により、ラグ機構または信頼性ガードを削除すると性能が Process-PPO を下回ることが示され、ガードされた差別化されたクレジットの必要性が確認された。
クレジットの局所化:
- 単一のセグメントを劣化させた制御された介入において、GRPB は 20.8% の Top-1 局所化（劣化したセグメントの特定）および 85.7% のペアワイズ精度を達成し、一様割り当て (11.9%) や終端放送 (1.8%) を大幅に上回った。
外部ベンチマーク:
- フルセットの AgenticVBench (100 個の分離されたタスク) において、Crayotter-9B はリストされたシステムの中で 第3位 となり、いくつかのプロプライエタリな代替システムを上回り、Repurpose タスクにおいて Gemini 3.1 Pro に匹敵した。
人間による評価:
- ブラインド形式の人間による選好テストにおいて、GRPB はすべての対戦相手に対して正のネット・ウィン・レートを達成した。これには、ベースモデルに対して 34.2%、Process-PPO に対して 8.0% のネット・ウィン・レートが含まれる。

5. 重要性と主張

本論文は、GRPB が、多段階の制作タスクにおける主観的で遅延したアウトカムから学習するための実用的なアプローチを提供することを主張している。曖昧なグローバルスコアを、制御されたタスクローカルな順序比較へと変換し、ラグのあるアロケーターを通じてクレジットを局所化することで、本手法は、タスクを跨いだスコアのキャリブレーションを必要とせずに、エージェントが編集行動とレンダリングされた製品品質の両方を向上させることを可能にする。

著者らは、この研究を他の主観的で、多解択な、多段階の制作タスクのための基礎として位置づけており、タスクローカルな比較と保守的なクレジット割り当てが、最終アーティファクトの判断と中間的なポリシー最適化の間の溝を効果的に埋めることができることを示している。結果として得られた Crayotter モデルは、オープンソースのエージェントが、複雑なビデオ編集ドメインにおいてプロプライエタリなシステムと競合し、場合によってはそれを凌駕できることを証明している。