💻 computer science

LiveSVG: Zero-Shot SVG Animation via Video Generation

LiveSVG は、画像から動画への拡散モデルによって生成されたターゲット動画にベクトル幾何学を適合させることで編集可能な SVG アニメーションを生成するゼロショットフレームワークであり、二重レベルの運動表現と新規の再彩色戦略を活用して、骨格やカテゴリ固有の事前知識を必要とせずに、複雑かつプロンプトに整合した変形を実現する。

原著者： Matan Levy, Ran Margolin, Bar Cavia, Dvir Samuel, Yael Pritch, Shmuel Peleg, Alex Rav Acha, Ariel Shamir, Dani Lischinski

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Matan Levy, Ran Margolin, Bar Cavia, Dvir Samuel, Yael Pritch, Shmuel Peleg, Alex Rav Acha, Ariel Shamir, Dani Lischinski

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

美しいデジタルの「ステッカー」（ベクターロゴや漫画のキャラクターのようなもの）で構成された、静止した描画があると想像してください。それを動かしたいけれど、アニメーターを雇ってフレームごとにすべての曲線や線を手動でドラッグしたくはありません。それが LiveSVG が解決する問題です。

以下に、簡単な比喩を通じてその仕組みを説明します。

大きなアイデア：「まず映画、次に人形」

これらの描画をアニメーション化する従来の多くの方法は、映画の脚本を書きながら同時にセットを構築し、シーンを演じようとするようなものです。それは乱雑で、俳優（コンピュータ）が混乱すれば、全体が崩壊してしまいます。

LiveSVG は、作業を 2 つの明確なステップに分割することでゲームを変えます：

映画を作る： まず、強力な AI 動画生成器を使用して、描画が動いたときにどう見えるべきかの、短くプレビュー可能な動画を作成します。重い作業を行う前に、この動画を見て「これがいい」「いや、もう一度試して」と判断できます。
人形を合わせる： 完璧な動画ができたら、LiveSVG は元の静止した描画を取り、その「関節」を伸ばしたりねじったり動かしたりして、フレームごとに動画と完璧に一致させるようにします。

3 つの秘密のトリック

描画が崩れたり奇妙に見えたりすることなくこれを機能させるため、研究者たちは 3 つの巧妙なトリックを発明しました。

1. 「色分け」のトリック（球体充填再着色）

問題： 描画に赤いシャツと赤いズボンがあると想像してください。AI がシャツを動かそうとすると、「シャツが動いているのか、それともズボンが動いているのか？」と混乱し、同じ色だから区別がつかなくなります。これがアニメーションのグリッチを引き起こします。
解決策： AI が動きを開始する前に、描画のすべての部分を、非常に明確な異なる色（ネオンカラーの虹のようなもの）に一時的に塗りつぶします。これにより、コンピュータは「よし、ネオングリーン部分は左に動き、ネオンピンク部分は静止している」と言いやすくなります。
結果： アニメーションが完了したら、ネオンカラーを元の赤や青に戻します。ユーザーは虹を見ることはありませんが、数学は完璧に機能しました。

2. 「2 レベルのダンス」（デュアルレベル運動）

問題： キャラクターを動かすことは、ロボットのように全体を滑らせることだけ、または人形のように指を揺らすことだけではありません。両方です。
解決策： LiveSVG は 2 段階のダンスを使用します：
- レベル 1（グループ）： 腕全体や頭部など、大きな塊を 1 つの単位として動かします。
- レベル 2（詳細）： その後、筋肉が収縮したり袖が揺れたりするように、個々の線（ベジェ曲線）に小さな柔軟な揺れを追加します。
結果： アニメーションは堅く或いはロボットのようにではなく、自然で流れるようなものになります。

3. 「一歩ずつ」歩く（逐次最適化）

問題： 立っているポーズから座っているポーズへ一度にジャンプしようとすると、コンピュータは迷子になり、「足はどこへ行った？」と言うかもしれません。
解決策： 終点へジャンプするのではなく、LiveSVG は小さなステップを踏みます。最初の数フレームの動きを計算し、その結果を次の数フレームの起点として使用し、それを繰り返します。
結果： アニメーションは滑らかに構築され、キャラクターが「テレポート」したり消えたりすることがありません。

なぜこれが他よりも優れているのか

この論文は LiveSVG を他の手法と比較し、2 つの主要な利点を見つけました：

骨格不要： 他の多くのツールでは、キャラクターの中にまず骨（骨格）を描く必要があります。LiveSVG はそれを必要としません。複雑な多数のオブジェクトを含む描画であっても機能します。
速度と制御： 動画がまず生成されるため、結果を即座に確認できます。他の手法はしばしばバックグラウンドで数時間実行され、結果は最後にしか見えません。気に入らなければ最初からやり直す必要があります。LiveSVG では、動画のプロンプトを微調整して即座に再試行できます。

「ChallengeSVG」テスト

研究者たちはまた、ChallengeSVG という新しい、より難しいテストを作成しました。これは、混雑した背景、重なり合う多数のオブジェクト、そして厄介な形状を含む「最終試験」と考えてください。従来の手法はこれらのテストに失敗しましたが、LiveSVG は見事に合格し、単純な漫画だけでなく、現実世界の複雑さにも対応できることを証明しました。

要約： LiveSVG は、監督（ユーザー）にまずストーリーボード（動画）を与え、その後、非常に賢い操り人形師（アルゴリズム）がそのストーリーボードに合わせるために糸をどう動かすべきかを正確に考え出すようなものです。すべて、最初に骨格を構築する必要なく行われます。

技術概要：LiveSVG

問題定義

高品質で編集可能なスケーラブルベクターグラフィックス（SVG）アニメーションの生成は、依然として大きな課題です。静的な SVG 生成は、大規模データセットと拡散モデルの進展によって向上しましたが、複雑な非剛体運動に対応するアニメーション SVG は、対応するトレーニングデータの不足により苦しんでいます。既存のアプローチは、いずれも決定的な限界を有する 2 つのパラダイムに分類されます：

LLM/VLM ベースのコード合成：アニメーションコード（CSS/SMIL など）を生成する手法は、微細な非剛体のベジェ変形に苦慮します。滑らかで複雑な曲線運動を座標レベルで記述することはモデルのコンテキスト制限を圧迫し、結果として粗く剛体な変形への依存を強いられます。
ビデオスコア蒸馏サンプリング（SDS）：ビデオ拡散事前分布を用いた最適化ベースの手法は、暗黙的でノイズの多い目標運動に依存しており、高コストな適合プロセス前にプレビューや編集が不可能です。これらのパイプラインは、しばしばカテゴリ固有の足場（例：スケルトン）を必要とし、構造的な仮定なしに複雑な多物体シーンを処理できません。

手法：LiveSVG

LiveSVG は、運動生成とベクター最適化を分離するゼロショットかつスケルトン不要のフレームワークを導入します。最適化ループ内で確率的な事前分布としてビデオモデルを使用する代わりに、LiveSVG はまず具体的でプレビュー可能な目標動画を生成し、その後、元の SVG 幾何学をこのシーケンスに直接適合させます。

パイプラインは 2 つの主要な段階で構成されます：

段階 1：前処理と目標生成

セマンティックなグループ化：LLM（Gemini 3.1 Pro）が入力 SVG をセマンティックなグループ（例：四肢、頭部）に分割し、一貫したグローバル運動を可能にします。
球充填による再着色：ピクセル単位の適合中に生じる対応関係の曖昧さ（類似色のパスが最適化器を混乱させる場合）を解消するため、パスを一時的に球充填解から導出された最大分離 RGB パレットを用いて再着色します。これにより、各パスに対して明確な勾配フローが確保されます。
レイヤー順序付け：SAM2 を用いて、目標運動と整合する occlusion（遮蔽）を処理するための修正されたレイヤー順序を推定します。
目標動画生成：凍結された画像から動画へのモデル（例：Veo、LTX、WAN）が、再着色された SVG と運動プロンプトから候補動画を生成します。
フィルタリング：2 段階の LLM スコアリングプロセスが、2 次元の一貫性、色の保持、および生成された要素の不在について候補を評価し、最適化用の最良の目標動画を選択します。

段階 2：微分可能な最適化

選択された目標動画は、微分可能レンダラー（DiffVG）を介して元の SVG を最適化するために使用されます。

二重レベルの運動表現：
- グローバル：グループごとの 8 自由度の同次変換が、粗い関節運動（並進、回転、拡大縮小）を捉えます。
- ローカル：パスごと、キーフレームごとのベジェ制御点のオフセットが、微細な非剛体変形（曲げ、スクワッシュ＆ストレッチ）を捉えます。
逐次最適化：オブジェクトが初期姿勢から大きく移動する際の局所解への陥入を回避するため、フレームは逐次的に最適化されます。新しいキーフレームは、前のフレームのパラメータから初期化され、重なりを確保するためにポイント追跡（TAPNext）を用いてさらに洗練されます。
損失関数：最適化は、以下の加重和を最小化します：
- ぼかし MSE：レンダリングされたフレームと目標フレーム間のピクセル空間誤差。
- 空間正則化：隣接する制御点の一貫した動きを促進します。
- $G_1$ 連続性：ベジェ接続部での滑らかさを維持します。
- SDF ペナルティ：幾何学のドリフトを防ぐため、制御点を前景のサポート内に保持します。

主要な貢献

LiveSVG フレームワーク：運動生成とベクター適合を分離する新規のゼロショット手法であり、ユーザーは最適化前に目標アニメーションを検査および編集できます。スケルトンや特定のカテゴリを必要とせず、オープンドメインの SVG をサポートします。
球充填による再着色：パスに最大分離された色を割り当てることで、ピクセル空間適合中の色に起因する対応関係の曖昧さを排除する戦略であり、最終出力では元の色に復元されます。
ChallengeSVG ベンチマーク：層状の遮蔽と豊かな背景を持つ 35 の複雑な多物体 SVG の新規データセットであり、非剛体で関節的な運動で失敗する既存の手法をストレステストするように設計されています。
最先端のパフォーマンス：LiveSVG は、標準的な AniClipart ベンチマークと困難な ChallengeSVG の両方で、優れた人間の嗜好スコアとプロンプト整合性を達成しました。

結果

人間の嗜好：AniClipart において、LiveSVG のバリアントは 5 つのベースライン（Vector Prism、LiveSketch、FlexiClip などを含む）に対するペアワイズ比較の**86.7%で勝利しました。より困難な ChallengeSVG では、比較の84.8%**で勝利しました。
定量的指標：最適化ベースの手法の中で、LiveSVG は最高のプロンプト整合性（X-CLIP）と外観保持（LPIPS/SSIM）を達成しました。
効率性：この手法は SDS ベースのベースラインよりも著しく効率的であり、SVG ごとに約5.2 分と7.4 GBの GPU メモリを必要とするのに対し、競合する最適化手法は 20〜80 分と 16〜35 GB を必要とします。
定性的：LiveSVG は、コード合成手法が失敗したり、SDS 手法がアーティファクトを生成したりするような、大きな姿勢変化（例：座る、完全な開脚）や複雑な変形を成功裡に処理します。

意義と主張

本論文は、LiveSVG がプロンプト整合性を持ち、完全に編集可能なベクターアニメーションへの実用的かつ堅牢な経路として直接参照動画適合を確立すると主張しています。運動の生成とベクター幾何学の最適化を分離することで、この手法はコード合成の表現力の限界と SDS ベース最適化の不透明さを克服します。

著者は、このアプローチにより、ユーザーがベクター適合にコミットする前に目標運動をプレビューし、選別できる新しいワークフローが可能になると強調しています。この手法は生成された目標動画の品質に依存し、重度の遮蔽には苦慮する可能性がありますが、生成または撮影された動画から豊かな運動をコンパクトで編集可能なベクターアセットに変換する「野外（in-the-wild）」の動画から SVG へのアニメーションへの一歩を表しています。この研究は、すべてのベクターアニメーションの課題を解決するものとは主張していませんが、オープンドメイン環境における複雑な非剛体変形の処理において、著しい改善を示しています。