あなたは映画を撮影しようとしていると想像してください。しかし、手元にあるのは、ある通りを走行する一台の車に設置された単一のカメラだけです。あなたは、もしカメラが最初の車のすぐ隣、あるいは左に数メートル離れた場所を走るもう一台の車に乗っていたら、そのシーンがどのように見えたかを観客に見せたいと考えています。これが、自動運転の世界における「新規軌跡合成（novel trajectory synthesis）」の夢です。つまり、古い映像から新しい視点の映像を作り出すことです。これを行うために、コンピュータは通常、まず世界をデジタルな粘土細工のような3Dモデルとして構築し、その上に新しい絵を描こうとします。しかし、これは非常に困難な作業です。もしコンピュータが後から自分の作った不格好な3Dモデルを修正しようとすると、しばしば意味の通じない奇妙でグリッチ（不具合）のあるアーティファクトを生み出してしまいます。あるいは、カメラを誘導するためにレーザースキャナー（LiDAR）を使用しようとすると、レーザーの光線が少なすぎるため、遠くの景色や木の後ろにある詳細を見落としてしまうことがよくあります。それはまるで、わずかな点の集まりを使って詳細な肖像画を描こうとするようなものです。

そこで登場するのが、高価なハードウェアも、魔法のような修復機能も必要としない熟練のディレクターのように振る舞う新手法、「ReCamDriving」です。この手法は、コンピュータに、単一のビデオから新しい視点の映像を生成する方法を教えるための、巧妙な2段階のステップを用います。研究者たちは、「3Dガウス・スプラッティング（3D Gaussian Splatting）」（数百万の小さな光る3Dピクセルの雲が固形物を作るイメージ）という特定の種類の3Dレンダリングをガイドとして使用することで、AIに世界の幾何学的な構造を完璧に理解させることができることを発見しました。彼らはただAIを深みに突き落としたわけではありません。走る前に歩くことを教えたのです。まず、単純な指示に基づいてカメラを動かす方法を教えました。次に、カメラが動けるようになったところで、新しい角度から世界がどのように見えるべきかを理解させるために、この「ピクセルの雲」を見せたのです。その結果、システムは、撮影されていない角度であっても、道路を走行する車の滑らかでリアルなビデオを生成できるようになりました。

問題点：グリッチのある修復と欠落した点

論文はまず、現在の新しいビデオを作成する方法が、まるで壊れた花瓶をダクトテープで直そうとするようなものであると指摘しています。一つの人気のある手法は「再構成してから修復する（reconstruct-then-repair）」アプローチです。街の3Dモデルを構築したとしても、それが少しぼやけていたり歪んでいたりする場合を想像してください。その後、コンピュータにそれらのぼやけた部分を「修復」するように学習させます。問題は、コンピュータが一度も見たことがない「新しい視点」を修復しようとするとき、混乱してしまうことです。コンピュータは、古い視点から学んだ「ダクトテープ」の論理を適用しようとしてしまい、車が溶けたり道路が消えたりするような、分布外の奇妙なグリッチを引き起こします。

別の手法では、物体が3D空間のどこにあるかをコンピュータに正確に伝えるために、LiDAR（レーザースキャナー）を使用しようとします。しかし、LiDARは霧の中の懐中電灯のようなものです。目の前の物体ははっきりと見えますが、距離が離れるにつれて点は非常にまばらになり、障害物の後ろでは消えてしまいます。これにより、背景が不一致になったり、3D構造が崩壊したりするビデオが生成されてしまいます。

解決策： 「雲」のガイドによる2段階のダンス

著者らは、純粋に視覚（カメラ）と特別な3Dガイドに依存するシステムである「ReCamDriving」を提案しています。彼らがどのようにパズルを解いたのかを以下に示します。

1. 「雲」のガイド (3DGS レンダリング)
まばらなレーザーの点ではなく、チームは 3D Gaussian Splatting (3DGS) を使用しています。シーンを固い壁としてではなく、数百万の小さく色鮮やかに光る3D球体による濃密な雲として想像してください。この雲を新しい角度からレンダリングすると、たとえレンダリングのアーティファクトがあったとしても、完全で密な世界の画像が作成されます。重要な洞察は、この「雲の画像」が完璧ではなくても、正しい「形」と「構造」を持っているということです。それは、疎なレーザーのスキャンよりもはるかに詳細に、「車はここにあり、道路はあそこにある」ということをコンピュータに伝えます。

2. 2段階のトレーニング (歩いてから走る)
単にコンピュータに「雲の画像」を見せて新しいビデオを生成するように頼むと、コンピュータは完全な変換を学習するのではなく、近道（ショートカット）を選んでしまう可能性があります。つまり、単に雲の画像を「修復」しようとしてしまい、新しい場所にカメラを移動させる方法を実際に学習できないのです。これは「ショートカット学習」と呼ばれます。

これを防ぐために、著者らは 2段階のトレーニング戦略 を採用しました。

• ステージ1（歩行）: まず、カメラの移動指示（ポーズ）のみを使用してモデルを訓練します。彼らはAIに対し、「カメラを左に3メートル動かせ」と指示します。AIは、移動したときに世界がどのように変化するかという基本的な物理学を学びます。これは、生徒にダンスを教える前に歩き方を教えるようなものです。
• ステージ2（ダンス）: AIが動き方を理解したら、その部分の「脳」を固定し、新しいレイヤーを追加します。ここで、構造的な足場として「雲の画像（3DGSレンダリング）」をガイドとして入力します。AIはすでに動き方を知っているため、雲の画像を単なるコピー用のテンプレートとしてではなく、新しいビデオが幾何学的に正しく見えるようにするための構造的な足場として使用します。これは、ダンサーがすでに動いている最中に、転ばないようにステージの地図を与えるようなものです。

3. 「並行」データセット (ParaDrive)
このシステムを教えるためには、膨大な量の訓練データが必要でした。通常、同じ通りのビデオを、2台の車が並走している状態で取得することはできません。そこで、彼らは巧妙なトリックを編み出しました。単一の車のビデオを取り、そのシーンの3Dモデルを構築し、その後、もし2台目の車が左に3メートル離れて走っていたらどう見えるかという「偽のビデオ」をレンダリングしました。彼らはこの偽のビデオを「教師」とし、実際のビデオを「生徒」として使用しました。WaymoとNuScenesのデータセットから1,600のシーンにわたる110,000組のビデオペアに対してこの作業を行うことで、ParaDrive と呼ばれる新しいデータセットを作成しました。これにより、従来の手法が苦戦していた横方向（ラテラル）の動きに関するAIの訓練が可能になりました。

結果： より鮮明に、より滑らかに、より正確に

ReCamDrivingをテストした結果、その成果は目覚ましいものでした。

• 視覚的品質: 新しいビデオは、3Dモデルを「修復」しようとする手法よりも鮮明で、グリッチが少なくなりました。
• 一貫性: 3D構造は一貫性を保ちました。カメラが大幅に移動（横に最大4メートル）しても、車が溶けたり道路が歪んだりすることはありませんでした。
• カメラ制御: システムは、正確なカメラの指示に従う能力が非常に高いことが示されました。例えば、カメラを右に4メートル動かすよう指示した場合、Re-CamDrivingは、距離を誤ったり位置がずれたりすることが多いLiDARを用いた手法よりも、大幅に正確でした。

論文では、「悪い3Dレンダリングを修復すること」が最善の方法であるという考えを明確に否定しており、AIが見たことのない視点になると、その手法が失敗することを示しています。また、LiDARに頼ることは、データが希薄であるため、高精細で一貫した生成においては行き止まりであることも示しています。

なぜ重要なのか

この研究は、自動運転車のための完璧な3Dビデオシミュレーションを作成するために、高価なレーザースキャナーは必要ないことを示唆しています。スマートな2段階のトレーニングプロセスと、3Dピクセルの濃密な「雲」を使用することで、単一のカメラから高品質で幾何学的に一貫したビデオを生成できます。これにより、車両のフリートを並走させる必要がなくなり、生成された何百万もの「もしも（what-if）」のシナリオから学習できるため、自動運転車の訓練をより安価かつ容易にできる可能性があります。著者らは、この手法には初期段階として3Dモデルを構築する工程が必要であるものの、これは一度限りのコストであり、それによって無限のビデオ生成が可能になるという恩恵が得られると述べています。また、3D再構成技術が進歩するにつれ、このプロセスはさらに高速化していくでしょう。