Generating Multi-view Adversarial Examples for Visual Geometry Grounded Transformer

急速に進化する人工知能の世界において、平面的な写真から三次元の世界を理解できる新世代のコンピュータビジョンシステムが登場しました。これらのシステムは「基盤モデル（foundation models）」として知られ、視覚データのユニバーサルな翻訳機として機能します。単に画像の中に車や木が含まれていると識別するだけでなく、異なる角度から撮影された複数の写真を組み合わせることで、シーンの完全でナビゲーション可能な3Dモデルを構築することができます。この技術は、ロボットのナビゲーション、自動運転車の周囲の認識、そして私たちがデジタル環境とどのように相互作用するかという点に革命をもたらすと期待されています。しかし、物理的な構造物にエンジニアが補強すべき弱点があるのと同様に、これらのデジタルシステムにも隠れた脆弱性が存在します。研究者たちは、画像に目に見えない極微量のノイズを加えることで、コンピュータにそこに存在しないものを見せることができるということを、以前から知っていました。これは「敵対的攻撃（adversarial attacks）」の領域であり、そこでの目的は、機械の理解に劇的な失敗を引き起こすための、最小限の変更を見つけ出すことです。

課題は常に、速度と一貫性にありました。これらの欺瞞的な画像を生成するための従来の手法は、コンピュータが各特定のシーンを分析し、その一瞬のために完璧なノイズパターンを計算するために、かなりの時間を費やす必要がありました。このプロセスは、シーンが瞬時に変化する現実世界のアプリケーションには遅すぎます。また、あらゆる場所で機能することを期待して、すべての画像に単一の静的なノイズパターンを適用する手法もありますが、これらはシーンの変化する幾何学構造に適応できないため、複雑な3Dシステムに対しては失敗することがよくあります。香港バプティスト大学の研究チームは、これら両方の問題を同時に解決する新しいアプローチを開発しました。彼らは、新しい状況ごとに停止して計算することなく、シーンの複数のビューにわたって一貫した不可視の攻撃を瞬時に生成できるシステムを作り上げたのです。

研究者たちは、特定の高性能モデルである「Visual Geometry Grounded Transformer」に焦点を当てました。このモデルは、一連の画像を受け取り、即座に3Dポイントクラウド（数百万の点によって物体の形状や位置を表すデジタルな骨格）を再構成するように設計されています。チームは、このモデルが通常の状態では非常に高速かつ正確である一方で、特定の種類の組織的な欺瞞に対しては驚くほど脆弱であることを発見しました。彼らは、まるで高速連写のカメラフィルターのように機能するツールを構築しました。その名は「マルチビュー敵対的摂動生成器（multi-view adversarial perturbation generator）」です。このツールは、シーンを分析してからゆっくりとトリックを仕掛けるのではなく、モデルの弱点のパターンを学習し、一連のすべての画像に対して同時にカスタマイズされた歪みを適用します。

これを実現するために、システムは困難なバランス調整を学習する必要がありました。3D再構成を破壊するのに十分強力でありながら、人間の目には決して気づかれないほど微細である必要があります。研究者たちは、ノイズがすべての異なるカメラ角度間で一貫性を保つように強制するメカニズムを設計しました。もしノイズが角度ごとに異なって見えた場合、3Dモデルはおそらくそれをエラーとして拒絶し、修正してしまうからです。歪みがすべてのビューにおいて完全に整合していることを保証することで、システムはモデルの内部ロジックを混乱させ、シーンの幾何学構造に対する把握力を失わせることができました。その結果、入力された画像は人間の観察者には完全に正常に見える一方で、再構成された世界は混沌とした塊へと崩壊するか、あるいは完全に消失するという、3D構造の完全な崩壊を招きました。

実験の結果、この新しい手法は従来の試みよりも遥かに優れていることが示されました。これらのシステムを打破するために使用される標準的なモデルに対してテストを行った際、新しい生成器は、古い手法が同様の結果を得るために数十回の遅い反復計算を必要としたのに対し、わずか一ステップで目標を達成しました。最大25の異なるカメラビューを含むシーンを用いたテストにおいて、新しいシステムは3D再構成の品質を一貫して低下させ、デジタル上の点が散乱したり、縮小して消滅したりすることを引き起こしました。研究者たちは、この攻撃が3D形状そのものだけでなく、ナビゲーションに不可欠な深度やカメラ位置の推定能力に対しても有効であることを発見しました。システムは、部屋の詳細な地図を、断片化され使い物にならない点の雲へと、ミリ秒単位で変貌させることができたのです。

この発見の最も驚くべき側面の一つは、攻撃の効率性です。研究者たちは、このツールが複数のビューを持つ複雑なシーンを、従来のメソッドが必要とするわずかなコンピュータメモリを使用して、1秒未満で処理できることを実証しました。この速度は、このような攻撃が、街を走るロボットや都市を飛行するドローンなどのリアルタイムのシナリオにおいて、理論的に展開可能であることを示唆しています。研究は、単一の静的なノイズパターンがこれらの複雑な3Dモデルに対して機能する可能性を明確に否定しており、代わりに、効果的であるためにはノイズが動的であり、異なるカメラ角度間の関係性を認識している必要があることを示しました。チームはまた、この攻撃が大きな目立つ歪みに依存しているのではなく、元の写真の質感や外観を維持したまま、機械の空間理解能力を完全に破壊するほど微細な変化であることを確認しました。

この研究の意義は、研究所内にとどまりません。研究者たちは、彼らの知見が、3Dビジョンシステムの展開における重大なセキュリティギャップを浮き彫りにしていると強調しています。もしモデルがこれほど容易かつ迅速に騙される可能性があるならば、自動運転車やロボットのナビゲーションといった、それらに依存するアプリケーションの安全性は脅かされる可能性があります。本研究は、これらのシステムが修復不可能なほど壊れていると主張しているのではなく、むしろ、これまで十分に扱われてこなかった、特定の非常に効率的なタイプの欺瞞に対して現在脆弱であることを指摘しています。著者らは、結論として、これらのシステムを保護するための堅牢な防御策と検出メカニズムの開発が急務であると述べています。彼らは、そのような安全策なしでは、3D基盤モデルの急速な採用が、微細で不可視の信号によって機械が現実世界で道を見失うという、新たな危険なリスクに重要インフラをさらす可能性があると示唆しています。