あなたは、さまざまな角度から撮影された一連の平面的な2D写真しか持っていない状態で、賑やかな街の通りの3Dモデルを構築しようとしていると想像してください。これは自動運転車が直面している日常的な課題です。彼らは高価なレーザースキャナーを使わず、カメラのみを使用して、車がどこにあり、歩道がどこで終わり、木々がどれくらい離れているかといった、3Dの世界を理解しなければなりません。この分野は「3Dセマンティック・オキュパンシー予測（3D semantic occupancy prediction）」と呼ばれます。これは、霧がかかった箱の中にある隠れた物体の形を、その影を見るだけで推測しようとする試みに似ています。厄介なのは「オクルージョン（遮蔽）」です。これは、あるものが他のものを遮っていることを指す専門用語です。もし大きなトラックが小さなフェンスの前にあれば、カメラにはトラックが見えますが、フェンスはその後ろに隠れてしまいます。現実世界では、トラックとフェンスは同じ視線上に存在していますが、長い間、コンピュータプログラムはこれらを同時に捉えることに苦労してきました。プログラムは、視線の経路における「勝者」を一つだけ選ばざるを得ず、隠れたフェンスを忘れてしまったり、距離を誤って推測したりすることがよくありました。

ここで、ゲームチェンジャーとなる新しい手法「RayOcc」が登場します。RayOccは、コンピュータに視線上の「最善の推測」を一つだけ選ばせる代わりに、複数の可能性を同時に想像することを可能にします。これは、カメラの視線に沿った空間を、単一の選択肢としてではなく、起こりうる一連の「イベント」の連続として扱います。これは「ガウス混合（Gaussian mixtures）」（重なり合う確率の雲のようなもの）と、「ポアソンイベント（Poisson event）モデル」（特定の場所に何滴の雨粒が当たるかを数えるようなもの）を用いた巧妙な数学的トリックを利用しています。これにより、Ray-Occは「ここにトラックがある確率が高く、かつ、その背後にフェンドがある確率も高い」と言うことができるのです。研究者たちは、膨大な走行シーンのコレクションであるnuScenesデータセットでこの手法をテストし、RayOccが従来の設計よりも、特に物が隠れている混雑した場面やトリッキーな場面において、よりクリーンで正確な3Dマップを作成できることを発見しました。

問題点：「一人の勝者」ルール

なぜRayOccが特別なのかを理解するために、まずコンピュータが通常どのように3Dを「見る」のかを見てみましょう。あなたが長い直線的な廊下を見下ろしているところを想像してください。従来の方法では、コンピュータはその廊下を見て、「よし、10メートルのところに壁がある」と言います。そして、その単一の距離を選択し、それ以外を無視します。もし実際に5メートルに椅子があり、15メートルに絵画があったとしても、コンピュータは混乱するか、あるいは椅子を選んで絵画が存在しないかのように振る舞うかもしれません。

これは、ほとんどの既存の手法が「ソフトマックス正規化（softmax normalization）」と呼ばれるルールを使用しているために起こります。これはパイに例えると分かりやすいでしょう。パイがあり、あらゆる可能な距離に対して一切れずつ切り分けていくとします。その合計サイズは常に100%でなければなりません。もし「5メートルの椅子」に巨大な一切れを与えてしまうと、「15メートルの絵画」のためのパイはほとんど残らなくなります。コンピュータは、これらのスライスを互いに競わせることを強制されます。椅子が大きければ、絵画は飢えさせられます。これは物体が一つしかない場合はうまく機能しますが、実際の都市では、一つの視線が車、フェンス、そして建物を通り抜けることがよくあります。これらの物体に一つのパイの切れ端を奪い合わせることは、薄い物体が消えてしまったり、形状が断片化して見えたりする、壊れた乱れた3Dモデルにつながります。

解決策：複数の仮説を共存させる

RayOccはこの「一つのパイ」のルールを捨て去ります。「ここにどの物体があるか？」と問う代わりに、「ここにいくつの物体がある可能性があるか、そしてそれぞれの証拠はどの程度強いか？」と問うのです。

著者らは「ガウス混合強度（Gaussian Mixture Intensity）」という概念を導入しています。再び、その廊下に懐中電灯を照らしているところを想像してください。懐中電灯が壁に一点のスポットを描くのではなく、ビーム全体に「強度の霧」を吹き付けていると考えてください。この霧には複数のピーク（頂点）を持つことができます。一つのピークはトラックがある場所で厚く明るく、もう一つのピークは、その背後のフェンスがある場所で少し暗いかもしれませんが、依然として明確に見えることができます。この「強度」は、（パイのように）固定された合計値に加算されることを強制されないため、トラックがフェンスから光を奪うことはありません。両者は同時に強く存在することができます。

この霧を決定へと変えるために、RayOccは「ポアソンイベント定式化（Poisson event formulation）」を使用します。これは、ランダムなイベントに関する統計的な考え方です。歩道の特定の正方形に雨粒が当たるのを待っているところを想像してください。もし「雨の強度」が高ければ、その正方形に少なくとも一滴の雨が当たる確率は非常に高くなります。RayOccは、廊下の各小さなスライスを、歩道の正方形として扱います。もしある物体がそのスライスを通過する「強度」が十分に高ければ、システムは「はい、この空間は占有されている」と判断します。これにより、システムは同じ視線上の複数のスライスを、互いに争わせることなく「占有されている」とマークできるのです。

雲から3Dの塊へ

システムの強度のピークがどこにあるかを特定したら、次に実際の3Dモデルを構築する必要があります。この論文では、「3Dガウス・プリミティブ（3D Gaussian primitives）」を用いる技術を使用しています。これらは、空間に浮遊する、ぼんやりとした光る3Dの塊（ブロブ）だと考えてください。各塊には、中心、サイズ、色（または「車」や「道路」といったセマンティック・ラベル）、そして透明度があります。

従来の手法では、コンピュータは通常、単一の「最善の」深度予測に基づいて、すべての視線に対して一つの塊を選びます。しかし、RayOccは複数の強度ピークを確認します。もしトラックの強いピークと、弱いが明確なフェンドのピークが見えた場合、どちらかを選ぶ必要はありません。トラックのための塊と、フェンスのための塊の両方を生成できるのです。これは「適応的なコンポーネント単位のサンプリング（adaptive component-wise sampling）」と呼ばれます。これは、シェフがスープにたった一つの材料を選ぶのではなく、それぞれの風味の強さに応じていくつかの異なる材料を加えることで、より豊かで複雑な料理を作り上げる様子に似ています。

これらの塊は、その後精緻化され、「ラスタライズ（rasterized）」（グリッド上に描画）され、自動運転車がナビゲーションに使用する最終的な3Dマップを作成します。

結果：よりクリーンなマップ、より優れた運転

研究者たちは、ボストンとシンガポールからの1,000の走行シーンを含む標準的なテストセットである「nuScenesベンチマーク」でRayOccをテストしました。彼らは、自らの手法を他のトップレベルのカメラのみのシステムと比較しました。

結果は、RayOccがテストされたガウスベースの手法の中で「最先端（state-of-the-art）」の性能を達成したことを示しました。具体的には以下の通りです：

• 全体的な IoU (Intersection-over-Union) は 34.84 に達しました。
• mIoU (mean IoU) は 22.03 を達成しました。

これを比較対象として捉えると、同様のアプローチを用いた従来の最高手法（VG3T）は、IoU 34.06、mIoU 21.74 でした。RayOccはこれらの数値を向上させており、これはRayOccの3Dマップが現実世界により密接に一致していることを意味します。

この論文は、この改善が「オクルージョン（遮蔽）のあるシーン」、つまり物体が他のものの後ろに隠れている場所で最も顕著であることを強調しています。視覚的な比較において、RayOccは、トラックが細いフェンスの隣にある場合でもトラックの完全な形状を再構成できましたが、他の手法はトラックの形状がフェンスの中に「漏れ出したり」、あるいはフェンス自体を見失ったりする傾向がありました。また、RayOccは（ガウスの）3Dの塊（ガウス）の数を比較的低く（1シーンあたり平均約19,251個）維持しながら高い精度を保っており、これは単に大量のデータを投入しているのではなく、より知的に活用していることを示唆しています。

なぜこれが重要なのか

この論文の核心的な発見は、**「ボリューム（容積）の占有は、単一の選択問題ではなく、マルチラベル問題である」**ということです。視線に沿って物体を「勝者」の地位のために競わせることを止めることで、RayOccはより現実的な世界の表現を可能にします。それは、賑やかな都市においては、一度の眼差しが車、歩行者、そして建物を同時に捉えることがあり、コンピュータもそれらすべてを同時に信じることが許されるべきであるという事実を認めているのです。

著者らは、このアプローチが、特に困難な環境において「よりクリーンで空間的に一貫した占有（occupancy）」をもたらすと結論づけています。この手法は、古い手法と比較して計算コストが中程度増加しますが、そのトレードオフは、自動運転車の安全性と計画にとって極めて重要となる、より信頼性の高い3D世界の理解です。論文は、光と物体がどのように相互作用するか（一つの経路に複数のものが存在し得るという性質）という真の性質に数学的モデルを適合させることで、自動運転車のよりスマートで安全な「目」を構築できることを示唆しています。