Track-Leakage-Free Hold-Out Self-Validation for Photogrammetric Reconstruction: Protocol, Sensitivity, and Limits

あなたは、写真の山だけを頼りに謎を解こうとしている探偵だと想像してください。地図も定規も、現実世界の物事が実際にどこにあるのかを知るための外部の手がかりもありません。手元にあるのは写真だけです。コンピュータビジョンの世界では、これを**Structure-from-Motion (SfM)**と呼びます。これは、コンピュータが異なる角度から撮影された何百枚もの写真を見て、シーンの3D形状を解き明かし、まるで何もない空間からデジタルな粘土モデルを作り上げるかのような、魔法のようなプロセスです。これは、橋のひび割れを測定したり、坑道をマッピングしたり、ビデオゲームの3Dモデルを作成したりするために使用されます。

しかし、ここからが厄介なところです。コンピュータがこの3D世界を構築したあと、それが正しいかどうかをどうやって判断すればよいのでしょうか？通常、測定の正確さを確認するには、「グラウンドトゥルース（真値）」、つまり「はい、そのひび割れは正確に3ミリメートル幅です」と言ってくれる現実世界の定規やGPS測量士が必要です。しかし、あらゆる現場に測量士を派遣するのはコストがかかり、時間がかかります。そこで、科学者たちが抱いてきた大きな疑問があります。コンピュータは自分で自分の宿題を採点できるのだろうか？ 自分の3Dモデルを見て、現実世界の定規を一度も見ることなく、「私はこれが99%正確であると確信しています」と言えるのだろうか？ 本論文は、コンピュータが自らの仕事を採点しようとする巧妙な新しい手法を検証しながら、まさにこの問いを深く掘り下げています。

---

騙されたセルフチェック

この論文の研究者たちは、**「トラック・リーケージ・フリー・ホールドアウト・セルフバリデーション（Track-Leakage-Free Hold-Out Self-Validation）」**と呼ばれる手法をテストすることに決めました。これは非常に長い名前なので、簡単な比喩で分解してみましょう。

あなたがテストを受けていると想像してください。ただし、単に問題に答えるだけでなく、自分の試験の採点も自分で行わなければなりません。公平にするために、あなたは解答集からいくつかの問題を隠すことにしました。そして、それらの隠された問題に対して、他の問題に対して書いた回答のみを使って、それらの問題を解こうと試みます。もし、隠された問題への回答が、テストの残りの部分に書いた回答と一致していれば、あなたは自分がよくやったという自信を持つことができます。

コンピュータの世界では、これは以下を意味します：

1. セットアップ: コンピュータは100枚の写真を使って3Dモデルを構築します。
2. 「ホールドアウト（保持）」: それは、10枚の写真を密かに隠しておくことです。
3. 「障壁」: これが巧妙な部分です。コンピュータがこれら10枚の隠された写真がどこに位置するかを特定しようとする際、それらの特定の写真が作成に貢献した3Dポイントを使用することは禁止されます。コンピュータは、他の90枚の写真によって構築されたポイントのみを使用できます。これにより、コンピュータが自分の仕事を見ることによってズルをすることを防ぎます。
   • しかし、微妙な落とし穴があります： 隠された写真は、チェックに使用される特定の3Dポイントからは除外されていますが、モデル全体の「ゲージ（尺度や向き）」を構築した元の計算には含まれていました。このテストは「トラック・リーケージ・フリー（情報の漏洩がない）」であり（ポイントについてはズルをしていません）、しかし、モデル全体の形状からは完全に独立しているわけではありません。
4. チェック: コンピュータは隠された写真を「再ローカライズ（再配置）」しようと試みます。もし、それらの写真をモデルの中に完璧に配置できれば、高い信頼スコア（例えば1.00のうちの1.00）を自分に与えます。

研究者たちは、このスコアがモデルの正確さを教えてくれることを期待していました。彼らが知りたかったのは、もしコンピュータが自分自身に満点をつけた場合、そのモデルは本当に正しいのか？ ということです。

大きな驚き：「完璧な」嘘

3つの大陸にわたるドローン、河川、鉱山の実世界のデータを用いてテストした結果、答えは明白な**「ノー」**でした。

本論文は、このセルフチェックが特定の種類の重大なエラーに対して盲目であることを明らかにしました。ここにひねりがあります。コンピュータは、内部的には完璧だが、全体としては間違っているモデルを構築することができるのです。

ゴムシートを想像してみてください。ゴムシートの上に、都市の完璧な地図を描いたとします。もし、シート全体を均一に引き伸ばした場合、すべての通りは依然として互いに正しい方法でつながっています。通り同士の距離は、相対的には一貫して見えます。もし、他の通りだけを使って、2つの通りの間の距離を測ることで地図をチェックしようとしても、すべては完璧に見えます。しかし、その引き伸ばされた地図を現実の定規と比較しようとすると、都市全体が50メートル大きすぎたり、奇妙に歪んでいたりする可能性があります。

研究者たちは、これが現実の世界で起こることを証明しました。彼らは実際のドローン調査データを取り出し、「汚染（corruption）」（例えば、写真間の接続を入れ替えるなど）を注入して、コンピュータが間違ったモデルを構築するように強制しました。

• 結果: 4つのテストケースのうち3つにおいて、コンピュータはグローバルに歪んだモデル（55メートルから106メートルも間違っている！）を構築しました。
• スコア: このモデルがサッカー場の長さ分も間違っていたにもかかわらず、コンピュータは1.00という完璧な信頼スコアを自分に与えました。

このセルフチェックは、モデルがバラバラに崩壊したときにのみ機能しました。汚染があまりにひどく、3Dモデルが2つの別々の、接続されていないパーツに分裂してしまった場合、スコアは下がりました（約0.96）。しかし、モデルが1つのパーツのままで、単に「曲がったり」「引き伸ばされたり」している場合、コンピュータは自分が間違っていることに全く気づきませんでした。

もう一つの罠もあります。 このテストは、**繰り返される構造の結合（repeated-structure merges）**に対しても盲目です。例えば、同じようなドアが並ぶ長い廊下がある建物があるとします。もしコンピュータが混乱して、廊下がループして戻ってくる（建物の異なる部分を1つに結合してしまう）と勘違いした場合、それは自己整合的ではあるものの、物理的には不可能なモデルを作成します。なぜなら、「繰り返される」部分は互いに同じように見えるため、コンピュータはすべてが完璧にフィットしていると考え、幾何学的に根本的に間違っているにもかかわらず、高いスコアを出すからです。

なぜこれが重要なのか（そして、なぜ失敗ではないのか）

「では、このテストは失敗したのか？」と思うかもしれません。正確にはそうではありません。この論文は、実は非常に誠実な成功例です。なぜなら、このテストが「できないこと」を教えてくれることは、「できること」と同じくらい重要だからです。

研究者たちは、このセルフチェックが優れた**「断片化のトリップワイヤー（破綻検知器）」**であることを示しました。もしモデルがバラバラのパーツに崩壊した場合、テストはそれを検知します。これは、「おい、ここで何かが壊れているぞ、よく確認しろ」と言うための、安価で速い方法です。

しかし、これは現実の定規の代わりにはなりません。

• これが測定しているもの: 内部的な一貫性です。パズルのピースがうまく組み合わさっているかどうかを教えてくれます。
• これが逃してしまうもの: モデルが正しいサイズなのか、正しい場所にあるのか、あるいは誤って同じ見た目のパーツを1つの不可能な形に結合してしまったのかを判断することはできません。

著者たちは、公開ベンチマークや実際の産業現場を含む多くのデータセットでこれをテストしました。ドローンのスケールがドリフト（飛行しながら徐々に大きくなっていく）した有名なデータセットにおいても、ドリフトが滑らかで一貫していたため、セルフチェックは依然として完璧なスコアを出したことが分かりました。

好奇心旺盛なティーンエイジャーへのまとめ

では、教訓は何でしょうか？

もしあなたがコンピュータで、写真から3Dの世界を作ろうとしているなら、自分自身にこう問いかけることができます。「私の写真はすべて互いに一致しているだろうか？」 もし答えが「イエス」なら、あなたは高いスコアを得ます。しかし、それはあなたの世界が正しいサイズであること、正しい場所にあること、あるいは誤って2つの異なる建物を1つに結合していないことを意味するわけではありません。あなたは、完璧で一貫性のある巨人かもしれないし、完璧で一貫性のある小人かもしれないし、あるいは完璧で一 一貫性のあるループ（輪）かもしれません。そして、このテストはそれを見分けることはできないのです。

論文は、この「セルフチェック」を現実の測量士やGPS測定の代わりとして信頼することはできないと結論づけています。これは、壊れたモデルを捉えるための有用なツールですが、測定が正確であることを教えてくれる魔法の杖ではありません。滑らかなグローバルエラーや繰り返される構造に対する「盲点」は、単なるコードのバグではなく、数学の根本的な限界なのです。

要するに、**「内部の一致は、絶対的な真実とは異なる」**ということです。モデルは完璧に一貫していても、完全に間違っている可能性があります。そして、この論文はその証明なのです。私たちのデジタルマップをチェックするために、現実世界の定規を使い続ける必要があるということを。