Track-Leakage-Free Hold-Out Self-Validation for Photogrammetric Reconstruction: Protocol, Sensitivity, and Limits

당신이 오직 사진 더미만을 이용해 미스터리를 풀려는 탐정이라고 상상해 보세요. 당신에게는 실제 세상의 사물들이 실제로 어디에 있는지 알려줄 지도도, 자(ruler)도, 외부의 단서도 없습니다. 오직 사진들뿐입니다. 컴퓨터 비전의 세계에서 이것은 **Structure-from-Motion (SfM)**이라고 불립니다. 이는 컴퓨터가 서로 다른 각도에서 찍은 수백 장의 사진을 보고, 마치 허공에서 디지털 점토 모델을 빚어내듯 장면의 3D 형태를 파악하는 마법 같은 과정입니다. 이 기술은 교량의 균열을 측정하거나, 광산 내부를 매핑하거나, 비디오 게임을 위한 3D 모델을 만드는 데 사용됩니다.

하지만 까다로운 문제가 있습니다. 컴퓨터가 이 3D 세계를 구축한 후, 그것이 맞는지 어떻게 알 수 있을까요? 보통 어떤 측정값이 정확한지 확인하려면, "저 균열의 너비는 정확히 3밀리미터이다"라고 말해줄 실제 세상의 자나 GPS 측량사가 필요합니다. 하지만 모든 작업 현장에 측량사를 배치하는 것은 비용이 많이 들고 느린 일입니다. 그래서 과학자들이 던진 핵심 질문은 이것입니다. 컴퓨터가 스스로의 숙제를 채점할 수 있을까? 즉, 컴퓨터가 실제 자를 한 번도 보지 않고도 자신의 3D 모델을 보고 "나는 이 모델이 99% 정확하다고 확신한다"라고 말할 수 있을까요? 이 논문은 컴퓨터가 자신의 작업을 스스로 채점하는 영리한 새로운 방법을 테스트하며 바로 이 질문을 깊이 있게 파고듭니다.

---

속임수에 빠진 자기 검증

이 논문의 연구자들은 **"트랙 누출이 없는 홀드아웃 자기 검증(Track-Leakage-Free Hold-Out Self-Validation)"**이라는 방법을 테스트하기로 했습니다. 이름이 좀 길으니, 간단한 비유로 풀어보겠습니다.

당신이 시험을 보고 있는데, 단순히 답을 적는 것이 아니라 자신의 시험지를 직접 채점해야 한다고 상상해 보세요. 공정성을 기하기 위해, 당신은 정답지에서 몇 개의 문제를 숨겨두기로 합니다. 그런 다음, 나머지 문제들에 대해 작성한 답들을 이용해서 그 숨겨진 문제들을 풀어봅니다. 만약 숨겨진 답들이 나머지 시험지에 쓴 답들과 일치한다면, 당신은 자신이 시험을 잘 치렀다고 확신하게 될 것입니다.

컴퓨터의 세계에서는 이것이 다음과 같이 진행됩니다:

1. 설정: 컴퓨터가 100장의 사진을 사용하여 3D 모델을 구축합니다.
2. "홀드아웃(숨기기)": 컴퓨터는 그중 10장의 사진을 몰래 숨깁니다.
3. "장벽": 이것이 영리한 부분입니다. 컴퓨터가 숨겨진 10장의 사진이 어디에 위치해야 하는지 알아내려 할 때, 컴퓨터는 해당 사진들이 생성하는 데 도움을 준 특정 3D 지점들을 사용하는 것이 금지됩니다. 오직 나머지 90장의 사진이 만든 지점들만 사용할 수 있습니다. 이는 컴퓨터가 자신의 작업물을 훔쳐봄으로써 부정행위를 하는 것을 방지합니다.
   • 하지만 미묘한 함정이 있습니다: 숨겨진 사진들이 특정 3D 지점들을 사용하는 것에서는 제외되었지만, 이 사진들은 원래 모델 전체의 "게이지"(규모와 방향)를 구축하는 계산 과정에는 포함되어 있었습니다. 이 테스트는 "트랙 누출이 없는(track-leakage-free)" 방식이지만(지점들을 속이지는 않지만), 모델의 전반적인 형태로부터 완전히 독립적인 것은 아닙니다.
4. 체크: 컴퓨터는 숨겨진 사진들을 다시 "재국지화(re-localize)"하려고 시도합니다. 만약 모델 안에 완벽하게 다시 배치할 수 있다면, 컴퓨터는 자신에게 높은 신뢰도 점수(예: 1.00 만점에 1.00)를 부여합니다.

연구자들은 이 점수가 모델의 정확도를 알려주기를 바랐습니다. 그들은 다음과 같이 알고 싶었습니다. 만약 컴퓨터가 자신에게 완벽한 점수를 준다면, 그 모델은 실제로 정확한가?

거대한 반전: "완벽한" 거짓말

세 대륙에 걸친 드론, 강, 광산의 실제 데이터를 테스트한 결과, 답은 단호하게 **"아니오"**였습니다.

논문은 이 자기 검증 방식이 특정 유형의 거대한 오류에는 **무지하다(blind)**는 것을 발견했습니다. 여기서 반전이 일습니다. 컴퓨터는 내부적으로는 완벽하지만, 전역적으로는 틀린(globally wrong) 모델을 만들 수 있습니다.

고무판을 생각해보세요. 고무판 위에 도시의 완벽한 지도를 그렸다고 가정합시다. 만약 고무판 전체를 균일하게 늘린다면, 모든 거리(street)는 여전히 서로 올바른 방식으로 연결되어 있을 것입니다. 거리 사이의 간격은 서로에 대해 상대적으로 일관되게 보일 것입니다. 만약 다른 거리들을 이용해 두 거리 사이의 거리를 측정하여 지도를 확인하려 한다면, 모든 것이 완벽해 보일 것입니다. 하지만 그 늘어난 지도를 실제 자와 비교하려고 하면, 도시 전체가 50미터 더 크거나 이상하게 뒤틀려 있을 수 있습니다.

연구자들은 이것이 현실에서 일어난다는 것을 증명했습니다. 그들은 실제 드론 조사 데이터를 가져와서 "오염(corruption)"(예: 사진 간의 연결 관계를 뒤섞는 것)을 주입하여 컴퓨터가 잘못된 모델을 구축하도록 강제했습니다.

• 결과: 네 가지 테스트 케이스 중 세 가지에서, 컴퓨터는 전역적으로 왜곡된(globally distorted) 모델을 만들었습니다 (55~106미터나 틀렸습니다!).
• 점수: 이 모델이 축구장 길이만큼이나 틀렸음에도 불구하고, 컴퓨터는 자신에게 1.00이라는 완벽한 신뢰도 점수를 주었습니다.

이 자기 검증은 모델이 조각조각 부서질 때만 작동했습니다. 만약 오염이 너무 심해서 3D 모델이 두 개의 분리된, 연결되지 않은 조각으로 나뉘게 되면 점수가 떨어졌습니다(약 0.96까지). 하지만 모델이 한 조각으로 유지되면서 일관된 방식으로 "휘거나" "늘어난" 경우라면, 컴퓨터는 자신이 틀렸다는 사실을 전혀 알지 못했습니다.

두 번째 유형의 함정도 있습니다: 이 테스트는 **반복 구조 병합(repeated-structure merges)**에도 무지합니다. 똑같이 생긴 문들이 길게 늘어선 복도가 있는 건물을 상상해 보세요. 만약 컴퓨터가 혼동을 일으켜 복도가 다시 돌아온다고 생각하여(건물의 서로 다른 두 부분을 하나로 병합하여), 물리적으로 불가능한 형태를 만들더라도, "반복되는" 부분들이 서로 동일하게 보이기 때문에 컴퓨터는 모든 것이 완벽하게 들어맞는다고 생각하며 높은 점수를 줍니다.

이것이 왜 중요한가 (그리고 왜 실패가 아닌가)

여러분은 이렇게 생각할 수도 있습니다. "그럼 이 테스트는 실패한 것 아닌가요?" 꼭 그렇지는 않습니다. 이 논문은 이 테스트가 무엇을 할 수 없는지를 알려준다는 점에서 매우 정직한 성공 사례입니다. 무엇을 할 수 있는지만큼이나 무엇을 할 수 없는지도 중요하기 때문입니다.

연구자들은 이 자기 검증이 훌륭한 **"파편화 탐지기(Fragmentation Tripwire)"**임을 보여주었습니다. 만약 모델이 조각들로 무너져 내린다면, 이 테스트는 그것을 잡아낼 것입니다. 이는 "이봐, 무언가 잘못되었으니 자세히 살펴봐"라고 말할 수 있는 저렴하고 빠른 방법입니다.

하지만 이것은 실제 자를 대체할 수는 없습니다.

• 측정하는 것: **내부적 일관성(internal consistency)**을 측정합니다. 퍼즐 조각들이 서로 잘 맞는지 알려줍니다.
• 놓치는 것: 모델의 크기가 전체적으로 틀렸는지, 공간상에서 뒤틀렸는지, 혹은 실수로 똑같이 생긴 부분들을 하나의 불가능한 모양으로 병합했는지는 알 수 없습니다.

저자들은 공공 벤치마크와 실제 산업 현장을 포함한 다양한 데이터셋을 통해 이를 테스트했습니다. 그들은 모델이 63미터나 차이가 날 때도 신뢰도 점수가 1.00으로 유지된다는 것을 발견했습니다. 심지어 드론의 스케일이 비행하면서 점점 커지는(drift) 유명한 데이터셋을 조사했을 때도, 변화가 매끄럽고 일관적이었기 때문에 자기 검증은 여전히 완벽한 점수를 주었습니다.

결론적으로

컴퓨터로서 사진을 통해 3D 세계를 구축하고 있다면, 여러분은 스스로에게 이렇게 물을 수 있습니다. "내 모든 사진이 서로 일치하는가?" 만약 그렇다면, 여러분은 높은 점수를 얻을 것입니다. 하지만 그것이 여러분의 세계가 올바른 크기인지, 올바른 위치에 있는지, 혹은 실수로 두 개의 서로 다른 건물을 하나로 합쳐버린 것은 아닌지를 의미하지는 않습니다. 여러분은 완벽하게 일관된 거인이 될 수도 있고, 완벽하게 일관된 난쟁이가 될 수도 있으며, 완벽하게 일관된 루프(loop)가 될 수도 있지만, 이 테스트는 그 차이를 알지 못합니다.

이 논문은 우리가 이 "자기 검증"을 실제 측량사나 GPS 측정을 대체하는 용도로 신뢰해서는 안 된다고 결론짓습니다. 이는 깨진 모델을 잡아내는 유용한 도구이지만, 여러분의 측정값이 정확한지 알려주는 마법 지팡이는 아닙니다. 매끄러운 전역적 오류와 반복 구조에 대한 "맹점"은 단순한 코드의 버그가 아니라 수학의 근본적인 한계입니다.

요약하자면: 내부적인 일치(Internal agreement)가 절대적인 진리(Absolute truth)와 같은 것은 아닙니다. 모델은 완벽하게 일관되면서도 완전히 틀릴 수 있으며, 이 논문은 우리가 디지털 지도를 확인하기 위해 여전히 실제 세상의 자를 계속 사용해야 한다는 증거를 제시합니다.