A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction

컴퓨터 비전의 세계에서 기계들은 평면 사진으로부터 3차원 세상을 보는 법을 배우고 있습니다. 이들은 일련의 2차원 이미지들을 가져와 단 한 번의 과정(single pass)으로 장면의 3D 지도를 재구성하며, 벽, 바닥, 물체를 나타내는 점들을 공간상에 배치합니다. 이러한 시스템이 로봇을 안내하거나 자율주행 자동차를 돕는 것과 같이 실생활에서 유용하게 쓰이기 위해서는, 단순히 사물이 어디에 있는지에 대한 추측 이상의 것이 필요합니다. 즉, 그 추측이 얼마나 확실한지를 알아야 합니다. 여기서 '신뢰도 신호(confidence signal)'가 등장합니다. 모델이 3차원 공간의 한 점을 예측할 때마다, 모델은 그 예측의 확신 정도를 나타내는 수치를 함께 내보냅니다. 이 3D 데이터를 실제로 사용하는 프로그램인 다운스트림 시스템들은 이 숫자를 신뢰성 신호로 읽습니다. 만약 신뢰도가 높으면 시스템은 그 점을 신뢰하고 사용하지만, 신뢰도가 낮으면 그 점을 무시하거나 주의해서 다룹니다. 수년간 이 신뢰도 신호는 단순한 순위 지정 도구, 즉 픽셀을 가장 신뢰할 수 있는 것부터 가장 신뢰할 수 없는 것으로 정렬하는 방법으로 취급되어 왔습니다. 하지만 한 가지 결정적인 질문이 해결되지 않은 채 남아 있었습니다. 과연 그 숫자 자체가 실제 오차가 얼마나 큰지에 대해 진실을 말해주고 있는가 하는 점이었습니다.

뮌헨 공과대학교를 비롯한 여러 기관의 연구진은 이 신뢰도 신호를 현미경 아래에 두고 정밀 조사하기로 했습니다. 그들은 새로운 모델을 만들거나 기존 모델을 더 잘 가르치려 하지 않았습니다. 대신, 이미 과학계에서 사용되고 있는 7개의 기존 공개 모델들을 엄격하게 감사(audit)했습니다. 그들은 실내 방, 도시 거리, 합성된 비디오 게임에 이르는 13개의 서로 다른 데이터셋을 대상으로 이 모델들을 테스트했으며, 여기에는 수십억 개의 개별 픽셀이 포함되었습니다. 그들의 목표는 모델이 생성한 신뢰도 숫자가 불확실성에 대한 정확한 측정값인지, 아니면 단순히 오차의 순위만 잘 매길 뿐 실제 크기에 대해서는 진실을 말하지 못하는 것인지를 확인하는 것이었습니다.

연구진은 모델들이 순위를 매기는 데는 탁월하다는 것을 발견했습니다. 만약 어떤 모델이 한 픽셀이 다른 픽셀보다 더 확신이 있다고 말한다면, 첫 번째 픽셀이 실제로 더 정확하다는 것은 거의 항상 옳았습니다. 그러나 실제 오차의 크기를 살펴보았을 때, 다른 이야기가 드러났습니다. 모델들은 일관되게 과잉 확신(overconfident) 상태였습니다. 모델들은 실제보다 훨씬 더 확신하고 있었습니다. 테스트된 모든 모델에 걸쳐 평균적으로 예측된 불확실성은 실제보다 2.4배나 낮았습니다. 이는 만약 모델이 오차를 1센티미터라고 예측했다면, 실제 오차는 종종 2.4센티미터에 가까웠음을 의미합니다. 문제는 모델이 확신을 느끼면 느낄수록 더 심각해졌습니다. 모델이 매우 확신할 때, 모델은 사실 가장 많이 틀렸으며, 어떤 경우에는 오차를 최대 15배까지 과소평가했습니다.

이러한 과잉 확신은 모델이 제대로 학습되지 않았거나 학습을 너무 일찍 멈췄기 때문에 나타난 현상이 아니었습니다. 연구진은 공개된 모델을 가져와 자체 데이터로 계속 학습시키더라도, 모델이 빠르게 수학적 한계에 도달하여 새로운 미학습 이미지에서도 계속 과잉 확신 상태를 유지한다는 것을 증명했습니다. 문제는 모델이 충분히 배우지 못한 것이 아니라, 모델이 신뢰도 숫자를 생성하도록 교육받는 방식이 현실 세계에서 그 숫자들이 사용되는 방식과 근본적으로 다르다는 점이었습니다. 훈련 과정에서 모델은 특정 수학적 손실 함수(loss function)를 최소화하도록 학습되었는데, 이 함수는 오차의 순위를 최적화하는 데는 유리했지만, 새로운 환경에서 신뢰도 숫자가 실제 물리적 오차의 크기와 일치하는 것을 보장하지는 않았습니다.

이를 해결하기 위해 연구진은 간단한 사후 교정(post-hoc correction) 방법을 개발했습니다. 연구진은 모델과 데이터셋에 따라 신뢰도 숫자를 조절하는 특정 수학적 법칙인 거듭제곱 법칙(power law)을 적용함으로써, 예측된 불확실성을 진실에 훨씬 가깝게 가져올 수 있다는 것을 발견했습니다. 이 교정은 순위를 바꾸지는 않았습니다. 모델은 여전히 픽셀을 올바르게 정렬했습니다. 하지만 규모(scale)를 바로잡았습니다. 이 조정을 통해 예측 오차는 평균적으로 2.4배 차이에서 1.35배 차이로 줄어들었습니다. 만약 연구진이 사용 중인 특정 데이터셋으로부터 약간의 라벨링된 데이터를 확보할 수 있다면, 이 교정을 더욱 정교하게 다듬어 오차를 예측값의 1.12배 수준까지 낮출 수 있었습니다.

이러한 성공에도 불구하고, 연구진은 단순한 숫자가 해결할 수 없는 한계가 존재한다는 것을 발견했습니다. 교정 작업은 평균적으로는 잘 작동했지만, 모든 개별 장면(scene)에 대해 오차를 완벽하게 예측할 수는 없었습니다. 전체 데이터셋에 대해 작동하는 교정이 특정 방이나 거리에서는 실패할 수 있는데, 이는 장면의 오차가 단순히 숫자의 전역적인 변화가 아니라 그 장면 고유의 형태와 구조에 따라 달라지기 때문입니다. 모델들은 자신이 보고 있는 장면의 구체적인 기하학적 구조에 대한 깊은 이해가 부족하며, 어떤 재조정(rescaling)도 그 결여된 지식을 완전히 보완할 수는 없습니다.

이 연구는 이러한 피드포워드(feed-forward) 3D 재구성 모델들이 신뢰성의 순위를 매기는 데는 뛰어난 도구이지만, 그들의 가공되지 않은 신뢰도 숫자를 오차에 대한 직접적인 측정값으로 신뢰해서는 안 된다고 결론짓습니다. 그것들은 순위를 정하는 데는 믿을 만한 가이드이지만, 측정하는 데는 그렇지 않습니다. 연구진은 자신들의 감사 프로토콜과 테스트한 모든 모델 및 데이터셋에 대한 특정 교정 상수들을 공개하여, 다른 과학자와 엔지니어들이 이러한 수정 사항을 즉시 적용할 수 있도록 했습니다. 이 연구는 명확한 길을 제시합니다. 사용자들은 이제 이 강력한 사전 학습된 모델들을 가져와 신뢰도 신호에 간단한 교정을 적용함으로써, 실제 한계치를 훨씬 더 명확하게 이해하며 사용할 수 있게 되었습니다.