Geometry Beats Estimated Depth: RGB-Only Multi-Camera 3D Tracking under Sim2Real

당신이 오직 보안 카메라로 찍은 평면적인 2D 사진들만을 이용해 분주한 창고의 3D 영화를 만들려고 한다고 상상해 보십시오. 이것이 바로 **멀티 카메라 3D 인지(multi-camera 3D perception)**의 세계입니다. 이 분야는 컴퓨터가 평면 이미지만을 보고 실제 3차원 세상을 이해하려고 노력하는 영역입니다. 보통 이를 완벽하게 수행하기 위해 로봇들은 박쥐가 초음파를 사용하거나 인간이 두 눈으로 깊이를 가늠하는 것처럼 거리를 직접 측정하는 특수 센서를 사용합니다. 하지만 이 특정 과제에서 로봇들은 거리에 대해 "눈이 먼" 상태입니다. 그들은 오직 표준 RGB 카메라(스마트폰에 들어있는 것과 같은 종류)와 카메라의 위치에 대한 일련의 규칙만을 가지고 있습니다. 과학자들이 던지는 핵심 질문은 이것입니다: 만약 거리를 직접 측정할 수 없다면, 거리를 추측하는 가장 좋은 방법은 무엇인가? 모든 픽셀의 깊이를 추측하는 초지능형 AI를 사용할 것인가(마치 심령술사가 나무까지의 거리를 맞히는 것처럼)? 아니면 카메라의 알려진 각도를 사용하여 기하학적으로 물체를 삼각 측량하는 단순한 기하학적 원리에 의존할 것인가?

LSU 뉴올리언스와 PinPark 팀이 AI City Challenge 2026을 위해 작성한 이 논문은 바로 이 논쟁 속으로 뛰어듭니다. 그들은 창고에서 사람과 로봇을 추적하기 위한 두 가지 서로 다른 전략 사이의 "줄다리기"를 설정했습니다. 한 팀(저자들)은 **기하학(geometry)**에 베팅했습니다. 즉, 바닥의 알려진 지도와 카메라의 각도를 사용하여 2D 형상을 3D 공간으로 들어 올리는 방식입니다. 다른 전략(대조군으로 테스트됨)은 **추정된 깊이(estimated depth)**에 베팅했습니다. 즉, 화려한 AI를 사용하여 모든 픽셀로부터의 거리를 추측하고, 평면 이미지를 3D 포인트 클라우드(디지털 점 구름 지도)로 변환한 뒤 3D 검출기를 실행하는 방식입니다. 결과는 충격적이고 명확했습니다. 기하학 팀이 압도적인 승리를 거둔 반면, "깊이 추측" 팀은 완전히 무너졌습니다. 이 논문은 이 특정 "Sim2Real"(로봇이 가짜 데이터로 학습되었지만 실제 데이터로 테스트되는 환경) 설정에서, 모든 카메라에 걸쳐 공유된 일관된 바닥에 대한 이해를 갖는 것이 개별 픽셀의 완벽한 깊이를 추측하는 것보다 훨씬 더 중요하다는 것을 시사합니다.

위대한 창고 강탈 사건: 3D를 보는 두 가지 방법

이야기는 매우 현실적이 될 거대한 시뮬레이션 창고에서 시작됩니다. 과제는 여러 대의 카메라 피드를 사용하여 움직이는 물체(지게차, 팔레트 트럭, 심지어 휴머노이드까지)를 추적하는 것입니다. 함정은 무엇일까요? 카메라에는 깊이 센서가 없습니다. 그들은 그저 일반적인 눈일 뿐입니다. AI는 평면 사진만을 보고 3D 공간(상/하, 좌/우, 전/후)에서 모든 것이 어디에 있는지 파악해야 합니다.

저자들은 이 사건을 해결하기 위해 두 명의 서로 다른 "탐정"을 설정했습니다.

탐정 A: 기하학 우선 팀 (The Geometry-First Team)
이 팀은 매우 논리적이고 "전통적인" 접근 방식을 취했습니다. 그들은 모든 픽셀의 깊이를 추측하려 하지 않았습니다. 대신, 그들은 이렇게 말했습니다. "우리는 바닥이 평평하다는 것을 알고, 카메라가 어디를 향하고 있는지도 정확히 알고 있다."

1. 물체 포착: 먼저, 강력한 검출기(YOLO11x라고 불리는)를 사용하여 각 카메라 뷰에서 물체 주변에 2D 박스를 찾았습니다.
2. 세계로 들어 올리기: 그들은 2D 박스의 하단 중앙을 가져와 수학적 방식(호모그래피)을 사용하여 알려진 바닥 평면에 투영했습니다. 이는 마치 카메라에서 박스의 바닥을 통과해 빛을 비추어 그것이 바닥 어디에 떨어지는지 확인하는 것과 같습니다.
3. 융합 및 추적: 동일한 지게차가 세 대의 카메라에 동시에 보일 수 있으므로, 그들은 이 "들어 올려진" 점들을 하나의 3D 위치로 병합했습니다. 그런 다음 물체가 창고 바닥을 가로질러 이동함에 따라 물체를 추적했습니다.
4. 비법 소스: 그들은 "오프라인 스티칭(offline stitching)"이라는 마지막 단계를 추가했습니다. 이는 마치 탐정이 "잠깐, 용의자가 5초 동안 사라졌지만 바로 여기에서 다시 나타났네. 동일 인물이야!"라고 깨닫는 것과 같습니다. 그들은 끊어진 추적 조각들을 연결하여 정체성을 복구했습니다.

탐정 B: 의사 LiDAR 팀 (The Pseudo-LiDAR Team)
이 팀은 과거에 깊이 데이터가 있었을 때 효과적이었던 "현대적인" 접근 방식을 시도했습니다. 그들은 그것을 흉내 내려고 했습니다.

1. 깊이 추측: 그들은 D4RT나 Metric3D와 같은 화려한 AI 모델을 사용하여 평면 이미지를 보고 모든 픽셀로부터의 거리를 추측했습니다. 이는 2D 이미지를 3D 점 구름으로 변환하여 실제 3D 센서(LiDAR)를 모방합니다.
2. 3D에서 검출: 이 "가짜" 3D 클라우드를 3D 검출기(V-DETR)에 입력하여 물체를 찾았습니다.
3. 희망: 그들은 실제 깊이가 없더라도 AI가 충분히 잘 추측하여 완벽한 3D 지도를 구축할 수 있기를 바랐습니다.

충격적인 결과: 기하학의 승리, 추측의 패배

결과는 단순한 승리가 아니라 압승이었습니다. 기하학 우선 팀은 13.0 HOTA(물체를 얼마나 잘 추적하고 위치를 파악했는지를 나타내는 척도)를 달성했습니다. 반면, "추측" 팀인 의사 LiDAR 팀은 0.12로 무너졌습니다. 이는 약 100배나 더 나쁜 수치입니다.

왜 추측 팀이 그렇게 처참하게 실패했을까요? 논문은 그 이유가 AI가 단일 이미지의 깊이를 추측하는 능력이 부족해서가 아니라고 제안합니다. 문제는 **일관성(consistency)**이었습니다.
당신과 세 명의 친구가 각자 찍은 사진을 바탕으로 방의 지도를 그리려고 한다고 상상해 보십시오.

• 기하학 팀은 모두 바닥이 어디인지에 대해 동의했습니다. 완벽하지는 않았을지라도, 그들은 모두 동일한 바닥 평면을 공유했습니다. 그들이 지도를 결합했을 때, 바닥은 평평했고 지게차들은 똑바로 서 있었습니다.
• 의사 LiDAR 팀은 각자 독립적으로 깊이를 추측했습니다. 한 친구는 바닥 높이가 1미터라고 생각했고, 다른 친구는 2미터라고 생각했으며, 세 번째 친구는 바닥이 공중에 떠 있다고 생각했습니다. 그들이 지도를 결합했을 때, 바닥은 뒤틀리고 울퉁불퉁한 덩어리가 되었습니다. 지게차들은 하늘에 떠 있거나 땅속에 파묻혀 버렸습니다.

저자들은 이를 **"교차 뷰 불일치(cross-view inconsistency)"**라고 부릅니다. AI가 단일 픽셀의 깊이를 정확하게 추측하더라도, 서로 다른 카메라 뷰에서 동일한 바닥에 대해 다르게 추측한다면 3D 지도는 깨지게 됩니다. 이 논문은 이 특정 작업에서, 픽셀 단위의 완벽한 깊이 추측보다 공유된 일관된 기하학(바닥 설계도)을 갖는 것이 훨씬 더 중요하다는 것을 보여줍니다.

무엇이 작동하지 않았는가 (그리고 왜?)

저자들은 단순히 두 팀을 비교하는 데 그치지 않고, 지는 팀을 고치고 이기는 팀을 개선하기 위해 온갖 기술을 시도했습니다. 그들은 다음을 테스트했습니다:

• 더 나은 검출기: 주 검출기를 더 새롭고 화려한 모델(RT-DETR 등)로 교체하거나 결합해 보았습니다. 결과: 도움이 되지 않았습니다. 문제는 검출기가 아니라, 학습할 실제 데이터의 부족이었습니다.
• 슬라이스 검출(Sliced Detection): 멀리 있는 작은 물체(예: 팔레트 트럭)를 잡기 위해 이미지를 아주 작은 조각으로 나누어 보았습니다. 결과: 이 방식은 오히려 상황을 악화시켰습니다. 더 많은 물체를 찾아냈지만, 대부분이 가짜 신호(유령)였으며 추적기를 혼란스럽게 만들었습니다.
• 학습된 리프팅(Learning to Lift): 박스를 바닥으로 "들어 올리는" 단순한 수학적 계산을 대신하여, 이를 학습하는 신경망을 도입해 보았습니다. 결과: 재앙이었습니다. 점수가 거의 0에 가깝게 떨어졌습니다. 단순한 수학이 학습된 모델보다 훨씬 더 신뢰할 수 있었습니다.
• 외형 재식별(Appearance Re-ID): 물체의 외형(예: "저것은 빨간색 지게차다")을 통해 식별하려고 시도했습니다. 결 result: 실제 환경에서는 조명과 각도가 너무 많이 변하기 때문에 도움이 되지 않았습니다.

기하학 팀에게 도움이 된 유일한 것은 오프라인 스티칭이었습니다. 사후에 추적 과정을 수정하여(끊어진 추적과 발견된 조각들을 연결하여) 동일한 물체의 끊어진 경로를 복구함으로써 점수를 약간 높였습니다. 이는 주요 병목 현상이 추적 로직이 아니라 검출 품질(물체를 먼저 제대로 찾는 것)에 있음을 시사합니다.

핵심 요점

이 논문은서로 다른 센서 없이 3D를 볼 수 있는 로봇을 만드는 모든 이들에게 명확한 교훈을 남깁니다: 기하학을 사용할 수 있다면 깊이를 추측하려 하지 마십시오.

로봇이 가짜 데이터로 학습되지만 실제 세계에서 테스트되는 환경에서, 모든 픽셀의 깊이를 배우려고 하는 것은 혼란스러운 지도를 만들어냅니다. 대신, 세상의 알려진 규칙(바닥은 평평하고 카메라는 고정되어 있다)을 고수하고, 2D 검출을 3D 공간으로 들어 올리기 위해 단순하고 명시적인 수학을 사용하는 것이 훨씬 더 신뢰할 수 있습니다. 깊이를 추측하는 AI의 "마법"은 실제 세계의 혼란을 극복할 만큼 강력하지 않습니다. 앞으로 나아갈 최선의 길은 더 나은 깊이 추측 AI가 아니라, 물체를 더 명확하게 볼 수 있는 더 나은 검출기입니다.