LiDAR-based 3D Change Detection at City Scale

거대하고 입체적인 도시 지도를 완벽하게 최신 상태로 유지하려고 노력한다고 상상해 보십시오. 도시는 살아있는 생명체와 같습니다. 매일 성장하고, 줄어들고, 형태가 변합니다. 새로운 건물이 들어서고, 오래된 건물은 철거되며, 나무는 전정되고, 도로은 재포장됩니다. 자율주행 자동차나 도시 계획가들을 위해 디지털 트윈(digital twin)을 정확하게 유지하려면, 이러한 변화를 즉각적이고 올과하게 포착해야 합니다. 전통적으로 과학자들은 두 시점의 도시 "스냅샷"을 찍어 서로 비교함으로써 이를 수행하려 했습니다. 하지만 이는 서로 약간 다른 각도에서 찍은 어지러운 방의 사진 두 장을 비교하는 것과 같습니다. 카메라가 아주 조금만 어긋나거나 그림자가 다르게 드리워져도, 컴퓨터는 의자가 움직이지 않았는데도 움직였다고 생각하거나, 새로운 테이블을 통째로 놓치기도 합니다. 이는 복잡하고 밀집된 도시에서는 무너지기 쉬운, 노이즈가 많고 오류가 발생하기 쉬운 "틀린 그림 찾기" 게임입니다.

이 논문은 이 게임을 더 똑똑하게 플레이하는 방법을 소개합니다. 연구진은 개별 점을 하나하나 관찰하는 대신, "객체 중심(object-centric)" 접근 방식을 제안합니다. 이것은 해변의 모래알 하나하나를 세는 것과, "양동이"가 있고, "삽"이 있고, "모래성"이 쌓여 있다는 것을 인식하는 것의 차이와 같습니다. 그들의 방법은 도시의 데이터를 의미 있는 덩어리들—건물, 나무, 자동차, 지면—로 그룹화한 다음, "이 특정 객체가 변했는가?"라고 묻습니다. 결정적으로, 그들은 컴퓨터에게 "신뢰도 측정기"를 부여합니다. 데이터가 흐릿하거나 두 지도가 완벽하게 일치하지 않는 경우, 컴퓨터는 추측하여 실수를 저지르는 대신 "이 지점은 확실하지 않음"이라고 말할 수 있게 됩니다. 그들은 이 방법을 서호스트랄리아의 수비아코(Subiaco) 시에서 테스트하여, 2023년 지도와 새로운 2025년 지도를 비교했으며, 그들의 방식이 노이즈를 무시하면서 실제 변화를 포착하는 데 훨씬 더 뛰어나다는 것을 발견했습니다.

기존 방식의 문제점

작년에 찍은 사진과 올해 찍은 사진을 비교하여 나무가 얼마나 자랐는지 측정한다고 상상해 보십시오. 만약 이번에 카메라를 단 1밀리미터라도 높게 들었다면, 혹은 태양의 위치가 달라졌다면, 컴퓨터는 각도 때문에 나무가 더 커졌거나 작아졌다고 생각할 수 있습니다. 이것이 단순히 한 지도를 다른 지도에서 빼버리는 기존 방식의 문제입니다. 이 방식들은 "수직 편향(vertical bias, 높이가 약간 어긋남)"과 "시점 불일치(viewpoint mismatch, 보는 각도가 약간 다름)"에 매우 민감합니다. 또한 좁은 연석이나 작은 울타리 같은 가느다란 물체들을 다루는 데 어려움을 겪으며, 이를 삭제하거나 오류로 간주하곤 합니다. 게다가, 기존 방식들은 두 지도가 이미 완벽하게 정렬되어 있다고 가정하지만, 현실 세계에서는 거의 불가능한 일입니다. 정렬이 완벽하지 않으면, 컴퓨터는 건물이 이동했다고 생각하는 것처럼 존재하지 않는 "유령 변화"를 만들어냅니다.

새로운 "객체 탐정" 방식

저자들은 단순한 계산기보다 똑똑한 탐정처럼 행동하는 방법을 제사합니다. 그들의 "탐정"이 작동하는 단계별 과정은 다음과 같습니다.

1. 거친 정렬 (The "Gross" Move)
먼저, 컴퓨터는 두 도시 지도(2023년과 2025년)를 가져와서 서로 맞추려고 시도합니다. 이 과정에서 NDT(Normal Distributions Transform)라는 기술을 사용하는데, 이는 두 조각 퍼즐의 가장자리가 아직 완벽하게 맞지 않더라도 대략적으로 일치할 때까지 퍼즐을 밀어 넣는 것과 같습니다. 그다음, ICP(Iterative Closest Point)를 사용하여 더 정밀하게 끼워 맞춥니다. 하지만 여기서 반전이 있습니다. 컴퓨터는 이것이 완벽하다고 가정하지 않습니다. 컴퓨터는 "탐지 수준(Level of Detection, LoD)"을 계산합니다. 이것은 "흐릿함 측정기"라고 생각하면 됩니다. 만약 지도가 특정 구역(예: 나무 캐노피 아래나 도로의 루프 근처)에서 약간 흔들린다면, 측정기가 올라가면서 시스템에 "주의하세요, 이 데이터는 불안정합니다"라고 알려줍니다.

2. 객체로 그룹화하기 (The "Lego" Step)
시스템은 수백만 개의 개별 점을 보는 대신, 점들을 논리적인 객체로 그룹화합니다. 기하학적 구조를 사용하여 무엇이 건물인지, 나무인지, 자동차인지, 지면인지를 파악합니다.

• 건물: 평평하고 수직인 벽과 지붕을 찾습니다.
• 나무: 평평하지 않고 둥글고 덤불 같은 모양을 찾습니다.
• 자동차: 작고 조밀한 형태를 찾습니다.
• 지면: 도시의 평평한 바닥을 찾습니다.
  이는 섞여 있는 거대한 레고 상자를 분류하여 별도의 더미로 만드는 것과 같습니다.

3. "클래스 일관성" 매칭 (The "Name Tag" Rule)
이제 까다로운 부분인 2023년의 객체와 2025년의 객체를 매칭하는 단계입니다. 시스템은 엄격한 규칙을 적용합니다: 2023년의 건물은 2025년의 건물과만 매칭될 수 있습니다. 나무를 자동차와 실수로 매칭하지 않습니다. 또한 "분리(split)"와 "병합(merge)" 사례도 처리합니다. 예를 들어, 2023년의 큰 나무 한 그루가 베어지고 2025년에 두 개의 작은 관목으로 바뀌었다면, 시스템은 이를 혼란스러워하는 대신 하나의 변화로 인식합니다. 시스템은 수학적인 "할당(assignment)" 방법을 사용하여 이들을 올바르게 짝지으며, 시간이 지나도 객체의 수가 일관되게 유지되도록 합니다.

4. 변화 결정 (The "Verdict")
객체들이 매칭되면, 시스템은 네 가지 단서를 사용하여 변화를 확인합니다:

• 중첩(Overlap): 두 객체가 동일한 공간을 차지하는가?
• 변위(Displacement): 객체가 이동했는가?
• 높이(Height): 더 높아졌는가 혹은 낮아졌는가?
• 부피(Volume): 더 커졌는가 혹은 작아졌는가?
  결정적으로, 시스템은 변화가 "흐릿함 측정기(LoD)"보다 클 때만 결정을 내립니다. 만약 변화가 불확실성보다 작다면, 시스템은 추측하는 대신 "변화 없음"이라고 답합니다. 이는 시스템이 사소한 변화에 대해 허위 경보를 울리는 것을 방지합니다.

결과: 도시 규모의 테스트

이 방법의 효용성을 증명하기 위해, 연구진은 서호주 퍼스의 교외 지역인 **수비아코(Subiaco)**로 향했습니다. 그들은 2023년의 지도 데이터를 가지고 있었으며, 강력한 3D 레이저 스캐너(LiDAR)를 장착한 차량을 이용해 새로운 고해상도 지도를 2025년에 제작했습니다. 그들은 데이터를 캡처하기 위해 도시를 20번의 루프로 주행했습니다.

결과는 인상적이었습니다. 그들의 새로운 방식은 다음을 달성했습니다:

• 95.3%의 정확도 (거의 매번 정답을 맞힘)
• 90.8%의 mF1 (변화를 찾아내는 것과 허위 알람을 내지 않는 것 사이의 균형을 맞춘 점수)
• 82.9%의 mIoU (감지된 변화가 실제 변화와 얼마나 잘 일치하는지에 대한 척도)

연구진은 이 방식을 가장 강력한 기존 방식(예: 인기 있는 AI 모델인 "Triplet KPConv")과 비교했을 때, 모든 지표에서 더 우수함을 확인했습니다. 정확도는 0.3 포인트, F1 점수는 0.6 포인트, IoU는 1.1 포인트 개선되었습니다. 가장 큰 성과는 "감소(Decreased)"(예: 건물이 철거되거나 도로가 재포장됨)를 포착하는 부분이었는데, 여기서 그들의 방식은 경쟁 모델보다 8.4 포인트 더 뛰어났습니다.

이것이 왜 중요한가

이 논문은 단순히 조금 더 나은 알고리즘을 제시하는 것이 아니라, 미래의 도시가 의존하게 될 디지털 지도를 유지 관리하는 더 신뢰할 수 있는 방법을 제시합니다. 데이터가 결코 완벽하지 않다는 점을 인정하고, 작은 점이 아닌 전체 객체에 집중함으로써, 이 시스템은 허위 알람이라는 흔한 함정을 피합니다. 이 시스템은 나무가 자라고, 자동차가 움직이고, 건설이 진행되는 도시의 무질서한 현실을 성공적으로 처리합니다. 연구진은 또한 자신들의 새로운 2025년 데이터셋과 사용된 코드를 공개하여, 다른 과학자들이 이를 시험하고 발전시킬 수 있도록 했습니다. 이는 이 분야를 "이론적" 단계에서 "실용적" 단계로 이동시키며, 우리가 이전에는 도달할 수 없었던 정밀도로 도시 규모의 3D 지도를 업데이트할 수 있음을 보여줍니다.