How Sampling Strategy Affects Imbalance Mitigation in LiDAR Segmentation: A Study of Structured vs. Random Point-Based Architectures

자율주행 자동차와 드론이 눈 대신 레이저 빔으로 '보는' 방식으로 항해하는 세상을 상상해 보십시오. 이 기계들은 빛의 펄스를 발사하여 지면, 건물, 나무에 부딪히게 하고, 그 빛이 돌아오면서 수백만 개의 개별 점들로 이루어진 구름을 형성합니다. 이것이 그들이 주변 환경의 3차원 지도를 구축하는 방식입니다. 하지만 이 지도들은 완벽하게 균형 잡혀 있지 않습니다. 전형적인 도시 장면에서 레이저는 작은 멀리 있는 표지판이나 보행자를 때리는 것보다 훨씬 더 자주, 수천 배나 더 많이 넓고 평평한 도로 혹은 건물의 측면을 때립니다. 이는 심각한 불균형을 만들어냅니다. 컴퓨터는 거대한 것들을 끊임없이 보지만, 작고 중요한 세부 사항들은 거의 인지하지 못하게 됩니다. 만약 기계의 두뇌가 이를 처리하도록 훈련되지 않는다면, 도로에 대한 방대한 데이터 양에 압도되어 인도에 서 있는 사람을 확신을 가지고 무시해 버릴 수도 있습니다.

수십 년 동안 연구자들은 어떤 물체가 다른 것들보다 훨씬 덜 자주 나타나는 일반적인 2D 사진의 유사한 문제들을 해결하기 위해 노력해 왔습니다. 그들은 컴퓨터가 희귀한 항목에 더 많은 주의를 기울이도록 강제하는 다양한 수학적 기법들을 개발했습니다. 하지만 이러한 동일한 기법들이 레이저 포인트 클라우드의 혼란스러운 3차원 세계에 적용되었을 때, 결과는 혼란스러웠습니다. 어떤 방법은 효과가 있었지만, 어떤 방법은 문제를 더 악화시키는 것처럼 보였습니다. 질문은 이것이었습니다. 컴퓨터가 레이저 점들을 샘플링하는 방식이 실제로 어떤 기법이 작동할지를 변화시키는가? 키프로스 대학교와 KIOS 연구 혁신 센터의 연구진은 실세계 데이터를 통해 광범위한 솔루션들을 테스트함으로써 이 질문에 답하고자 하는 새로운 연구를 수행했습니다.

연구진은 컴퓨터가 이 레이저 구름을 처리하는 두 가지 서로 다른 방식에 집중했습니다. 첫 번째 방식은 KPConv라고 불리는 시스템에서 사용되는데, 이는 마치 세심한 측량사처럼 작동합니다. 이 방식은 모든 부분이 특정 기하학적 논리에 따라 샘플링되도록 구조적이고 조직적인 패턴으로 점들을 선택합니다. 두 번째 방식은 RandLA-Net에서 사용되는 방식으로, 훨씬 더 무질서합니다. 이는 마치 아이가 해변에서 모래를 한 움큼씩 집어 드는 것처럼 점들을 완전히 무작위로 잡아냅니다. 연구팀은 이 두 시스템을 세 가지 매우 다른 데이터셋, 즉 극단적인 641 대 1의 불균형을 가진 거대한 도시 항공 스캔, 중간 정도의 불균형을 가진 건물 내부 스캔, 그리고 컴퓨터로 생성된 합성 환경을 대상으로 테스트했습니다. 그들은 어떤 것이 희귀한 객체를 가장 잘 인식하게 도와주는지 확인하기 위해 11가지의 서로 다른 전략을 적용했습니다.

결과는 놀랍고도 명확한 판결을 내놓았습니다. 이 분야에서 가장 흔한 본능, 즉 희귀한 객체가 얼마나 자주 나타나는지에 따라 컴퓨터에게 가중치를 더 높게 부여하라는 단순한 방식은 재앙이라는 것이 밝혀졌습니다. 연구진이 이 표준적인 '역빈도(inverse-frequency)' 가중치를 사용했을 때, 컴퓨터의 성능은 크게 떨어졌으며 때로는 무려 12%까지 하락했습니다. 최악의 경우, 시스템은 폴(pole)이나 울타리 같은 작은 물체들을 완전히 놓치는 치명적인 실패를 보였습니다. 이 연구는 이 대중적인 접근 방식이 오히려 모델을 혼란스럽게 만들고 세상을 올바르게 보는 능력을 저하시킨다는 것을 보여줌으로써, 희귀 클래스의 중요성을 맹목적으로 높이는 것이 잘못되었다는 점을 명시적으로 배제했습니다.

대신, 연구는 최선의 해결책이 전적으로 컴퓨터가 데이터를 어떻게 샘플링하느냐에 달려 있다는 것을 발견했습니다. 구조적이고 측량사 같은 시스템의 경우, 가장 단순한 접근 방식이 종종 가장 좋았습니다. 모든 클래스를 특별한 수학적 조정 없이 동등하게 취급하는 균등 가중치(uniform weighting)를 사용하는 것이 가장 복잡하고 맞춤 설계된 공식만큼이나 잘 작동했습니다. 그 차이는 2% 미만으로 매우 작았기에, 복잡한 가중치를 계산하기 위한 추가적인 노력은 실질적인 이득을 제공하지 못했습니다. 구조적 샘플링 방식은 컴퓨터가 희귀한 항목에 주의를 기울이도록 강제할 필요가 없을 만큼 불균형을 자연스럽게 잘 처리하는 듯 보였습니다.

하지만 이야기는 무작위적이고 혼란스러운 샘플링 방식에서는 달랐습니다. 이 시스템은 장면의 자연스러운 기하학적 구조를 버리기 때문에 불균형에 훨씬 더 민면합니다. 이 유형의 아키텍처에서는 단순한 균등 방식이 뒤처져 최대 4.6%까지 격차가 벌어졌습니다. 이 유형의 경우, 연구진은 컴퓨터가 실수로부터 배우는 방식을 조정하는 LDAM이라는 특정 손실 함수가 눈에 띄는 개선을 제공한다는 것을 발견했습니다. 그러나 여기서도 주의가 필요했습니다. 2D 사진에서 잘 작동했던 다른 복잡한 공식들은 무작위 시스템을 단순 가중치 방식만큼이나 나쁘게 망가뜨렸습니다.

연구진은 이러한 차이가 왜 발생하는지 이해하기 위해 학습 과정의 '모양'을 살펴보았습니다. 그들은 구조적 시스템의 경우, 학습 과제의 난이도가 데이터가 얼마나 불균형한지와 연결되어 있다는 것을 발견했습니다. 즉, 데이터가 더 불균형할수록 학습 경로는 더 날카롭고 어려워졌습니다. 반면 무작위 시스템의 경우, 난이도는 장면 자체의 물리적 복잡성에 의해 결정되었습니다. 의자와 탁자 같은 얇은 물체들이 많은 복잡한 실내 환경에서는 희귀한 객체의 존재 여부와 상관없이 학습 경로가 들쭉날쭉하고 탐색하기 어려워졌습니다. 이는 무작위 방식이 컴퓨터가 장면을 이해하는 데 도움이 되는 구조적 맥락을 잃어버리기 때문에 고전한다는 것을 시사합니다.

궁극적으로, 이 연구는 이러한 시스템을 구축하는 엔지니어들에게 실질적인 가이드를 제공합니다. 만약 당신이 구조적 샘플링 방식을 사용하고 있다면, 해결책을 과도하게 설계하려는 유혹을 피해야 합니다. 모든 클래스를 동등하게 취급하는 단순한 방식이 견고하고 효과적입니다. 만약 당신이 무작위 샘플링 방식을 사용하고 있다면, 불균형을 처리하기 위한 특화된 도구가 반드시 필요하지만, 잘못된 도구를 선택하면 시스템 전체를 망가뜨릴 수 있으므로 매우 신중하게 선택해야 합니다. 연구는 모든 3D 비전 작업에 통용되는 단 하나의 마법 탄환은 없다는 결론을 내립니다. 대신, 어떤 솔루션의 효과는 데이터가 어떻게 수집되는지, 컴퓨터가 어떻게 샘플링하는지, 그리고 이해하려는 환경의 구체적인 성격 사이의 섬세한 상호작용에 의해 결정됩니다.