Adaptive Margin Based Metric Learning for Unbalanced Point Cloud Classification and Retrieval

3차원 시각의 세계에서 컴퓨터는 물리적 세계를 평면적인 그림이 아니라 공간상의 점들의 집합으로 학습하고 있습니다. 이것이 자율주행 자동차나 가상 현실 헤드셋에 탑재된 현대적인 센서들이 물체를 포착하는 방식입니다. 즉, 표면과 형태를 맵핑하는 점구름(point clouds) 형태로 말이죠. 컴퓨터가 자신이 무엇을 보고 있는지 이해하기 위해서는, 이 점구름들을 의자나 탁자와 같은 카테고리로 분류한 다음, 거대한 데이터베이스 내에서 유사한 항목들을 찾아내야 합니다. 분류와 검색(classification and retrieval)이라고 알려진 이 과정은 예시를 통해 학습하는 인공지능의 한 종류인 딥러닝에 크게 의존합니다. 그러나 하나의 지속적인 문제가 이러한 시스템들을 괴롭혀 왔는데, 바로 그들이 학습하는 데이터가 결코 공정하지 않다는 점입니다. 현실 세계에서는 어떤 범주의 물체들은 학습 데이터에 풍부하게 존재하는 반면, 다른 것들은 희귀합니다. 컴퓨터가 이렇게 불균형한 식단으로 훈련되면, 흔한 항목들은 매우 잘 인식하지만 희귀한 항목들에 대해서는 상당히 고전하며, 종종 이들을 구별하거나 검색에서 찾아내는 데 실패하곤 합니다.

길린 전자공과대학교(Guilin University of Electronic Technology)와 서안전자공업대학교(Xidian University)의 연구진은 3D 물체 인식에서의 이러한 불균형 문제를 해결하기 위한 새로운 접근 방식을 개발했습니다. 그들의 연구는 컴퓨터가 얼마나 많은 사례를 보았는지와 상관없이 모든 카테고리에 적절한 양의 주의를 기울이도록 가르치는 데 초점을 맞추고 있습니다. 모든 물체 그룹에 동일한 규칙을 적용하는 표준적인 방법 대신, 그들은 특정 물체 유형이 얼마나 흔하거나 희귀한지에 따라 학습 전략을 자동으로 조정하는 시스템을 만들었습니다. 이를 통해 컴퓨터는 희귀한 클래스에 더 많은 주의를 기울이는 법을 배우며, 이를 통해 희귀한 종류의 의자를 흔한 것만큼이나 잘 인식할 수 있게 됩니다. 그 결과, 이 시스템은 3D 형태를 더 정확하게 식별할 뿐만 아니라 훨씬 높은 정밀도로 데이터베이스에서 형태를 검색해 낼 수 있으며, 이 모든 과정에서 매우 적은 계산 능력을 사용합니다.

이 새로운 방법의 핵심은 컴퓨터가 서로 다른 형태 사이의 거리를 측정하는 방식에 있습니다. 전통적인 시스템에서 컴퓨터는 고정된 규칙을 사용하여 서로 다른 카테고리는 밀어내고 유사한 항목은 끌어당기려 하는데, 이는 마치 모든 학생에게 동일한 성적 곡선을 적용하는 교사와 같습니다. 연구진은 이 고정된 방식이 학습할 사례가 매우 적은 "학생들"(물체 카테고리)에게는 실패한다는 것을 발견했습니다. 이를 해결하기 위해 그들은 적응형 마진(adaptive margin), 즉 각 카테고리의 학습 난이도를 변화시키는 유연한 규칙을 도입했습니다. 샘플이 매우 적은 카테고리의 경우, 시스템은 해당 희귀 물체와 다른 모든 것들 사이에 명확한 구분을 보장하기 위해 더 큰 마진을 할당합니다. 수천 개의 샘플이 있는 카테고리의 경우, 마진을 작게 할당하여 컴퓨터가 그 많은 사례를 촘데히 묶는 데 집중할 수 있도록 합니다. 이러한 동적 조정을 통해 컴퓨터는 훈련 데이터에 적게 나타난다는 이유로 희귀한 항목들을 무시하지 않게 됩니다.

컴퓨터가 이러한 형태를 더 잘 이해하도록 하기 위해, 연구진은 신경망에 두 가지 새로운 구조적 구성 요소를 추가했습니다. 첫째, 컴퓨터가 물체의 특징을 다양한 세부 수준에서 동시에 볼 수 있는 방법을 설계했는데, 이는 넓은 형태와 미세한 표면 질감을 결합하는 방식입니다. 이는 마치 사람이 의자를 볼 때 전체적인 실루엣과 다리의 특정 곡선을 동시에 주목하는 것과 유사하며, 어느 하나만을 보는 것이 아닙니다. 둘째, 컴퓨터가 학습을 시작하기 전에 점구름을 정렬하는 경량 모듈을 만들었습니다. 3D 물체는 어떤 방향으로든 회전하거나 기울어질 수 있으므로, 이 모듈은 데이터를 표준적인 직립 위치로 회전시켜 시스템이 원래 어떻게 스캔되었는지와 상관없이 물체를 훨씬 쉽게 인식할 수 있게 합니다. 이 정렬 단계는 무작위 각도로 인한 혼란을 제거하여, 컴퓨터가 순수하게 형태 자체에 집중할 수 있게 하는 데 매우 중요합니다.

연구진은 단순한 가전제품부터 복잡한 기계 부품에 이르기까지 수천 개의 3D 모델을 포함하는 두 개의 대규모 유명 데이터셋을 통해 그들의 방법을 테스트했습니다. 40개의 서로 다른 카테고리가 있는 첫 번째 테스트에서, 그들의 시스템은 93.7%의 분류 정확도를 달성하여 점구름을 사용하는 기존의 최선 방법들을 약간 앞질렀습니다. 더 중요한 것은, 데이터베이스에서 유사한 물체를 검색하라는 요청을 받았을 때 그들의 시스템이 92.3%의 성능 점수에 도달했다는 점이며, 이는 점구름 기반의 다른 어떤 방법보다도 높았고 심지어 물체를 다양한 각도에서 볼 수 있는 다중 카메라 뷰 시스템까지 능가했습니다. 물체가 무작위로 회전되어 있는 55개 카테고리의 더 까다로운 두 번째 테스트에서도, 그들의 방법은 다시 한번 검색 품질에서 선두를 차지하며, 형태가 예측 불가능한 방식으로 돌아가 있더라도 올바른 물체를 찾아낼 수 있음을 입증했습니다.

이 성과를 특히 주목할 만하게 만드는 것은 시스템의 효율성입니다. 높은 성능을 내는 다른 방법들은 종가 막대한 양의 컴퓨팅 파워나 다중 카메라를 포함한 복잡한 설정을 요구하는 경우가 많지만, 이 새로운 접근 방식은 단일 점 집합으로 작동하며 훨씬 적은 처리 자원을 사용합니다. 전체 시스템은 시스템의 복잡도를 나타내는 척도인 50만 개 미만의 파라미터를 필요로 하며, 표준 컴퓨터 하드웨어에서 빠르게 실행됩니다. 이는 이 기술이 속도와 낮은 전력 소비가 필수적인 로봇이나 모바일 기기와 같은 실제 응용 분야에 배치될 수 있음을 의미합니다. 연구진은 컴퓨터가 불균형한 데이터로부터 학습하는 방식을 바꾸고 내부 특징을 더 효과적으로 조직하는 것만으로도, 매우 정확하면서도 믿을 수 없을 정도로 효율적인 3D 비전 시스템을 구축할 수 있다는 것을 보여주었습니다.

이 연구는 더 나은 3D 인식을 위한 핵심은 단순히 더 많은 데이터를 갖는 것이 아니라, 이미 사용 가능한 데이터를 더 똑똑하게 사용하는 방법에 있다는 결론을 내립니다. 각 물체 카테고리의 특정 요구 사항에 맞춰 학습 규칙을 적응시키고 공간 정보를 처리하는 방식을 개선함으로써, 연구진은 불균형한 데이터셋의 무질서한 현실을 우아하게 다루는 도구를 만들어냈습니다. 그들의 연구는 3D 물체 인식의 미래가, 세상을 경직되고 이상화된 모델에 맞추려 하기보다, 변동성과 불균형이 존재하는 있는 그대로의 세상으로부터 학습할 수 있는 이러한 적응형적이고 효율적인 시스템에 있다는 것을 시사합니다.