Synthetic LiDAR Data Generation and Deterministic Downsampling for Point Cloud Classification on the Edge

로봇에게 세상을 보는 법을 가르친다고 상상해 보세요. 하지만 사진을 보는 눈을 주는 대신, 세상을 거대하게 떠다니는 보이지 않는 먼지 구름으로 보는 센서를 주는 것입니다. 이것이 바로 LiDAR(Light Detection and Ranging)가 작동하는 방식입니다. 레이저 빔을 쏘아 올리고 그것이 다시 돌아오는 데 시간이 얼마나 걸리는지를 측정하여, 수백만 개의 개별 점들로 이루어진 3D 지도를 만들어냅니다. 이것은 자율주행 자동차나 로봇에게는 놀라운 기술이지만, 이를 읽어내려는 컴퓨터에게는 엄청난 골칫거리를 안겨줍니다. 이 "포인트 클라우드(point clouds)"는 무질서하고, 체계가 없으며, 거대합니다. 수백만 개의 점들을 하나하나 뒤져가며 지금 보고 있는 것이 의자인지 자동차인지 파악하려는 노력은, 해변의 모래알을 하나씩 전부 집어 들어 올리며 특정 모래알 하나를 찾으려는 것과 같습니다.

이 문제는 로봇 청소기나 드론 안에 들어있는 것과 같은 작고 배터리로 구동되는 컴퓨터들에게 특히 어렵습니다. 이러한 "엣지(edge)" 장치들은 마치 쳇바퀴를 돌리는 작고 효율적인 햄스터와 같습니다. 이들은 거대한 데스크톱 컴퓨터처럼 데이터를 처리할 수 있는 강력한 근육을 가지고 있지 않습니다. 만약 로봇이 점들을 분류하는 데 너무 많은 시간을 소비한다면, 안전을 지킬 만큼 빠르게 움직일 수 없을 것입니다. 과학자들은 이 작은 컴퓨터들이 회로를 녹이지 않으면서도 실시간으로 3차원 공간을 이해할 수 있도록 만드는 방법을 알아내기 위해 노력해 왔습니다. 핵심적인 질문은 이것입니다: 어떻게 하면 단 몇 백 개의 점만을 사용하여, 수백만 개의 쓸모없는 점들은 무시하면서, 실제 세상의 속도에 맞춰 자동차나 사람을 인식하도록 이 작은 컴퓨터를 가르칠 수 있을까요?

논문의 이야기: 작은 컴퓨터에게 보는 법을 가르치기

이 논문은 작고 저전력인 컴퓨터(구체적으로는 아주 작고 저렴한 컴퓨터 보드인 라즈베리 파이 5)가 데이터에 압도당하지 않고 3D 포인트 클라우드를 이해할 수 있도록 돕는 영리한 2단계 트릭에 관한 내용입니다. 연구진인 니클라스 마이어(Niclas Meyer)와 스테판 라이트만(Stefan Reitmann)은 대부분의 로봇이 실제 세상의 무질서한 현실과는 전혀 닮지 않은 "완벽한" 디지털 모델로 훈련되고 있다는 사실을 깨달았습니다. 또한 그들은 기존의 데이터 정리 방식이 이러한 작은 컴퓨터들에게는 너무 느리다는 것을 발견했습니다. 그래서 그들은 이 두 가지 문제를 모두 해결하는 새로운 워크플로우를 구축했습니다.

"현실의 간극(Reality Gap)" 문제
먼저, 팀은 "완벽한" 훈련 데이터 문제를 다루었습니다. 아이에게 강아지를 인식시키는 법을 가르칠 때, 털의 질감이나 그림자가 없는 완벽한 만화 속 강아지만 보여준다고 상상해 보세요. 만약 그 아이에게 실제의 지저분하고 털이 덥수룩한 강아지를 보여준다면, 아이는 아마 알아보지 못할 것입니다. 로봇들에게 일어난 일이 바로 이것입니다. 연구진은 BLAINDER라는 도구를 사용하여 깨끗하고 완벽한 3D 컴퓨터 모델을 "지저난" 합성 데이터로 변환했습니다. 그들은 디지털 노이즈를 추가하고, 물체가 각도에 따라 어떻게 다르게 보이는지를 포함하여 실제 레이저 스캐너가 세상을 보는 방식을 시뮬레이션했습니다.

그들은 놀라운 사실을 발견했습니다: 만약 로봇을 깨끗하고 완벽한 모델로 훈련시킨다면, 실제의 지저분하고 노이즈가 섞인 데이터를 보았을 때 처참하게 실패합니다(정확도가 거의 무작위 추측 수준인 2%에서 11%까지 떨어졌습니다). 하지만, 지저분하고 노이즈가 섞인 데이터로 훈련시키면, 오히려 깨끗한 데이터를 이해하는 능력이 더 좋아졌습니다. 이는 마치 글리치가 있는 컨트롤러로 비디오 게임을 연습했다면, 나중에 완벽한 컨트롤러를 손에 넣었을 때 혼돈에 적응하는 법을 배웠기에 프로가 되는 것과 같습니다. 이는 로봇이 실제 세상에서 작동하게 하려면, 완벽한 만화 버전이 아니라 실제 세상과 닮은 데이터로 훈련시켜야 한다는 것을 증명했습니다.

"속도 제한(Speed Bump)" 문제
다음으로, 그들은 컴퓨터가 충분히 빨라지는 방법을 살펴보았습니다. 보통 로봇이 물체를 인식하기 전에는 가장 중요한 점들을 찾아내기 위해 수백만 개의 점을 분류해야 합니다. 이 과정을 수행하는 표준적인 방법은 "최장 거리 샘플링(Farthest Point Sampling, FPS)"이라고 불리는 방식입니다. FPS를 도서관을 아주 철저하지만 느리게 돌아다니는 사서에 비유해 봅시다. 사서는 모든 책 사이의 거리를 측정하고, 공간 전체를 커버할 수 있도록 가장 멀리 떨어진 책들을 골라냅니다. 이는 정확하지만 시간이 오래 걸립니다. 작은 컴퓨터에서 이 분류 과정이 너무 오래 걸리면 로봇은 실시간으로 반응할 수 없습니다.

연구진은 "임계점 레이어(Critical Point Layer, CPL)"를 사용하는 다른 접근 방식을 시도했습니다. CPL은 거리를 측정하는 느린 사서 대신, 매우 빠르고 똑똑한 필터 역할을 합니다. CPL은 미리 훈련된 필터로서, 어떤 점이 주인공(날개의 끝, 테이블의 모서리, 혹은 비행기의 코 부분 등)이고 어떤 점이 단순한 배경 소음인지를 정확히 알고 있습니다. 이것은 거리를 측정하는 것이 아니라, 형태를 보고 즉각적으로 "이 40~60개의 점은 유지하고 나머지는 버려라"라고 말합니다.

결과
연구진이 이 새로운 시스템을 라즈베리 파이 5에서 테스트했을 때, 결과는 인상적이었습니다.

• 속도: 기존 방식(FPS)은 병목 현상이 되어, 단 512개의 점을 분류하는 데 최대 23밀리초가 걸렸습니다. 새로운 CPL 필터는 거의 3배 더 빨랐으며, 1,024개의 점으로 이루어진 클라우드를 필수적인 40~60개의 점으로 압축하는 데 약 2밀리초밖에 걸리지 않았습니다.
• 정확도: 이렇게 적은 점만 남았음에도 불구하고, 로봇은 높은 정확도(88.36%)로 물체를 식별할 수 있었습니다.
• 실시간 성능: 전체 시스템은 초당 약 50프레임을 처리할 수 있었습니다. 이는 로봇이 지연 없이 실시간으로 주행하거나 항해하기에 충분한 속도입니다.

이 방법이 하지 못한 것
이 논문은 이 방법이 모든 상황에 완벽하다고 주장하지 않으며, 주의 사항을 명시하고 있습니다. 예를 들어, CPL 필터는 분류(의자와 테이블을 구분하는 것)에는 뛰어나지만, 반드시 인간이 중요하다고 생각하는 점들을 선택하는 것은 아닙니다. 만약 당신이 사람에게 비행기의 "가장 중요한" 부분이 어디냐고 묻는다면, 사람은 날개를 가리킬 것입니다. CPL 필터도 날개를 선택하지만, 인간의 눈에 보기 좋은 방식이 아니라, 오직 컴퓨터가 정답을 맞히는 데 도움이 되는 방식에 집중하여 선택할 수 있습니다. 또한, 논문은 훨씬 더 큰 작업(예: 거대한 야외 스캐너의 수백만 개의 점을 처리하는 일)을 위해서는 이 방법을 FPGA와 같은 특수 하드웨어로 옮겨야 할 수도 있다고 제안하지만, 현재로서는 라즈베리 파이에서도 매우 잘 작동합니다.

핵심 요약
요약하자면, 이 논문은 우리가 두 가지 일을 함으로써 작은 저가형 컴퓨터가 3D 세상을 실시간으로 볼 수 있게 만들 수 있음을 보여줍니다. 첫째는 완벽한 만화 대신 지저분하고 현실적인 데이터로 훈련시키는 것이고, 둘째는 컴퓨터가 생각하기도 전에 데이터의 95%를 버릴 수 있는 똑똑하고 사전 훈련된 필터를 사용하는 것입니다. 이는 마치 학생에게 수천 장의 흐릿하고 노이즈가 섞인 사진을 보여주며 얼굴을 인식하도록 가르친 다음, 눈과 입만을 즉각적으로 강조해 주는 마법의 안경을 쥐여주어 순식간에 결정을 내리게 하는 것과 같습니다.