Factorized Spatio-Temporal Convolutions for Human Pose Estimation from Planar Lidar

로봇에게 세상을 보는 법을 가르치려 한다고 상상해 보세요. 오늘날 대부분의 로봇은 안경을 쓴 사람과 같습니다. 카메라를 이용해 사진을 찍고, 형상과 색상을 찾아내어 사람이 어디에 서 있고 어느 방향을 향하고 있는지 파악합니다. 이는 햇빛이 잘 드는 방에서는 아주 잘 작동하지만, 불이 꺼지거나 카메라가 가려지는 붐비는 복도에 로봇이 있게 되면 로봇은 눈이 멀게 됩니다. 이를 해결하기 위해 많은 로봇은 '레이저 스캐너'(LiDAR라고 불림)를 휴대합니다. 이 장치는 등대처럼 빛을 전 방향으로 쏘아 올립니다. 색상이나 얼굴을 보는 것이 아니라, 단지 물체가 얼마나 멀리 있는지만을 봅니다. 문제는 이 레이저 스캐너의 단일 스냅샷이 마치 열쇠구멍을 통해 사람을 보는 것과 같다는 점입니다. 다리 하나는 볼 수 있을지 몰라도, 그 사람이 자신을 향해 걸어오고 있는지 아니로 멀어지고 있는지, 혹은 심지어 사람인지조차 알 수 없습니다.

이 흐릿하고 1차원적인 시야를 이해하기 위해, 과학자들은 '시공간적(spatio-temporal)' 처리라는 기술을 사용해야 합니다. '공간적(spatial)'이라는 것은 지금 당장의 물체의 모양을 보는 것이고, '시간적(temporal)'이라는 것은 시간이 흐름에 따라 그 모양이 어떻게 변하는지를 관찰하는 것입니다. 만약 당신이 열쇠구멍을 통해 지나가는 사람을 본다면, 단순히 다리 하나를 보는 것이 아닙니다. 다리가 나타나고, 움직이고, 사라지는 과정을 보게 됩니다. 이 순간들을 하나로 엮음으로써 로봇은 사람의 전체 자세를 추측할 수 있습니다. 이 논문은 로봇에게 바로 이 작업을 수행하도록 가르치는 과제를 다룹니다. 즉, 레이저 스캔의 스트림을 받아 단순히 사람이 어디에 있는지뿐만 아니라, 어느 방향을 향하고 있는지까지 파악하도록 하는 것입니다. 이 모든 과정을 슈퍼컴퓨터 없이도 로봇의 작고 약한 컴퓨터 두뇌에서 실행하면서 말이죠.

---

레이저 등대와 시간 여행 탐정

로봇을 만나봅시다. 이 로봇은 호텔이나 병원에서 흔히 볼 수 있는 바퀴 달린 서비스 로봇입니다. 이 로봇은 허리에 360도 레이저 스캐너를 돌리며 매초 360개의 보이지 않는 광선을 쏘아 올립니다. 하지만 문제가 있습니다. 단 하나의 광선은 그저 거리 값 하나일 뿐입니다. 만약 사람 한 명이 로봇 앞에 서 있다면, 레이저는 '덩어리(blob)' 형태의 점들을 보게 됩니다. 이것이 사람일까요? 의자일까요? 아니면 쓰레기통일까요? 그리고 만약 사람이라면, 인사를 하기 위해 로봇을 보고 있는 걸까요, 아니면 무시하기 위해 등을 돌리고 있는 걸까요?

연구진은 단 하나의 스냅샷만 보는 것이 마치 영화의 단 한 장면만을 보고 줄거리를 추측하려는 것과 같다는 점을 깨달았습니다. 장면 전체가 펼쳐져야 합니다. 그래서 그들은 특별한 '시간 여행 탐정(Time-Traveling Detective)' 네트워크를 구축했습니다. 이 네트워크는 단순히 현재의 레이저 스캔만을 보는 것이 아니라, 지난 몇 초간의 스캔이 담긴 짧은 영화를 봅니다. 이 네트워크는 '덩어리'들이 시간이 지남에 따라 어떻게 움직이고 모양이 변하는지를 관찰합니다.

'요소 분해(Factorized)' 사고의 마법

여기에 영리한 부분이 있습니다. 대부분의 컴퓨터 두뇌는 모든 것을 한꺼번에 하려고 합니다. 즉, 하나의 크고 복잡한 뇌 세포 안에서 모양과 움직임을 동시에 처리하려고 하죠. 이 논문의 저자들은 이렇게 말했습니다. "일을 나누자." 그들은 **공간-시간 블록(Space-Time Block)**이라는 새로운 유형의 뇌 세포를 만들었습니다.

당신이 무용수를 묘사하려고 한다고 상상해 보세요.

1. 공간 단계(The Spatial Step): 먼저, 지금 당장 무용수의 자세를 봅니다. 팔을 올리고 있나요? 다리를 넓게 벌리고 있나요? 이것이 '공간적'인 부분입니다. 로봇의 네트워크는 레이저 빔이 원형을 이루고 있다는 점(첫 번째 빔과 마지막 빔이 실제로 서로 맞닿아 있다는 점)을 고려하여, 원형을 따라 레이저 빔을 살핌으로써 이 작업을 수행합니다.
2. 시간 단계(The Temporal Step): 다음으로, 무용수가 한 초에서 다음 초로 어떻게 움직이는지 관찰합니다. 회전을 했나요? 앞으로 발을 내디뎠나요? 이것이 '시간적'인 부분입니다.

이 논문의 큰 발견은 이 두 단계를 분리하면—즉, 먼저 모양을 분석한 다음 움직임을 분석하면—로봇이 훨씬 더 잘 추측한다는 것입니다. 이는 마치 일반적인 제너럴리스트 한 명이 두 가지를 모두 하려고 애쓰는 대신, '모양 전문가'와 '영화 전문가'가 협력하는 것과 같습니다. **요소 분해된 시공간 합성곱(factorized spatio-temporal convolution)**이라고 불리는 이 방식 덕분에, 로봇은 이전의 방식들보다 사람을 포착하고 그들의 정면 방향을 훨씬 더 정확하게 추측할 수 있게 되었습니다.

"그림자 스승" 기법

이제 가장 큰 난관이 남았습니다. 레이저 스캔으로 기록된 수백만 시간의 인간 데이터가 없다면, 어떻게 로봇에게 레이저 빔으로부터 인간을 인식하는 법을 가르칠 수 있을까요? 보통은 사람이 직접 앉아서 모든 레이저 스캔 속의 모든 사람 주변에 박스를 그려야 하는데, 이는 매우 지루하고 비용이 많이 드는 일입니다.

저자들은 기발한 우회 방법을 찾아냈습니다. 바로 **자기 지도 학습(Self-Supervision)**입니다. 그들은 레이저 스캐너와 일반 카메라(깊이 감지가 가능한 웹캠 같은 것)를 모두 갖춘 로봇을 사용했습니다. 카메라는 사람을 보는 데 능숙하며, 그들이 어디에 있고 어느 방향을 향하고 있는지 정확히 알고 있습니다. 반면 레이저 스캐너는 이에 서툽니다.

그래서 그들은 '그림자 스승(Shadow Teacher)' 시스템을 설정했습니다. 카메라가 사람을 보고 "헤이, 2미터 거리에 있고 북쪽을 향하고 있어!"라고 말합니다. 그러면 로봇은 레이저 스캐너를 확인합니다. 만약 레이저 빔이 그 지점에 닿는다면, 로봇은 "좋아, 이 특정한 레이저 점 패턴이 '북쪽을 향한 사람'을 의미한다는 걸 배우자"라고 판단합니다. 하지만 여기서 핵심은, 로봇은 카메라가 볼 수 있는 영역에서만 이 교훈을 배운다는 것입니다. 로봇의 뒤쪽(카메라가 볼 수 없는 곳)의 나머지 360도 영역에 대해서는, 앞쪽에서 배운 것을 바탕으로 뒤쪽에서 무슨 일이 일어나는지 추측해야 합니다. 이는 조용한 방에서 친구의 목소리를 알아듣는 법을 배운 뒤, 그 기술을 사용하여 얼굴이 보이지 않는 시끄러운 군중 속에서도 친구를 알아보는 것과 같습니다.

결과: 더 빠르고, 더 똑똑하며, 실전에 준비된 모델

연구팀은 자신들의 '공간-시간 블록' 로봇 두뇌를 기존의 더 단순한 두뇌들과 비교 테스트했습니다. 결과는 인상적이었습니다.

• 거리: 새로운 로봇은 기존 방식보다 거리 오차를 38% 줄였습니다.
• 위치: 사람은 어디에 서 있는지 위치 오차를 28% 줄였습니다.
• 방향: 사람이 어느 쪽을 보고 있는지 방향 오차를 15% 줄였습니다.

더 흥兴奋스러운 점은, 이 똑똑한 두뇌가 실행을 위해 슈퍼컴퓨터를 필요로 하지 않는다는 것입니다. 저자들은 표준적인 서비스 로봇의 일반 노트북 프로세서(CPU)에서 테스트를 진행했는데, 이는 **실시간(real-time)**으로 작동했습니다. 로봇이 붐비는 사무실이나 복도를 돌아다니는 동안에도 사람을 발견하고, 위치를 파악하며, 심지어 자신을 보고 있는지까지 추측할 수 있었습니다.

그들은 또한 FROG라는 공개 데이터셋(로봇 비전의 표준화된 시험 같은 것)에서도 테스트를 진행했습니다. 그들의 모델은 강력한 그래픽 카드(GPU)를 필요로 하는 고성능 모델들과 대등한 성능을 보여주면서도, 로봇 자체의 작은 컴퓨터에서 아주 매끄럽게 실행되었습니다.

실전 테스트: 웨이터 로봇

이것이 단순히 실험실에서의 트릭이 아님을 증명하기 위해, 그들은 로봇을 실제 상황에 배치했습니다. 로봇이 웨이터나 접수원처럼 행동하도록 프로그래밍했습니다. 로봇은 방을 스캔하다가 사람을 발견하면, 그 사람이 로봇을 향해 있고 충분히 가까이 있다면, 로봇은 그쪽으로 굴러가서 몸을 돌린 뒤 팔을 뻗어 '제공하는(offering)' 제스동작을 취합니다.

한 테스트에서, 로봇은 어떤 물체 뒤에 사람이 부분적으로 가려져 있음에도 불구하고 그 사람을 성공적으로 포착했습니다. 로봇은 사람이 그곳에 있고 자신을 향하고 있다는 것을 정확히 추측해 냈습니다. 하지만 논문은 한계점도 명시하고 있습니다. 만약 두 사람이 로봇의 관점에서 완전히 겹쳐져 있다면(같은 레이저 빔 경로에 있다면), 로봇은 혼란을 느껴 한 명만 볼 수 있습니다. 또한, 방이 극도로 복잡할 경우 예측이 더 어려워집니다. 그러나 전반적으로 이 실험은, 이 가볍고 시간 인지적인 접근 방식이 비싸고 무거운 장비 없이도 로봇이 우리 세상에서 안전하고 사회적으로 항해할 수 있게 하는 견고한 단계임을 보여주었습니다.

요약하자면, 레이저 스캔의 '정지 화면' 대신 '영화'를 보도록 로봇을 가르치고, 카메라가 레이저에게 보는 법을 가르치게 함으로써, 저자들은 더 똑똑하고 빠르며 실전에 투입될 준비가 된 로봇 비전 시스템을 만들어냈습니다.