ContactFusion: Stochastic Poisson Surface Maps from Visual and Contact Sensing

로봇이 아주 작은 구멍에 핀을 밀어 넣는 것과 같이 정교한 작업을 수행하려고 한다고 상상해 보십시오. 인간에게는 매우 간단해 보이지만, 로봇에게 이것은 정밀함의 악몽입니다. 로봇의 "눈"(카메라)이 조금이라도 흐릿하거나 그림자에 의해 혼란을 겪으면, 핀이 구멍을 아주 미세한 차이로 놓쳐서 로봇이 부품을 끼이게 하거나 부러뜨릴 수 있습니다. 이것이 바로 기계가 물체의 3D 형상을 이해하여 상호작용해야 하는 **로봇 조작(robotic manipulation)**의 세계입니다. 보통 로봇은 카메라에 의존하여 세상에 대한 정신적 지도를 구축하지만, 카메라는 나쁜 조명이나 반사에 속을 수 있습니다. 이를 해결하기 위해 과학자들은 로봇이 손이 무언가에 닿았을 때를 감지하는 센서를 사용하여 주변을 "느끼는" 법을 가르치기 시작했습니다. 큰 질문은 이것입니다: 로봇의 눈과 촉각 센서가 모두 실수를 할 때, 어떻게 시각 정보와 촉각 정보를 결합하여 물체의 완벽하고 초정밀한 지도를 만들 수 있을까요?

이것이 바로 에든버러 대학교와 워털루 대학교의 연구진이 만든 ContactFusion이라는 새로운 방법이 해결하고자 하는 퍼즐입니다. 연구진은 카메라가 넓은 시야를 제공하지만 노이즈가 생길 수 있고, 촉각 센서는 정밀하지만 자신이 닿은 아주 작은 지점만을 알 수 있다는 점을 깨달았습니다. 이를 해결하기 위해 팀은 시각적 단서와 촉각적 힌트를 결합하여 "확률적 푸아송 표면 지도"(Stochastic Poisson Surface Map, 또는 SPSMap)를 생성하는 초스마트 탐정처럼 작동하는 시스템을 구축했습니다. 이 지도를 딱딱한 그림이 아니라, 살아 움직이는 가능성의 구름이라고 생각하십시오. 이 지도는 단순히 "벽이 여기에 있다"라고 말하는 것이 아니라, "벽이 아마 여기에 있을 것이며, 우리는 90% 확신하고 있고, 여기는 정확히 어느 정도의 추측이 들어갔다"라고 말합니다.

그들의 발명품의 핵심은 로봇의 "아야" 또는 "밀기" 신호(힘과 토크)를 접촉이 발생한 위치에 대한 추측으로 변환하는 영리한 방법입니다. 만약 로봇 팔이 핀에 부딪히면, 센서는 비틀림과 압력을 측정합니다. ContactFusion 시스템은 수학을 사용하여 그 비틀림으로부터 역으로 계산하여, "아, 로봇이 핀의 바로 '이곳'을 만졌음이 틀림없다"라고 알아냅니다. 그런 다음 이 "촉각 추측"을 카메라의 "시각 데이터"와 융합합니다. 그 결과, 로봇이 보거나 만질 때마다 더 선명하고 정확해지는 지도가 만들어집니다. 테스트에서 이 방법은 카메라나 표준 지도만을 사용한 이전 방식보다 물체의 형상을 최대 30~35% 더 정확하게 재구성할 수 있었습니다. 더욱 좋은 점은, 지도가 자신이 불확실한 부분을 알고 있기 때문에, 로봇은 그 불확벽성을 활용하여 다음에 어디를 보고 어디를 만져야 할지 결정할 수 있으며, 결과적으로 퍼즐의 빠진 조각을 더 빠르게 찾는 법을 스스로 학습할 수 있다는 것입니다.

문제점: "보는 것"만으로는 충분하지 않을 때

로봇은 움직이는 데는 뛰어나지만, 추측하는 데는 서툽니다. 로봇이 핀을 구멍에 넣으려고 할 때, 로봇은 두 물체의 정확한 모양과 위치를 알아야 합니다. 만약 로봇의 카메라가 구멍을 보고 있지만 이미지가 약간 흐릿하거나, 로봇의 손이 핀의 중심에서 약간 벗어나 부딪힌다면 전체 작업은 실패할 수 있습니다. 이는 실제 센서들이 노이즈가 많기 때문입니다. 카메라는 구멍이 한 곳에 있다고 생각할 수 있지만 실제로는 1mm 떨어져 있을 수 있습니다. 1mm는 별것 아닌 것처럼 들릴 수 있지만, 부품을 맞추려는 로봇에게 그것은 성공과 엉망으로 낀 상태 사이의 차이입니다.

전통적으로 로봇은 더 열심히 보거나 "순응 제어(compliant control)"를 사용하여 이 문제를 해결하려 했습니다. 순응 제어란 로봇이 잘못된 곳을 쳤을 때 부서지지 않도록 팔을 느슨하게 움직이는 고급 기술을 의미합니다. 하지만 여기에는 트레이드오프가 있습니다. 로봇이 너무 느슨하면 정밀하게 움직일 수 없고, 너무 뻣뻣하면 물건을 부수게 됩니다. ContactFusion의 연구진은 다른 질문을 던졌습니다: 만약 우리가 로봇의 시각과 촉각을 결합하여 자신이 어디가 불확실한지 정확히 아는 지도를 만들 수 있다면 어떨까?

해결책: 자신이 무엇을 모르는지 아는 지도

연구진은 SPSMap이라는 특별한 종류의 지도를 구축하는 ContactFusion 시스템을 도입했습니다. 이것이 왜 특별한지 이해하려면, 어둠 속에서 동굴의 지도를 그린다고 상상해 보십시오. 당신에게는 전등(카메라)이 있어 벽의 대략적인 모습은 보여주지만 빛이 깜빡거립니다. 또한 당신은 긴 막대(로봇 팔)를 가지고 있어 벽을 두드려 볼 수 있습니다. 막대가 무언가에 부딪히면 그 지점의 벽이 어디에 있는지 정확히 알 수 있지만, 동굴의 나머지 부분은 어떻게 생겼는지 알 수 없습니다.

기존의 방법들은 단순히 전등 사진과 막대 타격 데이터를 가져와서 억지로 합치려 했고, 그 결과 종종 울퉁불퉁하고 혼란스러운 지도를 만들어냈습니다. 그러나 ContactFusion은 **확률적 푸아송 표면 재구성(Stochastic Poisson Surface Reconstruction, SPSR)**이라는 수학적 기법을 사용합니다. 벽을 위해 단 하나의 딱딱한 선을 그리는 대신, "확률의 구름"을 그립니다. 이 지도는 "여기에 벽의 가장 가능성 높은 형태가 있지만, 동시에 여기는 우리가 얼마나 추측하고 있는지도" 보여줍니다.

이 "불확실성"이 바로 비법입니다. 지도가 자신이 불확실한 곳을 알고 있기 때문에, 로봇은 그 정보를 사용하여 더 나은 행동을 취할 수 있습니다. 만약 지도의 한 구석이 흐릿하다면, 로봇은 그 특정 지점을 만지거나 새로운 각도에서 살펴봐야 한다는 것을 알게 됩니다. 이것을 **능동적 인지(active perception)**라고 합니다. 로봇은 단순히 데이터를 기다리는 것이 아니라, 자신의 지도를 완벽하게 만들기 위해 필요한 정보를 능동적으로 찾아다니는 것입니다.

작동 원리: "아야"를 "아하!"로 바꾸기

마법은 시스템이 로봇의 촉각을 처리하는 방식에서 일어납니다. 로봇의 손이 물체에 닿을 때, 로봇은 단순히 "접촉" 신호만을 받는 것이 아닙니다. 힘(얼마나 세게 밀었는지)과 토크(얼마나 비틀렸는지)의 복합적인 혼합물을 받습니다. 연구진은 이를 해독하기 위한 **접촉 위치 추정기(contact location estimator)**를 구축했습니다.

로봇 팔이 레버라고 상상해 보십시오. 만약 당신이 레버의 끝을 밀면, 베이스 부분이 비틀립니다. 로봇의 센서는 그 비틀림을 측정합니다. ContactFusion 시스템은 물리학을 사용하여 역으로 계산합니다: "만약 베이스가 이만큼 비틀렸다면, 접촉은 반드시 저곳에서 일어났을 것이다." 이 시스템은 힘과 토크 수치를 접촉이 물체의 표면 중 어디에서 발생했는지에 대한 "가설(추측)" 목록으로 변환합니다.

이러한 추측을 얻고 나면, 이를 카메라 데이터와 융합합니다. 카메라는 "물체가 대략 여기에 있다"라고 말하고, 촉각 센서는 "하지만 나는 분명히 바로 '이곳'을 만졌다"라고 말합니다. SPSR 알고리즘은 이 두 소스의 정보를 혼합하여 확률의 "구름"을 업데이트합니다. 로봇이 보거나 만질 때마다 지도는 더 명확해지고, 불확실성의 "구름"은 줄어듭니다.

결과: 더 똑똑한 지도, 더 나은 로봇

연구진은 컴퓨터 시뮬레이션과 카메라 및 힘 센서가 장착된 실제 로봇 팔(KUKA IIWA) 두 가지 방식으로 시스템을 테스트했습니다. 그들은 고전적인 "핀 삽입(peg-in-hole)" 과제를 설정하고, ContactFusion을 점유 지도(Occupancy Maps)(단순히 "차 있음" 또는 "비어 있음"을 나타냄)나 GPIS(또 다른 유형의 3D 지도)와 같은 다른 인기 있는 매핑 방법들과 비교했습니다.

결과는 명확했습니다. 시뮬레이션에서 ContactFusion 지도는 다른 방법들보다 30% 더 정확했습니다. 실제 로봇에서 테스트했을 때 그 향상은 더욱 인상적이었으며, 최대 **35%**에 달했습니다. ContactFusion이 생성한 지도는 더 정확할 뿐만 아니라 "기하학적으로 일관성"이 있었습니다. 즉, 모양이 울퉁불퉁하거나 끊어지지 않고 매끄럽고 논리적으로 보였습니다.

가장 흥미로운 발견 중 하나는 시스템이 불확실성을 다루는 방식이었습니다. 지도가 자신이 불확실한 곳을 알고 있었기 때문에, 로봇은 **능동적 재구성 전략(active reconstruction strategy)**을 사용할 수 있었습니다. 로봇은 단순히 물체를 무작위로 찌르는 대신, 지도를 보고 흐릿한 부분을 확인한 뒤 "혼란을 없애기 위해 저 지점을 만져야겠다"라고 결정했습니다. 이를 통해 로봇은 미리 정해진 이동 목록을 따를 때보다 훨씬 더 빠르고 효율적으로 목표 형상을 식着할 수 있었습니다.

이것이 중요한 이유

이 연구는 로봇 조립의 미래가 단순히 더 좋은 카메라나 더 강한 팔을 만드는 것에 있지 않다는 것을 시사합니다. 그것은 로봇이 자신이 무엇을 모르는지에 대해 생각할 수 있도록 만드는 것에 있습니다. 불확실성을 명시적으로 모델링하는 지도를 만듦으로써, 로봇은 환경을 탐색하는 더 스마트한 결정을 내릴 수 있습니다.

연구진은 이 방법에도 비용이 따른다는 점을 언급했습니다: 새로운 데이터에 대해 복잡한 수학 방정식을 풀어야 하기 때문에 지도를 계산하는 데 더 많은 시간이 걸립니다. 하지만 높은 정밀도가 요구되는 작업에서는 그 대가가 가치가 있는 것으로 보입니다. 저자들이 제안했듯이, 향후 연구는 병렬 컴퓨팅 등을 사용하여 이러한 계산 속도를 높임으로써, 이 스마트하고 불확실성을 인지하는 지도를 더욱 복잡한 조립 작업에서도 실시간으로 사용할 수 있도록 하는 데 집중할 수 있습니다.

결국, ContactFusion은 로봇이 시각만큼이나 촉각을 신뢰하는 법을 배우고, "무엇이 보이는가?" 대신 "내가 어디서 추측하고 있는가?"라고 묻는 법을 배울 때, 인간이 항상 가장 잘해왔던 섬세하고 정밀한 작업을 훨씬 더 잘 수행할 수 있음을 보여줍니다.