Pose-Aware Modeling to Mitigate Pose-Related Artifacts in Tactile Gloves

로봇에게 잘 익은 딸기를 으깨지 않고 집는 법을 가르친다고 상상해 보세요. 이를 위해 로봇에게는 마치 여러분의 손가락 끝처럼 자신이 얼마나 세게 누르고 있는지 정확히 느낄 수 있는 '손'이 필요합니다. 과학자들은 로봇에게 이런 초능력을 주기 위해 부드럽고 신축성 있는 센서로 덮인 특수한 장갑을 만들어 왔습니다. 이 장갑들은 놀랍게도 부드러운 촉감을 디지털 데이터로 변환할 수 있어, 로봇이 인간을 관찰하며 배울 수 있도록 도와줍니다. 하지만 까다로운 문제가 하나 있습니다. 이 센서들은 너무 민감해서 혼란을 겪는다는 점입니다. 센서는 물체를 만지는 압력과 단순히 손가락을 구부릴 때 발생하는 늘어남(신축) 사이의 차이를 구분하지 못합니다. 이는 마치 벽이 계속 늘어나고 줄어드는 방 안에서 속삭임을 들으려고 애쓰는 것과 같습니다. 벽에서 발생하는 소음 때문에 속삭임을 포착하기 어려워지는 것이죠. 이 혼란은 로봇이 매우 가벼운 터치를 느껴 섬세하고 정밀하게 움직여야 하기 때문에 매우 중요한 문제입니다.

이 논문은 바로 그 혼란 문제를 다룹니다. 연구진은 손을 움직일 때, 즉 아무것도 만지지 않을 때도 장갑 내부의 센서가 마치 무언가를 만진 것처럼 보이는 '가짜' 신호를 보낸다는 사실을 발견했습니다. 그들은 이 혼란스러운 신호를 "포즈 관련 아티팩트(Pose-related artifacts)"라고 부릅니다. 이를 해결하기 위해, 장갑을 새로 만들거나 새로운 재료를 발명하지 않고도 이 문제를 해결할 수 있는 스마트한 컴퓨터 프로그램을 개발했습니다. 이 프로그램은 여러분의 손이 어떻게 움직이는지 알고 있는 '번역가' 역할을 합니다. 프로그램은 손의 포즈(손가락이 만드는 모양)를 살펴보고, 센서의 읽기 값에서 '가짜' 노이즈를 빼버림으로써 실제 촉감만을 남깁니다. 연구진은 세 가지 유형의 장갑과 15명의 사람을 대상으로 테스트한 결과, 이 프로그램이 장갑의 미세한 터치 감지 능력을 크게 향상시켜 최소 감지 가능한 힘을 최대 18.3%까지 줄였다는 것을 확인했습니다.

"유령 촉각" 이야기

하이테크 촉각 장갑을 손가락에 놓인 초정밀 마이크라고 생각해 보세요. 이 마이크의 임무는 손가락이 테이블이나 공을 누르는 압력, 즉 터치의 '소리'를 기록하는 것입니다. 하지만 여기 함정이 있습니다. 마이크가 고무줄에 붙어 있다는 점입니다. 손가락을 구부릴 때마다 고무줄이 늘어나는데, 마이크는 이 늘어남을 마치 큰 소음이 발생한 것처럼 인식합니다.

로봇 공학의 세계에서 이러한 늘어남 현상을 **포즈 관련 아티팩트(Pose-Related Artifact, PRA)**라고 부릅습니다. 이것은 일종의 "유령 촉각"입니다. 손을 허공에 흔들기만 해도 장갑은 무언가를 톡 건드렸다고 생각할 수 있습니다. 혹은 가벼운 물체를 잡은 채 손가락을 구부리면, 장갑은 실제보다 훨씬 강하게 누르고 있다고 착각할 수 있습니다. 이는 로봇이 화면을 가볍게 톡 치는 정도(약 0.5 뉴턴, 대략 작은 사과 한 조각의 무게)의 아주 가벼운 힘을 느껴야 할 때 특히 골칫거리입니다. 이러한 유령 신호 때문에 장갑은 가벼운 터치를 놓치거나, 실제로는 터치가 일어나지 않았는데도 터치가 일어났다고 오판하곤 합니다.

"하드웨어 수정"의 문제점

오랫동안 과학자들은 이 문제를 해결하는 유일한 방법이 장갑 자체를 바꾸는 것이라고 생각했습니다. 센서를 더 딱딱하게 만들거나, 늘어남을 막기 위해 특수한 층을 추가하는 식이죠. 하지만 장갑을 딱딱하게 만들면 착용감이 불편해지고 움직임이 둔해져서, 인간과 같은 부드러운 손을 구현하려는 본래 목적을 해치게 됩니다. 게os 더군다나 하드웨어를 다시 설계하는 것은 비용이 많이 들고 시간도 오래 걸립니다.

이 논문의 저자들은 다른 질문을 던졌습니다: 장갑을 고치는 대신, 데이터를 읽는 방식을 고치면 어떨까? 그들은 장갑은 혼란을 겪을지 몰라도, 로봇(또는 장갑을 낀 사람)은 보통 자신의 손이 어떻게 움직이고 있는지 정확히 알고 있다는 점에 주목했습니다. 우리는 실시간으로 손의 모든 관절 각도를 볼 수 있는 카메라와 모션 트래커를 가지고 있습니다. 장갑은 늘어남과 터치를 구분하지 못하는 '맹인'이지만, 모션 트래커는 그 늘어남을 명확하게 볼 수 있습니다.

"스마트 번역가" 솔루션

연구팀은 스마트한 번역가 역할을 하는 새로운 컴퓨터 모델을 구축했습니다. 여러분이 시끄러운 라디오 소음 속에서 친구의 목인 소리를 들으려고 노력한다고 상상해 보세요. 만약 다이얼을 돌릴 때마다 라디오에서 어떤 종류의 정전기 소음이 발생하는지 정확히 알고 있다면, 그 소음을 소리에서 빼버림으로써 친구의 목소리를 선명하게 들을 수 있습니다.

이것이 바로 그들의 포즈 인지 힘 추정(Pose-Aware Force Estimation) 모델이 작동하는 방식입니다. 모델은 두 가지 정보 스트림을 입력받습니다:

1. 촉각 신호: 장갑 센서로부터 오는, 노이즈가 섞여 혼란스러운 읽기 값.
2. 손의 포즈: 손가락이 어떻게 굽혀지는지 보여주는 모션 트래커의 깨끗하고 명확한 데이터.

이 모델은 **잔차 학습(residual learning)**이라는 기법을 사용합니다. 이는 두 단계 과정으로 생각할 수 있습니다. 먼저, 모델은 오직 장갑의 노이즈 섞인 신호만을 사용하여 힘에 대한 "최선의 추측"을 합니다. 그다음, 손의 포즈를 확인하며 "이 신호 중 얼마만큼이 단순히 손가락이 구부러졌기 때문에 발생한 것인가?"라고 묻습니다. 모델은 그 "유령" 같은 양을 계산하여 추측값에서 빼버립니다. 그 결과, 훨씬 더 깨끗하고 정확한 실제 힘의 값을 얻게 됩니다.

연구 결과

연구진은 이 아이디어를 세 가지 다른 장갑 디자인과 15명의 사람을 대상으로 테스트했습니다. 그들은 손가락 하나를 허공에서 구부리는 동작부터, 손을 움직이며 평평한 표면을 누르는 동작까지 모든 종류의 움직임을 테스트했습니다.

결과는 유망했습니다. 손의 포즈를 이용해 데이터를 정화함으로써, 그들은 **최소 감지 가능 힘(Minimum Detectable Force, MDF)**을 낮출 수 있었습니다. 이는 장갑이 신뢰할 수 있게 느낄 수 있는 가장 작은 압력입니다.

• 한 장갑의 경우, 최소 감지 힘이 10.4% 감소했습니다.
• 다른 장갑에서는 12.2% 감소했습니다.
• 세 번째 장갑에서는 무려 **18.3%**라는 상당한 수치로 감소했습니다.

이는 장갑이 이전보다 더 가벼운 터치를 느낄 수 있게 되었음을 의미합니다. 또한, 이 모델은 실제로 손을 허공에 흔들고 있을 뿐인데도 무언가에 닿았다고 판단하는 "거짓 양성(false positives)" 반응도 줄여주었습니다.

이것이 왜 중요한가

이 발견의 가장 흥激한 부분은 새로운 장갑을 만들 필요가 없다는 점입니다. 연구진은 기존의 장갑을 가져와서 손 포즈 데이터를 연결하고 이 소프트웨어를 실행하기만 하면 즉시 더 나은 결과를 얻을 수 있다는 것을 보여주었습니다. 이는 마치 안경 렌즈를 새로 교체하지 않고도 소프트웨어 업데이트를 통해 시력을 더 선명하게 만드는 것과 같습니다.

이 연구는 이 접근 방식이 컴퓨터가 본 적 없는 손 동작에도 잘 작동한다는 것을 시사합니다. 다만, 저자들은 실험이 매우 구체적이고 통제된 움직임과 평평한 표면을 대상으로 이루어졌다는 점을 언급했습니다. 결과는 강력하지만, 향 easily 로봇이 말랑말랑한 과일을 잡거나 미끄러운 도구를 잡는 것처럼 예측 불가능하고 복잡한 실제 환경에서도 이 방식이 잘 작동하는지 확인하는 후속 연구가 필요하다고 제안했습니다.

요약하자면, 이 논문은 센싱 문제를 해결하기 위해 항상 더 나은 하드웨어가 필요한 것은 아니며, 때로는 우리가 이미 가지고 있는 데이터를 더 똑똑하게 듣는 방법이 필요하다는 것을 증명합니다. 컴퓨터에게 "늘어남 노이즈"를 무시하도록 가르침으로써, 우리는 마침내 로봇에게 세상과 안전하게 상호작용할 수 있는 부드럽고 정밀한 촉각을 부여할 수 있게 되었습니다.