로봇에게 거대하고 모양이 제멋대로인 상자를 운반하는 법을 가르치려 한다고 상상해 보세요. 여러분은 아마 이렇게 생각할지도 모릅니다. "그냥 로봇에게 손을 움직이는 모습을 보여주면 되잖아!" 하지만 여기 함정이 있습니다. 인간이 크고 무거운 물건을 옮길 때는 단순히 손가락만 사용하지 않습니다. 우리는 상자를 가슴으로 끌어안기도 하고, 팔꿈치로 기대기도 하며, 물건이 흔들리지 않도록 옆구리에 밀착시키기도 합니다. 오랫동안 로봇들은 마치 손끝의 움직임만 알 뿐 나머지 몸 전체는 완전히 무시하는 서투른 무용수와 같았습니다. 이는 과학자들이 부모님이 자전거 타는 법을 보여주는 것을 보고 아이가 배우는 것처럼, 기계에게 하는 행동을 직접 보여줌으로써 학습시키는 '로봇 학습(robot learning)' 분야의 문제입니다. 연구자들이 던지는 핵심 질문은 이것입니다. "어떻게 하면 로격에게 인간처럼 온몸을 사용하여 만지고, 잡고, 움직이는 법을 가르칠 수 있을까?" 이를 위해 연구자들은 로봇의 손 움직임뿐만 아니라, 무거운 물건이 가슴이나 팔에 압박을 가할 때 느껴지는 감각까지 포착할 수 있는 방법이 필요합니다.

여기에 로봇을 위한 고성능 '더블(body double)' 역할을 하는 영리한 새로운 시스템, TWINS가 등장했습니다. 이것을 로봇에게 가르치고자 하는 대상과 똑같이 생기고 똑같이 움직이는, 운영자가 착용하는 웨어러블 슈트라고 생각해보세요. 하지만 이것은 단순한 코스튬이 아닙니다. 이것은 전신 센서 슈트입니다. 사람이 슈트를 입고 상자를 껴안거나 벽에 기댈 때, 슈트는 그 압력을 느낍니다. 그리고 로봇이 이 슈트와 동일한 크기와 관절을 가진 정확한 '쌍둥이(twin)'로 제작되었기 때문에, 로봇은 그 접촉이 어떤 느낌인지 정확하게 배울 수 있습니다. 연구진은 이 시스템을 사용함으로써, 이전에는 로봇이 신체와의 접촉을 '느낄' 수 없었기 때문에 가르치는 것이 불가능했던 복잡한 작업들(예: 팔에 수건 걸기 또는 가슴에 바구니 고정하기)을 수행하도록 로봇을 학습시킬 수 있다는 것을 발견했습니다. 그들은 이 시스템을 통해 신체 표면 접촉 데이터를 성공적으로 수집했으며, 이를 사용하여 로봇이 스스로 동일한 작업을 수행하도록 훈련시켰습니다. 이는 로봇에게 온몸으로 느낄 수 있는 방법을 제공한다면, 훨씬 더 자연스럽게 세상을 조작할 수 있음을 증명한 것입니다.

문제점: "손가락만 있는" 뇌를 가진 로봇들

오랫동안 로봇은 컵을 집거나 문을 여는 등 손을 움직이는 데 뛰어난 성능을 보여왔습니다. 이를 '말단 장치 조작(end-effector manipulation)'이라고 하는데, 이는 "팔 끝에 달린 도구를 사용하는 것"을 뜻하는 멋진 표현입니다. 하지만 현실 세계는 복잡합니다. 때로는 그리퍼(집게)에 들어가지 않는 커다란 물건을 운반해야 할 때가 있습니다. 가슴으로 물건을 받치거나, 팔꿈치에 걸거나, 혹은 미끄러지지 않도록 팔뚝에 밀착시켜야 할 수도 있습니다. 인간은 이를 자연스럽게 수행하지만, 로봇은 어려움을 겪습니다. 왜냐하면 로봇은 대개 세상을 '보는' 데 카메라만을 사용하기 때문입니다. 카메라는 무언가가 '어떻게 생겼는지'를 보는 데는 뛰어나지만, 물체가 로봇의 팔이나 가슴을 얼마나 강하게 누르고 있는지 정확히 아는 데는 매우 서툽니다.

로봇에게 이러한 기술을 가르치기 위해 과학자들은 보통 '모방 학습(imitation learning)'을 사용합니다. 이는 인간이 과업을 수행하는 영상을 로봇에게 보여주고 그대로 따라 하라고 요청하는 것과 같습니다. 하지만 문제가 하나 있습니다. 이러한 영상을 기록하는 대부분의 시스템은 손이나 로봇의 관절만을 추적한다는 점입니다. 이들은 '신체 표면 접촉(body-surface contact)', 즉 물체가 어깨나 팔에 닿아 있는 느낌을 놓칩니다. 이 정보가 없다면, 로봇은 왜 팔을 특정 방식으로 움직여야 하는지, 혹은 언제 놓아야 하는지를 알 수 없습니다. 이는 마치 공이 손에 어떻게 쥐어져 있는지는 보지 못한 채, 공의 끝부분만 보고 저글링을 배우려는 것과 같습니다.

해결책: "쌍둥이" 슈트

이 논문의 저자인 키타무라 타카히데(Takahide Kitamura)와 그의 팀은 이를 해결하기 위해 TWINS(Tactile Wearable Isomorphic Arm Networked System)라고 불리는 시스템을 구축했습니다. 이름은 조금 길지만, 개념은 간단합니다. 바로 두 명의 똑같은 쌍둥이 시스템이라는 것입니다.

1. 웨어러블 양팔 장치(The Wearable Dual-Arm Device): 이것은 인간 운영자가 착용하는 슈트입니다. 이 슈트는 로봇의 팔과 똑같이 생긴 두 개의 팔을 가지고 있으며, 관절과 크기가 동일합니다. 사람이 이 슈트를 입으면, 나중에 로봇이 하게 될 동작처럼 물체에 손을 뻗어 닿을 수 있습니다.
2. 동형 로봇(The Isomorphic Robot): 이것은 실제 로봇입니다. '동형(Isomorphic)'이란 과학 용어로 "같은 모양"을 의미합니다. 이 로봇은 웨어러블 슈트의 완벽한 거울이 되도록 설계되었습니다. 관절 각도, 팔 길이, 가슴 치수가 모두 동일합니다.

마법은 이 완벽한 일치에서 일어납니다. 슈트를 입은 사람이 앞으로 숙여 상자를 가슴에 밀착시키면, 슈트의 센서가 그 압력을 감지합니다. 로봇이 정확한 쌍둥이이기 때문에, 연구자들은 인간의 관절 각도와 압력 데이터를 로봇에 그대로 복사하여 전달할 수 있습니다. "인간의 팔"을 "로봇의 팔"로 변환하기 위한 복잡한 수학적 계산이 필요 없습니다. 이미 크기와 모양이 같기 때문입니다.

모든 것을 느끼는 "피부"

TWINS가 특별한 이유는 단순히 관절이 어떻게 움직이는지만 측정하는 것이 아니라, 몸이 무엇을 '느끼는지'를 측정하기 때문입니다. 연구진은 웨어러블 슈트와 로봇을 특수한 '전자 피부(e-Skin)' 센서로 덮었습니다. 이것은 육각형 세포(벌집 패턴을 생각하면 됩니다)로 이루어진 유연하고 신축성 있는 패치와 같습니다.

• 위치: 이 센서들은 팔, 팔뚝, 그리고 가슴 전체에 배치되어 있습니다.
• 기능: 이 센서들은 두 가지를 느낄 수 있습니다. 바로 압력(얼마나 세게 누르는지)과 근접성(닿기 전 얼마나 가까이 있는지)입니다.
• 결과: 사람이 슈트를 입고 바구니를 들면, 가슴과 팔에 있는 센서들이 바구니가 어디에 닿아 있고 얼마나 세게 누르는지를 정확하게 기록합니다. 이 데이터는 초당 10회(10 Hz)의 속도로 기록되어, 접촉에 대한 매우 상세한 지도를 만들어냅니다.

테스트: 로봇은 '포옹'을 배울 수 있을까?

이 시스템이 실제로 작동하는지 확인하기 위해, 팀은 로봇이 손뿐만 아니라 몸을 사용해야 하는 네 가지 까다로운 과업을 설정했습니다.

1. 수건 걸기: 로봇의 팔 위에 수건을 올려놓습니다. 로봇은 팔을 회전시켜 수건을 걸어야 합니다.
2. 바구니 들기: 로봇의 가슴에 바구니를 밀착시킵니다. 로봇은 양팔로 바구니를 잡고 꽉 쥐어야 합니다.
3. 공 놓기: 로 로봇은 한 팔로 가슴에 바구니를 밀착시킨 상태에서, 다른 쪽 팔을 사용하여 공을 집어 바구니에 떨어뜨려야 합니다.
4. 적응형 홀딩(Adaptive Holding): 가장 어려운 과업입니다. 로봇은 물체가 어디에 닿느냐에 따라 어떻게 잡아야 할지 판단해야 합니다. 긴 상자가 가슴에 닿으면 양팔로 잡고, 침낭이 팔 한쪽에 닿으면 그 팔로 잡아야 합니다.

팀은 웨어러블 슈트를 사용하여 40번의 시연(각 과업당 10번)을 수행했습니다. 인간 운영자가 슈트를 입고 과업을 수행하는 동안 보조자가 물건을 건네주었습니다. 슈트는 관절 각도와 촉각 센서 데이터를 기록했습니다.

결과: 로봇은 '느끼는 법'을 배우다

데이터를 수집한 후, 그들은 시연으로부터 학습하는 컴퓨터 프로그램(이를 '정책/policy'라고 부름)을 훈련시켰습니다. 그런 다음 이 프로그램을 동형 로봇에 적용하여 결과를 관찰했습니다.

결과는 인상적이었습니다. 로봇은 다음과 같은 것들을 성공적으로 학습했습니다:

• 물체가 몸의 어디에 닿았는지에 따라 서로 다른 홀딩 전략을 전환하는 법.
• 본 적 없는 새로운 상황에 반응하는 법. 예를 들어, 물체의 순서가 바뀌더라도 로봇은 여전히 올바르게 잡는 법을 찾아냈습니다.
• 훈련 데이터보다 더 많은 양의 공을 처리하는 법.

로봇은 단순히 움직임을 복사한 것이 아니라, 접촉의 '논리'를 배웠습니다. 가슴의 센서가 바구니를 느끼면 잡아야 한다는 것을 알았고, 팔의 센서가 수건을 느끼면 회전해야 한다는 것을 알았습니다. 연구진은 로봇의 움직임이 인간과 매우 유사하며, 관절 각도 오차가 평균 1도 미만이었다고 언급했습니다.

몇 가지 작은 문제도 있었습니다. 때때로 로봇이 팔과 가슴 사이에 물체를 잡으려고 할 때 물체를 떨어뜨리는 경우가 있었습니다. 연구진은 가슴과 물체에 약간의 스펀지 패딩을 추가하는 것이 더 부드럽고 안정적인 그립을 만드는 데 도움이 된다는 것을 발견했습니다. 이는 로봇이 '움직임'은 배웠지만, '그립의 물리적 특성'은 여전히 개선될 여지가 있음을 시사합니다.

이것이 중요한 이유

TWINS 시스템은 로봇에게 몸을 사용하는 법을 가르치기 위해 초복잡한 뇌가 필요한 것이 아니라, 단지 신체의 감각을 포착할 방법이 필요하다는 것을 증명합니다. 가르치는 사람(슈트를 입은 인간)과 배우는 학생(로봇)이 물리적으로 동일하게 만듦으로써, 연구진은 추측의 과정을 제거했습니다. 그들은 로봇이 손가락뿐만 아니라 가슴과 팔을 사용하여 물체를 조작할 수 있음을 보여주었습니다. 적절한 감각 데이터가 주어진다면 말입니다.

이것이 아직 모든 로봇 문제를 해결하는 마법 지팡이는 아니지만, 중요한 진전입니다. 만약 우리가 로봇이 실생활의 업무(예: 무거운 가구 옮기기, 주방에서 돕기, 창고에서 일하기 등)를 돕기를 원한다면, 우리는 로봇에게 손끝만이 아닌 온몸으로 세상을 느끼는 법을 가르쳐야 합니다. 그리고 TWINS를 통해, 우리는 마침내 그 방법을 갖게 되었습니다.