로봇 손의 춤

로봇에게 포도를 까거나 바늘에 실을 꿰는 것과 같이 섬세한 동작을 가르치는 것을 상상해 보십시오. 이것은 단순히 기계 팔을 A 지점에서 B 지점으로 이동시키는 문제가 아닙니다. 바로 로봇의 '손가락'에 관한 문제입니다. 로봇 공학의 세계에서는 이를 "정교한 조작(dexterous manipulation)"이라고 부릅니다. 표준적인 로봇 그리퍼가 단순히 열고 닫히는 집게와 같다면, 정교한 손은 인간의 손처럼 많은 관절을 가지고 있어 물체를 으깨지 않고 만지고, 잡고, 돌리기 위해 복잡한 협응이 필요합니다.

로봇에게 이러한 기술을 가르칠 때 가장 큰 장애물은 로봇이 배우기에 너무 멍청해서가 아니라, 어떻게 해야 하는지 그 '방법'을 보여주는 것이 믿기 힘들 정도로 어렵다는 점입니다. 모방 학습(imitation learning)이라 불리는 방식으로 인간이 예시를 통해 로봇을 가르치려면, 인간이 과제를 완벽하게 수행하는 동안 로봇이 이를 지켜봐야 합니다. 하지만 정교한 손의 경우, 이는 악몽과 같습니다. 인간 운영자는 로봇의 팔을 조종하는 동시에, 부드러운 움켜쥠을 유지하기 위해 모든 손가락 관절을 하나하나 조절해야 합니다. 이는 마치 한 손으로는 자동차를 운전하면서 동시에 다른 한 손으로는 복잡한 피아노 솔로 연주를 하는 것과 같습니다. 인간이 아주 조금이라도 실수하면 데이터는 망가지고, 로봇은 아무것도 배우지 못하게 됩니다. 이 논문은 바로 이 문제를 다룹니다. 어떻게 하면 인간 운영자를 미치게 만들지 않고도 로봇이 이러한 화려한 손가락 기술을 배우게 할 것인가 하는 문제입니다.

NestDex를 만나보세요: 로봇의 "부조종사"

이 연구의 저자인 제임스 자오(James Zhao)와 그의 팀은 NestDex라는 새로운 시스템을 선보였습니다. 이것을 로봇 손가락을 위한 "부조종사(co-pilot)"를 붙여주는 것이라고 생각하십시오. 인간에게 모든 손가락 움직임을 직접 제어하도록 요구하는 대신, NestDex는 이 작업을 두 부분으로 나눕니다. 인간 운영자는 여전히 큰 움직임, 즉 팔을 조종하고 어디로 갈지 결정하는 역할을 수행하지만, 손가かり는 스마트하고 사전 학습된 "내부 정책(inner policy)"에 의해 처리됩니다.

당신이 첨단 크루즈 컨트롤 기능이 탑ുള്ള 자동차를 운전하고 있다고 상상해 보십시오. 이 크루즈 컨트롤은 포트홀을 피해 가는 방법을 정확히 알고 있습니다. 당신은 그저 차에게 "앞으로 가"라고 말하기만 하면 되고, 크루즈 컨트롤이 부드러운 주행을 유지하기 위해 스티어링 휠을 미세하고 빠르게 조정합니다. NestDex에서 인간은 단순한 "클러치"(단일 제어 장치)를 사용하여 특정 기술이 어느 단계까지 진행되어야 하는지를 로봇의 손가락에 알려줍니다. 만약 인간이 클러치를 앞으로 밀면, 로봇의 손가ç는 "병 잡기"나 "버튼 누르기"와 같이 사전 학습된 기술을 자동으로 실행합니다. 만약 인간이 뒤로 당기면, 로봇은 손가락 움직임을 되감습니다. 인간은 종이컵을 어떻게 꼬집어야 하는지 알 필요가 없습니다. 그저 언제 "꼬집기" 기술을 시작할지 클러치를 누를지만 알면 됩니다.

이 시스템은 두 개의 층위로 작동합니다. 먼저, 팀은 이 "부조종사" 방식을 사용하여 데이터를 수집합니다. 인간은 팔을 유도하고 손가락 기술을 전환하며 완벽한 시연 라이브러리를 만듭니다. 그다음, 이들은 완전히 주도권을 가져올 별도의 "외부 정책(outer policy)"을 훈련시킵니다. 이 외부 정책은 최종 과제를 위한 로봇의 '두뇌'입니다. 이는 부조종사의 시연으로부터 배우지만, 결국 인간의 도움이나 부조종사 시스템 없이 스스로 팔과 손가락을 모두 제어하며 쇼를 이끌어 나갑니다.

압축과 평활화의 마법

NestDex가 사용하는 영리한 기술 중 하나는 "손 동작 변분 오토인코더(hand-action variational autoencoder, H-VAE)"입니다. 이것을 로봇 움직임을 위한 압축 알고리즘이라고 생각하면 됩니다. 로봇의 손은 20개의 관절을 가지고 있으며, 이는 손가락을 움직이는 수백만 가지의 방법을 의미합니다. 로봇에게 20개의 숫자를 한꺼번에 예측하도록 가르치는 것은 학생에게 백과사전 한 페이지를 통째로 암기하라고 요구하는 것과 같습니다. H-VAE는 이러한 복 복잡한 손가락 움직임을 더 작고 단순한 "비밀 코드(latent action)"로 압축하여 로봇이 배우기 쉽게 만듭니다. 로봇이 과제를 수행할 준비가 되면, 이 비밀 코드를 다시 전체 20개 관절의 움직임으로 해독합니다. 논문에 따르면, 이러한 압축을 사용하는 것이 로봇이 가공되지 않은 복잡한 움직임을 직접 배우려고 노력하는 것보다 훨씬 더 빠르게 학습하고 더 나은 성능을 보이게 했습니다.

연구진은 또한 손가락이 미끄러운 물체에 닿았을 때와 같은 실제 물리 법칙을 로봇이 어떻게 처리하는지도 테스트했습니다. 그들은 로봇이 움직이는 세 가지 방식을 비교했습니다:

1. 고정 재생(Fixed Replay): 성공적인 움직임을 기록한 영상을 그대로 재생하는 방식입니다.
2. 폐쇄 루프(Closed-Loop, 평활화 없음): 로봇이 현재 위치를 보고 다음 움직임을 결정하지만, 뚝뚝 끊기는 방식으로 움직입니다.
3. 시간적 앙상블을 적용한 폐쇄 루프(Closed-Loop with Temporal Ensembling): 로봇이 자신의 위치를 보고 예측을 수행하되, 그 예측값을 최근의 과거 예측값들과 평균을 내어 움직임을 부드럽게 만드는 방식입니다.

결과는 명확했습니다. "고정 재생" 방식은 물체가 예상과 약간 다르게 움직일 경우 로봇이 충돌하기 때문에 자주 실패했습니다. "폐쇄 루프" 방식은 더 견고했지만 움직임이 덜컥거렸습니다. "시간적 앙상블" 방식이 승자였습니다. 이 방식은 부드러우면서도 적응력이 뛰어났습니다. 물병을 잡는 테스트에서, 부드럽고 적응력 있는 방식은 10번 중 9번 성공한 반면, 고정 재생 방식은 10번 중 3번만 성공했습니다. 이는 로봇이 섬세한 작업을 수행하기 위해서는 단순히 대본을 재생하는 것이 아니라, 실시간으로 움켜쥠을 조정하고 이를 부드럽게 수행할 수 있어야 함을 시사합니다.

부조종사에서 단독 조종사로

팀은 집게를 사용하여 당근을 옮기는 것부터 바인더에 서류를 철하는 것까지, 여섯 가지의 도전적인 과제에 대해 NestDex를 테스트했습니다. 그들은 자신들의 "부조종사" 시스템을 인간이 손가락을 직접 제어하려고 시도하는 표준 방식(AnyTeleop이라 불림)과 비교했습니다. 결과는 놀라웠습니다. 표준 방식은 "토스트 준비"나 "바인더 철하기"와 같은 몇몇 과제에서 성공률 0%를 기록하며 완전히 실패했습니다. 반면, NestDex는 여섯 가지 모든 과제에서 시연 수집 성공률 100%를 달축했습니다.

더 중요한 것은, NestDex로 수집된 데이터가 실제로 작동한다는 점입니다. 로봇이 스스로 과제를 수행하도록 훈련했을 때, "집게 이동"과 "재료 이동" 과제에서 100% 성공률을 보였습니다. 더 어려운 과제에서도 표준 방식의 데이터를 사용했을 때보다 성공률이 현저히 높았습니다. 논문은 로봇이 최종 과제를 수행하는 동안 부조종사 시스템이 계속 실행되어야 한다는 생각에 명시적으로 반박합니다. 부조종사는 데이터를 모으기 위한 도구일 뿐입니다. 로봇이 "외부 정책"을 학습하고 나면, 손가락을 위한 압축된 "비밀 코드"와 학습된 부드럽고 적응적인 제어 전략을 사용하여 독립적으로 과제를 수행할 수 있습니다.

요약하자면, NestDex는 우리가 인간에게 전문적인 로봇 손가락 무용수가 되라고 강요할 필요가 없음을 시사합니다. 대신, 스마트하게 사전 학습된 손가락 기술을 트리거하는 간단한 리모컨을 제공하면 됩니다. 이는 로봇이 학습하는 데 필요한 고품질 데이터를 훨씬 더 쉽게 수집하게 해주며, 결과적으로 물리적 물체를 다루는 데 더 뛰어난 로봇을 만들어냅니다. 저자들은 이 접근 방식이 데이터 수집을 더 빠르고 신뢰성 있게 만들 뿐만 아니라, 로봇이 독자적으로 정교한 과제를 진정으로 마스터할 수 있게 한다는 것을 발견했습니다.