From Perception to Assistance: Open-Vocabulary Shared Autonomy for Robotic Manipulation

두꺼운 겨울 장갑을 끼고, 흔들리는 사다리 위에 서서, 안개 낀 창문을 통해 바늘귀를 꿰려고 노력하는 모습을 상상해 보세요. 그것이 대략 원격에서 거대한 로봇 팔을 제어할 때 느껴지는 기분입니다. 이것이 바로 인간 운영자가 카메라와 조이스틱을 사용하여 기계를 안내하는 **원격 조종(teleoperation)**의 세계입니다. 문제는 우리의 눈과 뇌가 화면을 통해 깊이(거리감)를 판단하는 데 서투르다는 점이며, 산업 현장은 종-종 부딪히기 쉬운 파이프, 벽, 기타 장애물들로 가득 차 있다는 것입니다.

이를 해결하기 위해 과학자들은 **공유 자율성(shared autonomy)**을 개발했습니다. 이것을 로봇을 위한 "부조종사(co-pilot)"라고 생각하면 됩니다. 인간이 모든 것을 혼자 하는 대신, 로봇의 컴퓨터 칩이 도움을 주기 위해 개입합니다. 예를 들어, 로봇은 팔을 벽으로부터 부드럽게 멀어지게 하거나 목표물을 향해 살짝 밀어줄 수 있지만, 여전히 운전대를 잡고 있는 것은 인간입니다. 이 논문은 특히 걸어 다닐 수 있는 로봇(예: 4족 보행 로봇)과 지저로운 실제 공장 환경에서 섬세한 작업을 수행하도록 설계된, 더 똑똑한 버전의 이 부조종사 시스템을 다룹니다.

---

로봇 개를 위한 "스마트 부조종사"

로봇을 만나보세요. 등 위에 길고 정교한 팔이 달린 4족 보행 기계(Boston Dynamics의 Spot 같은 모델)입니다. 이 로로봇의 임무는 무엇일까요? 지저분한 산업 현장으로 걸어 들어가 특정 밸브나 도구를 찾아 그것을 돌리거나 집어 올리는 것입니다. 문제는 무엇일까요? 운영자는 멀리 떨어져 있으며, 거리감을 파악하기 어렵게 만드는 카메라 피드를 통해 로봇을 보고 있다는 점입니다. 만약 운영자가 밸브를 돌리려다가 근처의 파이프에 로봇 팔을 실수로 들이받는다면, 그들은 정확히 얼마나 가까이 있는지 볼 수 없기 때문입니다.

이 논문은 로봇의 팔을 위한 유능하고 보이지 않는 가이드 역할을 하는 시스템을 소개합니다. 이 시스템은 세 가지 초능력을 결합합니다: 마커 없는 시각 인식, 언어 이해, 그리고 부드러운 조향입니다.

1. 장갑도, 캘리브레이션도 필요 없이, 오직 당신뿐

보통 자신의 몸으로 로봇을 제어하려면 센서가 달린 특수 슈트를 입거나, 당신의 키에 맞춰 캘리브레이션된 카메라 앞에 서야 합니다. 이 새로운 시스템은 "그럴 필요 없다"고 말합니다. 이 시스템은 표준 3D 카메라(RGB-D)를 사용하여 운영자의 자연스러운 움직임을 관찰합니다.

카메라가 당신의 어깨, 골반, 손목을 관찰하는 매우 세심한 친구라고 상상해 보세요. 카메라는 실시간으로 당신의 신체 지도를 구축합니다. 만약 당신의 오른손을 앞으로 움직이면 로봇의 팔도 앞으로 움직입니다. 손목을 비틀면 로봇의 그리퍼(집게)가 비틀립니다. 이 시스템은 심지어 실시간으로 당신의 팔 길이를 파악하여, 로봇의 크기에 맞춰 당신의 움직임을 얼마나 조절해야 하는지 정확히 알아냅니다. 설정도, 마커도 필요 없습니다. 그저 당신과 로봇이 함께 움직일 뿐입니다.

2. "헤이 로봇, 저 휠 밸브를 잡아줘"

과과거에는 로봇에게 무엇을 잡으라고 명령하는 것이 어려웠습니다. 특정 물체를 가리키거나 코드를 사용해야 했습니다. 이 시스템은 자연어를 사용할 수 있게 해줍니다. 운영자는 단순히 "휠 밸브(Wheel valve)"라고 말하거나 입력할 수 있습니다.

여기서 마법이 일어납니다. 로봇은 "시각-언어 모델"(읽기와 보기를 동시에 할 수 있는 로봇의 뇌라고 생각하세요)을 사용하여 카메라 피드를 보고 "휠 밸브"를 찾습니다. 일단 밸브를 발견하면, 로봇은 단순히 "찾았다"라고 말하는 데 그치지 않습니다. 공간상에 정밀한 3D 목표 지점, 즉 디지털 과녁을 생성합니다. 훨씬 더 좋은 점은, 로봇이 움직이는 동안에도 다른 카메라들을 사용하여 그 밸브를 계속 추적한다는 것입니다. 덕분에 운영자의 시야가 가려지더라도 목표물을 놓치지 않습니다.

3. 보이지 않는 자기장

이것이 이 논문의 가장 멋진 기술입니다. 로봇 팔이 목표물에 가까워지면, 보이지 않는 "포텐셜 필드(potential field)"(부드러운 자기력 같은 것)가 작동합니다.

당신이 주차 공간을 향해 차를 운전하고 있다고 상상해 보세요. 당신이 핸들을 조작하고 있지만, 완벽하게 주차할 수 있도록 차를 주차 공간 중앙으로 살짝 밀어주는 부드러운 바람이 불고 있는 것과 같습니다. 이 시스템이 바로 그 역할을 합니다.

• 여전히 당신이 주도권을 가집니다: 왼쪽으로 움직이고 싶다면 로봇도 왼쪽으로 움직입니다. 시스템은 절대로 당신의 운전대를 뺏지 않습니다.
• 도움은 미묘합니다: 목표물에서 0.4미터(약 1.3피트) 이내로 접근하면, 시스템은 당신의 명령을 "휠 밸브"의 정확한 중심을 향해 부드럽게 유도합니다. 이는 흐릿한 카메라 화면 때문에 발생할 수 있는 미세한 오차를 교정해 줍니다.
• 결과: 당신은 대략적으로 조준만 하면 되고, 로봇의 "부조종사"가 최종 접근 과정을 매끄럽게 처리하여 그리퍼가 정확히 필요한 위치에 안착하도록 보장합니다.

4. "충돌 방지" 보호막

로봇이 움직이는 동안, 로봇은 자체 카메라를 사용하여 방의 3D 지도를 지속적으로 구축합니다. 로봇은 벽, 파이프, 교통 콘(라바콘)이 어디에 있는지 정확히 알고 있습니다. 이 논문은 운영자가 의도적으로 로봇 팔을 교통 콘에 들이받도록 하여 이를 테스트했습니다.

결과는 어땠을까요? 운영자의 명령은 콘을 향해 곧장 갔지만, 로봇의 팔은 18cm(약 7인치) 떨어진 곳에서 멈췄습니다. 시스템은 마치 힘의 장벽(forcefield)처럼 작동하여, 운영자의 일반적인 방향을 따르면서도 장애물을 피해 경로를 굴절시켰습니다. 이는 인간이 실수를 하더라도 로봇의 안전 브레인이 충돌을 방지한다는 것을 증명했습니다.

5. "자동 조종" 버튼

때때로 운영자는 조종하는 것에 지칠 수 있습니다. 일단 목표를 찾고 확인했다면, 두 손가락을 들어 올려 **자율 모드(autonomous mode)**로 전환할 수 있습니다. 그러면 로봇은 동일한 안전 규칙과 3D 목표를 사용하여 스스로 작업을 완료(예: 밸브 잡기)합니다. 만약 운영자가 다시 제어권을 되찾고 싶다면, 손가락을 하나만 들어 올리면 됩니다.

무엇을 발견했는가?

연구진은 이 시스템을 실제 지저분한 산업 현장에서 두 가지 주요 작업(대형 산업용 밸브 돌리기, 전동 드릴 집기)을 통해 테스트했습니다.

• "전원 투입"이 승리합니다: 전체 시스템(언어 목표 + 부드러운 조향 + 충돌 방지)을 모두 사용했을 때, 로봇은 두 작업 모두에서 100% 성공률(각 5회 중 5회 성공)을 기록했습니다.
• "절반의 팀"은 실패합니다: 충돌 방지 기능을 제거하자 로봇은 장애물에 부딪혔습니다. 부드러운 조향 기능을 제거하자 카메라 뷰가 충분히 정밀하지 못해 로봇이 목표를 놓쳤습니다. 이는 두 기능이 모두 필요하며, 서로 다른 문제를 해결한다는 것을 보여주었습니다.
• 수치 데이터: 시스템은 매우 정확했습니다. 로봇 팔은 평균 59mm(약 2.3인치)의 오차로 인간의 손을 따라갔습니다. 충돌 테스트에서 운영자는 팔을 장애물 쪽으로 6cm 밀어 넣으려 했지만, 로봇은 팔을 위험 요소로부터 최소 18cm 거리를 유지했습니다.

핵심 요약

이 논문은 로로봇 공학의 모든 문제를 해결했다고 주장하는 것이 아닙니다. 마커가 필요 없는 단순한 카메라 인터페이스와 언어를 이해하고 실수를 부드럽게 교정하는 똑똑한 "부조종사"를 결합함으로써, 우리가 로봇을 실제 지저분한 공장에서 훨씬 더 잘 작동하게 만들 수 있음을 보여줍니다. 이것은 완전히 스스로 생각하는 로봇도 아니고, 그저 명령을 맹목적으로 따르는 로봇도 아닙니다. 인간이 의도("저 밸브를 가져가")를 제공하면, 로봇이 충돌하지 않고 완벽하게 착지하는 까다로운 세부 사항을 처리하는 파트너십입니다.