Bimanual Manipulation Within an 8 GB Budget: Zero-Copy Sensing and Quantized ACT on an Entry-Level Jetson

로봇이 단순히 공장의 투박한 기계가 아니라, 빨래를 접거나 음료를 건네주거나, 혹은 두 손으로 말랑말랑한 빈백을 집어 올릴 수 있는 민첩한 조력자가 되는 세상을 상상해 보십시오. 오랫동안 이러한 섬세한 작업을 수행하도록 로봇을 가르치기 위해서는 인간이 원격으로 로봇의 팔을 안내하여 어떻게 하는지 보여주는 '텔레오퍼레이션(teleoperation)'이 필요했습니다. 그러면 로봇은 이러한 움직임을 복사하며 학습하는데, 이를 '모방 학습(imitation learning)'이라고 합니다. 하지만 여기에는 함정이 있습니다. 지금까지 이러한 로봇의 '두뇌'는 대개 거대한 그래픽 카드가 장착된 고성능 워크스테이션과 같은 거대하고 비싼 컴퓨터를 필요로 했다는 점입니다. 이로 인해 로봇은 종종 무겁고 전력을 많이 소모하는 기계에 묶여 있어야 했으며, 이는 실제 가정이나 이동 중인 환경에서 사용하기 어렵게 만들었습니다. 연구자들이 던지는 핵심 질문은 이것입니다. "이 거대한 두뇌를 로봇 자체에 들어가는 작고 저렴한 컴퓨터 칩 크기로 줄일 수 있을까?"

이 논문은 그 방향을 향한 대담한 발걸음을 내딛습니다. 연구진은 NVIDIA Jetson Orin Nano Super(약 스마트폰의 대용량 저장 공간 크기인 8 GB 메모리를 가진 입문용 소형 컴퓨터 칩)에서 완전히 구동되는 양손 로봇 시스템을 구축했습니다. 그들은 이 시스템을 까다로운 작업, 즉 두 팔을 이용해 변형 가능한 빈백을 집어 목표 지점으로 옮기는 작업에 테스트했습니다. 그들은 거대한 컴퓨터의 도움 없이도 로봇이 충분히 빠르고 똑똑하게 작동할 수 있는지 확인하고자 했습니다.

세 가지 큰 놀라움

연구팀은 이 작업을 성공시키는 데 있어 가장 어려운 부분이 무엇일지에 대해 세 가지 큰 가설을 세우고 시작했습니다. 그들은 메모리 제한에 부딪힐 것이라 예상했고, 두 가지 서로 다른 '두뇌' 아키텍처 중 하나를 선택해야 할 것이라 예상했으며, 로봇을 더 빠르게 만드는 과정에서 정확도를 희생해야 할 것이라고 예상했습니다. 하지만 실험 결과, 그들의 예측은 뒤집혔습니다.

1. 메모리의 신화: 문제는 RAM이 아니라 CPU였다
연구진은 세 대의 카메라(로봇 머리에 하나, 손목에 두 개)로부터 비디오 스트리밍을 받는 것이 로봇의 8 GB 메모리를 가득 채워 시스템 충돌이나 프레임 드랍을 일으킬 것이라고 생각했습니다. 그들은 비디오 데이터를 메인 프로세서로 왔다 갔다 옮기지 않고 그래픽 메모리에 그대로 유지하는 특수한 '제로 카피(zero-copy)' 파이프라인을 구축하여 공간을 절약하고자 했습니다.

• 현실: 메모리에 대한 그들의 생각은 틀렸습니다. 표준적인 비디오 데이터 이동 방식은 8 GB 제한 내에 완벽하게 들어맞았으며, 단 하나의 프레임도 놓치지 않았습니다.
• 진정한 성과: '제로 카피' 기술은 공간을 절약한 것이 아니라, 시간과 두뇌 에너지를 절약했습니다. 비디오 데이터를 옮기는 데 로봇의 메인 프로세서가 낭비하는 에너지를 차단함으로써, 엄청난 양의 CPU 전력을 확보할 수 있었습니다. 단일 프로세서 코어의 피크 사용량이 땀을 흘리던 **98.0%**에서 여유로운 **77.0%**로 떨어졌습니다. 이는 마치 러너의 무거운 배낭을 벗겨주는 것과 같습니다. 러너의 몸집이 커지는 것은 아니지만, 훨씬 더 빠르고 부드럽게 달릴 수 있게 됩니다. 이 추가적인 '여유 공간(headroom)'은 로봇의 제어 루프가 한 치의 오차 없이 매끄럽게 돌아가도록 하는 데 결정적이었습니다.

2. 두뇌 경주: 속도 대 인내심
연구팀은 동일한 일련의 시연 데이터를 사용하여 두 가지 서로 다른 유형의 로봇 두뇌인 ACT(Action Chunking with Transformers)와 Diffusion Policy를 훈련시켰습니다.

• 설정: ACT에는 100,000번의 훈련 단계(이러한 유형의 두뇌에 대한 표준량)를 부여했고, Diffusion Policy에는 (Diffusion이 보통 더 많은 학습 시간이 필요하므로) 두 배인 200,000번의 단계를 부여했습니다.
• 결과: ACT는 작업을 완벽하게 학습하여 20회 중 19회의 성공을 거두었습니다. 반면 Diffusion Policy는 두 배의 훈련 시간을 가졌음에도 불구하고, 사용할 만한 전략을 전혀 학습하지 못했습니다(10회 중 0회 성공).
• 교훈: 이것은 Diffusion이 "나쁜" 두뇌이기 때문이 아닙니다. Diffusion은 훈련 비용이 많이 들기 때문입니다. 제한된 예산 안에서는 '더 빠른 학습자'(ACT)만이 경주를 마칠 수 있었습니다. 연구진은 이것이 Diffusion이 영원히 열등하다는 뜻이 아니라, 현재 이 특정 설정에서는 적용하기에 너무 많은 '그래디언트 스텝(gradient steps, 훈련 시간)'이 소요된다는 점을 강조합니다.

3. 속도의 기술: "적당히 좋은 것"이 실제로 완벽할 때
로봇이 실시간으로 반응할 수 있을 만큼 빠르게 만들기 위해, 팀은 ACT 두뇌를 TensorRT라는 특수 엔진에서 실행되도록 변환하고, 초정밀한 FP32 수학 대신 낮은 정밀도(FP16 및 INT8)를 사용하여 실행하는 실험을 진행했습니다.

• 속도 향상: 정밀도를 낮추면 로봇은 훨씬 더 빠르게 생각합니다. 의사 결정에 걸리는 시간은 풀 정밀도(full precision)일 때 114.02 ms(밀리초)에서 FP16을 사용했을 때 17.93 ms로 줄어들었고, INT8을 사용했을 때는 12.65 ms까지 떨어졌습니다. 이는 거의 9배 빠른 속도입니다.
• 놀라움: 보통 컴퓨터를 낮은 정밀도로 만들어 "덜 똑똑하게" 만들면 실수를 하기 마련입니다. 하지만 여기서, 가장 "멍청한" 수학 방식인 INT8을 사용했음에도 불구하고 로봇은 여전히 20회 중 19회 성공했습니다. 수치적 오차는 최대 **16.98%**까지 발생했지만, 로봇은 여전히 빈백을 잡아냈습니다.
• 주의점: 이 속도 기술이 필요한지 여부는 로봇이 어떻게 움직임을 계획하느냐에 달려 있다는 것을 연구진은 발견했습니다. 만약 로봇이 한 번에 100개의 움직임을 덩어리째 계획한다면(이 모델이 했던 방식), 조금 느려도 괜찮습니다. 하지만 매 단계마다 다시 계획을 세워야 한다면(이를 '템포럴 인셈블링(temporal ensembling)'이라 합니다), 느린 풀 정밀도 버전은 마감 시간을 맞추지 못할 것이며, 이때는 빠른 저정밀도 버전이 필수적입니다.

최종 결론

이 논문은 복잡한 양손 로봇을 아주 작은 8 GB 컴퓨터에서 실제로 구동할 수 있음을 결론짓습니다. 비결은 단순히 메모리를 아끼는 것이 아니라, 프로세서가 과부하에 걸리지 않도록 작업량을 관리하는 데 있습니다.

연구진은 유사한 로봇을 만들려는 모든 이들에게 다음과 같은 특정 설정을 권장합니다:

• CPU 전력을 확보하기 위해 GStreamer 비디오 파이프라인을 사용하십시오.
• ACT 정책을 훈련시키십시오 (이 작업에서 Diffusion보다 배우는 속도가 빠릅니다).
• 정책을 FP16 정밀도로 실행하십시오 (빠르면서도 충분히 정확함). 더 빠른 속도가 필요하다면 INT8을 사용하십시오.

가장 중요한 교훈은 무엇일까요? 가장 큰 컴퓨터만이 유일한 길이라고 가정하지 마십시오. 때로는 로봇을 똑똑하게 만드는 최선의 방법은, 로봇이 불필요한 일에 에너지를 낭비하지 않도록 하여 본연의 작업에 집중하게 만드는 것입니다. 로봇에게는 슈퍼컴퓨터가 필요했던 것이 아니라, 단지 약간의 효율성이 필요했을 뿐입니다.