💻 computer science

Technical Report: One-Step Drifting Action Heads for GR00T N1.7

본 기술 보고서는 추론 지연 시간을 70.0ms에서 30.6ms로 크게 단축하지만 LIBERO 벤치마크 전반에서 작업 성공률이 감소하는 체계적인 트레이드오프를 초래하는 원스텝 드리프팅 액션 헤드를 갖춘 GR00T N1.7 변형 모델을 평가하며, 이는 폐루프 제어에서 결정론적 원스텝 생성의 한계를 강조한다.

원저자: Xihe Shao

게시일 2026-09-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xihe Shao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

보고, 이해하고, 손을 움직일 수 있는 로봇은 더 이상 공상 과학의 꿈이 아닙니다. 이들은 카메라의 눈과 언어 학습된 뇌를 결합한 시스템을 사용하여 오늘날 실제로 제작되고 있습니다. 시각-언어-행동 모델(vision-language-action models)이라고 불리는 이 시스템은 기계가 장면을 보고, "빨간 컵을 집어라"와 같은 명령을 읽은 다음, 이를 수행하기 위한 정밀한 움직임의 순서를 파악할 수 있게 해줍니다. 그러나 이러한 로봇이 현실 세계에서 유용하게 쓰이려면, 비틀거리지 않고 변화하는 환경에 빠르게 반응할 수 있을 만큼 충분히 빠르게 생각해야 합니다. 컴퓨터가 다음 동작을 결정하는 데 너무 오래 걸리면, 로봇은 목표물을 놓치거나 물건을 넘어뜨릴 수 있습니다. 엔지니어들의 핵심 과제는 작업을 완료하는 데 필요한 정확도를 희생하지 않으면서도 이러한 결정을 빠르게 내리는 방법을 찾는 것입니다.

절강대학교와 LimX Dynamics의 연구진이 발표한 새로운 기술 보고서는 이러한 로봇의 의사결정 속도를 높이기 위한 특정 지름길을 조사합니다. 이 연구는 GR00T N1.7이라는 강력한 로봇 뇌에 초점을 맞추고 있습니다. 표준 형태에서 이 시스템은 신중한 계획가처럼 작동합니다. 향후 40번의 움직임에 대한 순서를 결정하기 위해, 내부 계산 엔진을 여러 번 실행하며 확신이 생길 때까지 각 단계를 거쳐 계획을 정교화합니다. 이 반복적인 과정은 정확하지만 느려서, 동작 목록을 생성하는 데만 약 45밀리초가 소요됩니다. 연구진은 간단한 질문을 던졌습니다. 이 신중한 다단계 계획을 단 한 번의 즉각적인 추측으로 대체할 수 있을까? 그들은 정교화 단계를 건너뛰고 40개의 움직임 전체를 단 한 번의 시도로 예측하도록 하는 버전의 로봇을 구축했습니다.

이 실험 결과는 속도와 성공 사이의 극명한 트레이드오프(trade-off)를 보여줍니다. 이 '원스텝(one-step)' 방식으로 전환함으로써, 연구진은 사고 시간을 획기적으로 줄였습니다. 동작 목록을 생성하는 데 필요한 시간은 약 45밀리초에서 단 5밀리초로 줄어들어 9배의 속도 향상을 이루었습니다. 컴퓨터가 시각 및 언어 정보를 처리하여 계획을 생성하는 데 든 총 시간을 측정했을 때, 시간은 약 70밀리초에서 30밀리초 직후로 떨어졌습니다. 이는 중요한 공학적 성과로, 만약 이 방법이 완벽하다면 로봇이 훨씬 더 빠르게 반응할 수 있음을 시사합니다.

그러나 보고서는 이러한 속도가 가혹한 대가를 치른다는 점을 분명히 합니다. 로봇은 생각하는 데는 훨씬 빨라졌지만, 일을 수행하는 데는 현저히 나빠졌습니다. 연구진은 물체를 다른 위치로 이동시키고, 목표물을 향해 손을 뻗고, 긴 일련의 동작을 완료하는 표준 과제 세트를 통해 새 시스템을 테스트했습니다. 공간 추론이 필요한 작업에서 새 시스템은 기존의 느린 시스템보다 훨씬 높은 성공률을 보인 것에 비해 64%의 성공률만을 기록했습니다. 특정 목표에 도달해야 하는 작업에서는 성공률이 52%로 떨어졌습니다. 이 격차는 길고 복잡한 작업에서 더욱 벌어져, 새 시스템은 단 26%의 성공률만을 보였습니다.

연구진은 이러한 실패가 단순히 운이 나빴던 것이 아님을 확인하기 위해 주의를 기울였습니다. 그들은 서로 다른 무작위 시작점에서 실험을 세 번 실시했으며, 결과는 모든 경우에서 일관되게 좋지 않았습니다. 이러한 일관성은 문제가 우연한 불운이 아니라 현재 설정된 방식 하에서의 원스텝 접근법이 가진 근본적인 한계임을 말해줍니다. 시스템은 여러 차례의 과정을 통해 아이디어를 정교화할 여유를 갖는 대신, 즉시 단 하나의 예측에 전념해야 하기 때문에 어려움을 겪는 것으로 보입니다. 작업이 복잡하거나 길어질 때, 이러한 정교화의 부재는 오류를 누적시켜 로봇을 실패하게 만듭니다.

또한 보고서는 비동기적 동작(asynchronous action)이라는 실제 세계의 문제를 다루기 위한 "DrifOv"라는 더 발전된 개념을 탐구합니다. 실제 로봇에서는 이전 계획을 실행하는 동안 새로운 계획이 도착하곤 합니다. 연구진은 이미 확정된 부분을 다시 작성하지 않고도, 부분적으로 완성된 계획을 받아 부족한 미래 단계를 채울 수 있는 시스템을 구축했습니다. 이 기능은 훈련 과정에서 성공적으로 구현되어 테스트되었으나, 표준 실험에는 사용되지 않았습니다. 즉, 보고된 속도 향상과 실패율은 더 단순한 동기적(synchronous) 버전에만 적용됩니다. 연구진은 현재의 설정이 이 고급 방식이 성공 문제를 해결할 수 있다는 것을 아직 증명하지는 못했다고 언급하면서도, 이것이 미래 연구를 위한 유망한 방향임을 밝혔습니다.

궁극적으로 이 연구는 복잡성을 제거함으로써 로봇을 단순히 더 빠르게 만들 수 있다는 생각에 대해 현실적인 점검을 제공합니다. 연구진은 로봇의 '뇌'가 동작 목록을 생성하는 속도를 9배 빠르게 만들 수는 있었지만, 로봇이 그 속도를 이용해 작업을 안정적으로 완수할 수는 없다는 것을 발견했습니다. 정확도가 너무 많이 떨어져 쓸모가 없어졌기 때문에, 속도 향상이 전체적인 시스템의 개선으로 이어지지는 않았습니다. 보고서는 결론적으로, 단순히 느리고 신중한 계획을 버리는 것이 아니라, 속도를 얻으면서도 정확도를 유지할 방법을 찾는 것이 앞으로 나아갈 길이라고 명시했습니다. 연구진은 향-후 연구가 로봇의 계획을 긴 덩어리로 실행하는 대신 더 빈번하게 실행하는 것이 새 시스템의 속도와 기존 시스템의 신뢰성 사이의 간극을 메우는 데 도움이 될 수 있는지 테스트하는 데 집중해야 한다고 제안합니다. 현재로서는 교훈이 명확합니다. 로봇 조작의 세계에서 더 빨리 생각하는 것이 반드시 더 잘하는 것을 의미하지는 않습니다.

기술 요약: GR00T N1.7을 위한 원스텝 드리프팅 액션 헤드 (One-Step Drifting Action Heads)

문제 정의

시각-언어-행동(VLA) 모델은 로봇 조작 분야에서 강력한 능력을 입증했으나, 실시간 플랫폼 배포 시 계산 비용과 추론 지연 시간(latency)으로 인해 제약을 받는 경우가 많습니다. 이러한 지연의 주요 원인은 디퓨전(diffusion) 및 플로우 매칭(flow-matching) 액션 헤드의 반복적인 특성으로, 단일 액션 청크(action chunk)를 생성하기 위해 여러 번의 네트워크 평가를 요구한다는 점입니다. 경량 백본, 토큰 캐싱, 양자화와 같은 다양한 효율화 방법들이 존재하지만, 이들은 액션 생성 과정 자체에 내재된 지연 시간 문제를 해결하지 못하는 경우가 많습니다.

본 보고서는 GR00T N1.7 모델의 반복적 액션 헤드를 **원스텝 드리프팅 액션 헤드(one-step drifting action head)**로 교체할 수 있는지 조사합니다. 주요 과제는 폐루프(closed-loop) 작업 성공률을 희생하지 않으면서 추론 시간을 대폭 단축하는 것이며, 이는 해당 분야에서 여전히 미해결 과제로 남아 있는 트레이드오프 문제입니다.

방법론

제안된 접근 방식은 GR00T N1.7의 반복적 플로우 매칭 생성기를 단 한 번의 평가로 전체 액션 청크를 예측하는 결정론적 조건부 트랜스포머(deterministic conditional transformer)로 교체하는 것입니다. 방법론은 세 가지 핵심 구성 요소로 이루어집니다.

원스텝 드리프팅 액션 헤드 (One-Step Drifting Action Head):
- 아키텍처: 구현 시 GR00T N1.7의 시각-언어 백본(Cosmos-Reason2/Qwen3)과 전처리 스택을 그대로 유지합니다. 액션 헤드는 12개 블록의 트랜스포머(모델 차원 1024)로 구성되며, 제로 액션 시드(zero action seed)를 입력받아 한 단계만에 전체 액션 청크( $H=40$ )를 출력합니다.
- 학습 목적 함수: 모델은 내재적 드리프팅 정책(Implicit Drifting Policy, IDP) 목적 함수를 계승합니다. IDP는 명시적인 연속 필드를 회귀하는 대신, 전문가 액션 주변에 기하학적 가중치가 적용된 포텐셜(potential)을 구축합니다. 손실 함수는 배치 통계에서 유도된 기하 행렬(geometry matrix)에 의해 가중치가 부여된 프로포절 예측(proposal prediction, 제로 시드로부터 추출)과 프록시멀 예측(proximal prediction, 전문가 액션 근처에서 추출)을 결합합니다.
- 추론: 배포 시 모델은 단 한 번의 순전파(forward pass)를 수행하여 전체 청크를 생성하며, 이를 통해 반복적인 샘플링의 필요성을 제거합니다.
오버랩 조건부 확장 (Overlap-Conditioned Extension, DrifOv):
- 비동기적 액션 프리페칭(asynchronous action prefetching) 문제를 해결하기 위해, 저자는 DrifOv라 불리는 확장 기능을 구현했습니다. 이 변형 모델은 이미 컨트롤러에 전달된 유효한 액션 프리픽스(prefix)를 조건으로 사용할 수 있게 합니다.
- 헤드는 커밋된 프리픽스, 유효성 마스크, 오버랩 길이, 그리고 추정된 실행 오프셋(execution offset)을 입력받습니다.
- 생성 과정에서 커밋된 좌표는 정확히 복사되며, 모델은 단 한 번의 트랜스포머 평가를 통해 알 수 없는 접미사(suffix)만을 공동으로 생성합니다. 이는 새로운 예측이 현재 실행 중인 명령과 충돌하는 것을 방지합니다.
학습 프로토콜:
- 실험은 LIBERO 벤치마크 제품군을 사용하여 수행되었습니다.
- 모든 멀티 시드 드리프팅 실행은 두 대의 NVIDIA A800 GPU에서 배치 크기 32(GPU당, 유효 배치 64)로 20,000 스텝 동안 학습되었습니다.
- 학습에는 프리픽스가 전문가 청크에서 샘로잉되고, 실제 실행 오프셋을 시뮬레이션하기 위해 선택적으로 가우시안 노이즈가 추가된 오버랩 조건부 예시가 포함됩니다.

주요 기여

본 기술 보고서는 다음과 같은 구체적인 기여를 합니다.

원스텝 헤드 구현: 상속된 학습 목적 함수와 추론 경로를 포함한 GR00T N1.7용 원스텝 드리프팅 액션 헤드의 상세한 설명 및 구현.
오버랩 조건부 메커니즘: 반복적인 가이던스 없이도 비동기적 청크 교체를 가능하게 하며, 커밋된 액션 프리픽스를 보존하면서 접미사를 생성하는 DrifOv의 도입.
멀티 시드 경험적 연구: 일관된 두 대의 A800 학습 설정을 사용하여 세 개의 랜덤 시드(1, 42, 1000)에 대해 수행된 통제된 연구로, 누락된 데이터가 있는 스위트 간의 평균을 내지 않고 지연 시간과 성공률을 각각 보고함.
트레이드오프 분석: 결정론적 모드 평균화(deterministic mode averaging), 배치 의존적 기하 추정, 오픈 루프 실행 효과를 포함하여 관찰된 속도-성공률 트레이드오프를 설명하는 가설 식별.
실로봇 엔지니어링 관찰: 장난감 배치, 산업용 패키징, 천 접기 등의 작업을 포함한 LimX Tron2 로봇에서의 예비 데이터 수집 및 시스템 통합(통제된 정책 비교가 아닌 엔지니어링 관찰로 제시됨).

실험 결과

지연 시간 개선

반복적 헤드를 원스텝 드리프팅 헤드로 교체함으로써 상당한 속도 향상을 얻었습니다.

액션 헤드 지연 시간: 약 45.3 ms에서 5.0 ms로 감소 (약 9배 속도 향상).
전체 모델 순전파 시간: 약 70.0 ms에서 30.6 ms로 감소 (약 2.2~2.4배 속도 향상).
VLM 백본이 지연 시간의 주된 요인으로 남아 있으며, 이는 속도 향상이 액션 생성 구성 요소에 특화되어 있음을 확인시켜 줍니다.

작업 성공 성능

지연 시간 이득에도 불구하고, 원스텝 드리프팅 변형 모델은 GR00T 레퍼런스에 비해 체계적인 작업 성공률 감소를 보였습니다.

LIBERO-Spatial: 64.0 ± 4.0% (GR00T의 82.3% 대비).
LIBERO-Goal: 52.0 ± 1.0% (GR00T의 82.3% 대비).
LIBERO-Long: 26.0 ± 2.6% (GR00T의 74.5% 대비).
관찰 사항: 성능 저하는 시드 전반에 걸쳐 일관되게 나타났으며(낮은 분산), 이는 문제가 무작위 초기화 때문이 아니라 체계적인 문제임을 나타냅니다. 작업 호라이즌(horizon)이 길어질수록 성능 격차가 벌어지는 경향이 있습니다 (Long 작업에서 가장 큰 타격을 입음).

기타 발견 사항

메모리 사용량: 경험적 텔레메트리에 따르면, 드리프팅 학습 실행은 GR00T 실행(피크 45.7 GB)에 비해 현저히 적은 GPU 메모리(피크 ~17.7 GB)를 소비하는 것으로 나타났으나, 이는 통제된 벤치마크는 아니었습니다.
실로봇 데이터: 저자는 산업용 패키징 및 기타 작업을 위해 2,500개 이상의 주석이 달린 궤적을 수집하여 시스템 통합 능력을 입증했으나, 이 실로봇 데이터셋에 대한 통제된 성공률 비교는 수행되지 않았습니다.

의의 및 주장

저자는 본 작업을 상태 최고(SOTA) 성능에 대한 주장이 아닌 예비 기술 보고서로 명시적으로 규정합니다. 주요 의의는 속도-성공률 트레이드오프를 명확히 입증했다는 점에 있습니다.

속도는 달성 가능함: 원스텝 드리프팅 헤드는 액션 생성 구성 요소의 추론 지연 시간을 한 자릿수 단위로 줄이는 데 성공하여, 자원이 제한된 시스템을 위한 실행 가능한 경로를 제공합니다.
성공률은 아직 유지되지 않음: 평가된 학습 프로토콜 하에서, 속도 향상은 현저히 낮은 작업 성공률이라는 대가를 치릅니다. 보고서는 드리프팅 목적 함수 자체가 성능 저하의 유일한 원인이라고 주장하지는 않지만, 다음과 같은 몇 가지 기여 요인을 식별했습니다.
- 결정론적 모드 평균화: 단일 단계의 결정론적 생성기는 여러 유효한 액션 모드를 평균화하여, 실행 가능한 궤적에 부합하지 않는 예측을 낼 수 있습니다.
- 배치 의존적 기하학: 기하 행렬 추정은 현재의 미니배치에 의존하므로, 배치 구성에 따른 변동성을 유발합니다.
- 오픈 루프 실행: 중간 피드백 없이 실행되는 긴 액션 청크( $H=40$ )는 오차를 누적할 수 있으며, 이는 반복적인 교정 기능의 부재로 인해 더욱 악화됩니다.
- 테스트되지 않은 비동기 경로: LIBERO 평가는 동기식 설정(빈 프리픽스)을 사용했으므로, DrifOv의 비동기 오버랩 조건화 능력은 성공률 지표에서 테스트되지 않았습니다.

보고서는 원스텝 헤드가 지연 시간 및 메모리 측면에서 상당한 엔지니어링 이점을 제공하지만, 성능 저하 없이 반복적 헤드를 대체하기에는 아직 부족하다고 결론짓습니다. 향-후 연구는 (예: 기하 추정 또는 청크 실행 길이에 대한 절제 연구를 통해) 성능 저하의 원인을 격리하고, 폐루프 환경에서 비동기 오버랩 경로를 평가하는 데 집중해야 합니다.