🤖 machine learning

RoboTTT: Context Scaling for Robot Policies

이 논문은 테스트 시간 훈련(Test-Time Training)을 통합하여 시각-운동 컨텍스트를 8,000 타임스텝까지 확장함으로써, 추론 지연 시간을 증가시키지 않고도 이력을 빠른 가중치(fast weights)로 압축하여 원샷 모방, 즉각적인 개선, 그리고 장기적 과업에서의 현저히 우수한 성능을 가능하게 하는 로봇 정책 프레임워크인 RoboTTT를 소개한다.

원저자: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan

게시일 2026-07-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 매우 재능 있지만 근시안적인 요리사와 같은 세상을 상상해 보십시오. 그들은 당신이 지금 당장 무엇을 할지 정확히 말해주면 당근을 썰거나 버거를 뒤집는 일은 완벽하게 해낼 수 있지만, 만약 복잡한 케이크를 처음부터 굽도록 요청하면 두 번째 단계에 도달할 때쯤 첫 번째 단계를 잊어버리곤 합니다. 이것이 현대 로봇의 똑똑한 두뇌인 "로봇 파운데이션 모델(robot foundation models)"의 현재 상태입니다. 이들은 보통 움직임을 만들기 직전에 본 마지막 장면만을 바라보는데, 이는 마치 발 바로 밑의 바닥만을 보며 미로를 헤쳐 나가려는 것과 같습니다. 이런 방식은 단순한 작업에는 효과적이지만, 장난감 자동차를 조립하거나 회로 기판을 수리하는 것처럼 긴 일련의 사건을 기억해야 하는 상황, 특히 그 과정에서 예상치 못한 일이 발생했을 때는 처참하게 실패합니다. 과학자들은 오랫동안 고민해 왔습니다. 만약 로봇이 단순히 마지막 1초만을 보는 것이 아니라, 방금 한 모든 일을 기억하고 그 긴 기억력을 바탕으로 현장에서 즉각 배우고 적응할 수 있다면 어떻게 될까? 하고 말입니다.

NVIDIA, 스탠퍼드 대학교, 텍사스 대학교 오스틴 캠퍼스의 연구진이 개발한 새로운 종류의 로봇 두뇌인 RoboTTT가 등장했습니다. RoboTTT를 단순히 긴 단계의 목록을 '기억'하는 로봇이 아니라, 마법 같은 '스스로 업데이트되는 노트'를 가진 로봇이라고 생각하십시오. 전통적인 로봇은 일단 만들어지면 변하지 않는 정적인 두뇌를 가지고 있는 반면, RoboTTT는 특별한 "빠른 가중치(fast weight)" 시스템을 갖추고 있습니다. 로봇이 새로운 것을 보거나 움직임을 만들 때마다, 자신의 내부 배선을 현재 상황을 더 잘 이해할 수 있도록 아주 미세하게 조정하며 자신의 노트에 작은 메모를 즉시 휘갈겨 쓰는 모습을 상상해 보십시오. 이는 로봇이 작업하는 동안에도 실시간으로 일어납니다. 이 "노트"의 용량을 최대 8,000 타임스텝(고속 동작 시 약 5분간의 연속 동작)까지 확장함으로써, RoboTTT는 이전의 로봇들은 꿈도 꾸지 못했던 초능력을 발휘합니다. 이 로봇은 인간이 작업을 수행하는 것을 단 한 번 관찰하는 것만으로도, 해당 설정에 대한 사전 훈련 없이도 완벽하게 따라 할 수 있습니다. 또한 인간이 부딪히거나 부품을 떨어뜨렸을 때, 자신의 최근 기록을 되돌아보며 무엇이 잘못되었는지 파악함으로써 즉각적으로 스스로의 실수를 바로잡을 수 있습니다.

연구진은 로봇에게 이러한 긴 문맥(long-context) 기억을 부여하는 것이 단순한 업그레이드가 아니라, 게임 체인저라는 사실을 발견했습니다. 테스트에서 RoboTTT는 완료하는 데 5분이 걸리는 복잡한 10단계 조립 작업을 수행할 수 있었는데, 이는 짧은 기억력을 가진 최고의 모델들을 포함한 그 어떤 로봇 모델도 결코 완수할 수 없었던 작업입니다. 표준 로봇들이 처음 몇 단계를 넘어서지 못하고 실패하는 동안, RoboTTT는 원샷 모방 실험(본 적 없는 인간의 영상을 보고 따라 하는 것)에서 10회 중 6회 성공했으며, 외부 충격으로부터 회복하는 성공률은 기존 최상위 단기 기억 로봇의 **53%**와 비교하여 **83%**를 기록했습니다. 논문은 단순히 로봇의 기억을 길게 만드는 것이 로봇을 더 똑똑하게 만드는 새로운 방법이며, 기억이 몇 초에서 4분 이상으로 늘어남에 따라 꾸준한 개선을 보여준다고 제안합니다.

RoboTTT가 선보이는 가장 멋진 기술 중 하나는 "DAgger 증류(DAgger Distillation)"라고 불리는 것입니다. 학생이 자전거 타기를 배우는 상황을 상상해 보십시오. 만약 학생이 넘어지면, 부모님이 학생을 붙잡아 다시 경로로 돌아오도록 도와줄 수 있습니다. 일반적인 로봇은 그 넘어짐을 그냥 잊어버리고 다시 똑같은 실수를 하며 자전거를 타려고 할 것입니다. 그러나 RoboTTO는 그 넘어짐과 교정을 하나의 이야기로 취급합니다. 이 로봇은 (넘어짐이라는) 실수를 (부모의 도움이라는) 교정을 통해 학습하며, "내가 이쪽으로 기울면 저쪽으로 핸들을 돌려야 한다"는 것을 기억하도록 자신의 내부 "노트"를 업데이트합니다. 이를 통해 로봇은 인간이 다시 가르칠 필요 없이 스스로의 성능을 즉석에서 향상시킬 수 있습니다. 연구에 따르면 이 방식은 이 기술을 사용하지 않는 모델보다 오류 회복 능력을 36% 더 높여줍니다.

또한 이 논문은 로봇의 기억을 해결하기 위한 몇 가지 흔한 아이디어들을 배제합니다. 예를 들어, 로봇의 뇌에 과거의 이미지들을 긴 비디오 피드처럼 단순히 붙여넣는 방식은 효과적이지 않습니다. 이는 오히려 로봇을 혼란스럽게 하여 성능을 저하시킵니다. 마찬가지로, 단순한 루프를 통해 상태를 업데이트하는 표준적인 "순환(recurrent)" 기억 방식도 충분하지 않습니다. 연구진은 핵심이 기억을 업데이트하는 방식에 있다는 것을 발견했습니다. 즉, 단순히 정적인 상태를 이동시키는 것이 아니라, 인간이 경험으로부터 배우는 과정과 유사한 방식(경사 하강법)을 사용하여 자신의 매개변수를 스스로 변경하는 유연하고 비선형적인 시스템이어야 한다는 것입니다.

결론적으로, RoboTTT는 로봇 지능의 미래가 단순히 로봇의 뇌를 정적인 의미에서 더 크고 똑똑하게 만드는 것이 아니라, 작업하는 동안 지속적으로 배우고 적응할 수 있는 능력을 주는 것에 있을지도 모른다는 점을 시사합니다. 문맥을 8,000 타임스텝까지 확장함으로써, 연구진은 로봇이 훨씬 더 견고해질 수 있으며, 길고 복잡한 작업을 처리하고, 심지어 단 한 번의 인간 시연으로부터 배울 수 있다는 것을 보여주었습니다. 비록 논문은 이러한 모델을 훈련하는 비용이 많이 들며 여전히 모든 실패를 다룰 수는 없다고 언급하지만, 결과는 "긴 문맥(long-context)"이 로봇 지능을 확장하는 강력한 새로운 축이며, 서툴고 근시안적인 기계를 적응력 있고 장기적인 문제 해결사로 변화시킨다는 것을 강력하게 뒷받할합니다.

기술 요약: RoboTTT – 로봇 정책을 위한 컨텍스트 스케일링

문제 정의

현재의 최첨단 로봇 파운데이션 모델, 특히 시각-언어-행동(VLA) 정책은 일반적으로 단일 단계 또는 짧은 이력의 시각 운동(visuomotor) 컨텍스트(예: 2~8 타임스텝)로 작동합니다. 대규모 언어 모델(LLM)이 긴 컨텍스트 길이를 확장하여 복잡한 추론을 실현하는 데 성공한 반면, 로보틱스는 장기 추론을 위해 외부 메모리 뱅크에 의존하거나, 장기 호라이즌(long-horizon) 작업 수행에 어려움을 겪는 단기 컨텍스트 정책에 주로 의존해 왔습니다. 이러한 한계는 원샷 모방(one-shot imitation) 학습, 로봇 자신의 배포 이력을 통한 즉각적인 정책 개선, 그리고 다단계 조립 작업에서의 외부 섭동(perturbation)에 대한 강건성 확보를 저해합니다. 핵심 과제는 과도한 추론 지연 시간이나 메모리 비용을 발생시키지 않으면서, 임의로 긴 컨텍스트로부터 학습하고 이를 활용할 수 있는 시각 운동 정책을 어떻게 구축할 것인가 하는 점입니다.

방법론: RoboTTT

저자들은 RoboTTT(Test-Time-Training Robot Policies)를 소개합니다. 이는 **테스트 단계 훈련(Test-Time Training, TTT)**을 로봇 파운데이션 모델에 통합함으로써 시각 운동 컨텍스트를 8,000 타임스텝(30Hz 기준 약 5분간의 작동)까지 확장하는 프레임워크입니다.

핵심 아키텍처

RoboTTT는 Diffusion Transformer(DiT) 액션 헤드를 사용하는 GR00T N1.7 VLA 모델 위에 구현되었습니다. 핵심적인 구조적 혁신은 셀프 및 크로스 어텐션 레이어 뒤에 TTT 레이어를 삽로하는 것입니다.

빠른 가중치(Fast Weights): 고정된 모델 파라미터인 표준 "느린 가중치(slow weights)"와 달리, RoboTTT는 훈련과 추론 과정 모두에서 경사 하강법(gradient descent)을 통해 업데이트되는 작은 신경망(예: MLP)의 파라미터인 "빠른 가중치"를 사용합니다.
메커니즘: 각 타임스텝마다 모델은 현재 관측값과 이력을 처리합니다. TTT 레이어는 현재 컨텍스트(keys)를 그들의 값 투영(value projections)과 연관시키기 위해 빠른 가중치를 업데이트하며, 이를 통해 이력을 가중치 공간(weight space)으로 효과적으로 압축합니다. 업데이트된 가중치는 현재 단계의 출력(행동)을 생성하는 데 사용됩니다.
게이팅(Gating): 사전 훈련된 VLA 백본의 지식을 보존하기 위해 학습 가능한 tanh 게이팅 메커니즘이 사용됩니다. 이는 TTT의 기여도가 작게 시작하여, 모델이 사전 훈련된 모델의 계산을 압도하지 않으면서 빠른 가중치에 대한 의존도를 조정하는 법을 배움에 따라 점진적으로 커지도록 보장합니다.

훈련 레시피

GPU 메모리 폭발 없이 8K 타임스텝까지 훈련 규모를 키우기 위해, 저자들은 다음과 같은 특정 훈련 전략을 채택했습니다:

시퀀스 액션 포싱(Sequence Action Forcing): 시퀀스 훈련 시, 흐름 매칭(flow-matching)을 위한 노이즈 레벨은 시퀀스 내의 각 액션 청크(action chunk)에 대해 독립적으로 샘플링됩니다. 이는 전체 시퀀스가 균일하게 쉽거나 어렵게 학습되는 것을 방지하여 훈련을 안정화합니다.
절단된 시간 역전파(Truncated Backpropagation Through Time, TBPTT): 입력 시퀀스는 세그먼트로 나뉩니다. 그래디언트는 메모리 사용량을 제한하기 위해 각 세그먼트 내에서만 흐르지만, 빠른 가중치는 세그먼트 경계를 넘어 전달됩니다. 이를 통해 TTT 메커니즘은 메모리 점유율을 세그먼트 길이에 비례하여 일정하게 유지하면서도, 전체 8K 컨텍스트에 대해 연속적인 상태를 유지할 수 있습니다.
메타 학습(Meta-Learning): 투영 행렬(projection matrices)과 빠른 가중치의 초기값( $W_0$ )은 그래디언트의 그래디언트(gradients of gradients)를 통해 최적화되어, 로봇 궤적에 특화된 업데이트 역학을 갖추도록 설계되었습니다.

인컨텍스트 적응 전략

RoboTTO는 빠른 가중치 업데이트를 모방 대상(imitation targets)으로부터 분리함으로써 두 가지 새로운 형태의 적응을 가능하게 합니다:

원샷 모방(One-Shot Imitation): 모델은 인간의 비디오 데모를 조건으로 설정할 수 있습니다. 훈련 중에 비디오 부분은 빠른 가중치를 업데이트(마스크드 손실 적용)하고, 로봇 궤적은 이 업데이트된 가중치를 사용하여 행동을 생성합니다. 이를 통해 로봇은 테스트 시점에 단 하나의 비디오만으로 새로운 작업 구성을 학습할 수 있습니다.
DAgger 증류(DAgger Distillation): 표준 DAgger에서처럼 차 suboptimal한 로봇 행동을 버리는 대신, RoboTTT는 전체 상호작용 이력(실패 사례 포함)을 사용하여 빠른 가중치를 업데이트하되, 인간의 교정(correction)만을 모방 대상으로 사용합니다. 이를 통해 "실패에서 교정으로의 매핑"을 빠른 가중에 증류하여, 정책이 자신의 실수로부터 실시간으로 회복할 수 있게 합니다.

주요 결과

실험은 세 가지 장기 호라이즌 양손 조립 작업인 Pup Go Car(2분), Circuit(1분), Gear Bot(5분)에서 수행되었습니다.

성능 향상: RoboTTT(8K 컨텍스트)는 평균 작업 완료 점수 **79%**를 달 기록했습니다. 이는 단일 단계 컨텍스트 베이스라인(GR00T N1.7, 42%) 대비 87% 향상된 수치이며, 최상의 단기 컨텍스트 베이스라인(GDN, 56%)보다 41% 향상된 결과입니다.
장기 호라이즌 성공: 5분 길이의 Gear Bot 작업에서 RoboTTT는 10회 중 2회의 완전 성공을 거둔 반면, 어떤 베이스라인 방법도 단 한 번의 완전 성공을 거두지 못했습니다.
스케일링 법칙(Scaling Law): 저자들은 사전 훈련 컨텍스트 길이가 128에서 8K 타임스텝으로 증가함에 따라 폐쇄 루프(closed-loop) 성능이 포화되지 않고 꾸준히 증가하는 것을 관찰했습니다. RoboTTT-8K는 1K 컨텍스트로 사전 훈련된 동일 모델보다 63% 더 높은 성능을 보였습니다.
원샷 모방: 미보지 않은 구성의 Circuit 작업에서, RoboTTO는 단 한 번의 인간 비디오 데모를 바탕으로 10회 중 6회의 성공을 거둔 반면, GDN 베이스라인은 완전히 실패했습니다(0/10).
강건성: 외부 섭동(예: 설치 후 부품 제거) 상황에서, RoboTTT는 루프 섭동(roof-perturbation) 실험 20회 중 15회에서 회복에 성공하여, 단기 컨텍스트 베이스라인(최대 10/20)을 크게 앞질렀습니다.
즉각적인 개선: DAgger 증류를 통해, RoboTTT는 표준 DAgger 미세 조정(fine-tuning)에 비해 작업 완료 점수를 36% 향상시켜, 자신의 실패 이력으로부터 회복 전략을 학습할 수 있음을 입증했습니다.

의의 및 주장

본 논문은 컨텍스트 길이가 모델 크기나 데이터 양과는 별개의, 로봇 파운데이션 모델을 위한 새로운 스케일링 축이라고 주장합니다. TTT를 통합함으로써 RoboTTT는 다음과 같은 점을 입증했습니다:

장기 컨텍스트 조건화는 표준 정책으로는 접근할 수 없었던 능력, 즉 원샷 모방과 동적 정책 개선을 가능하게 합니다.
경사 하강법을 통해 업데이트되는 빠른 가중치는 선형 재귀 상태(예: Gated DeltaNets)보다 밀도가 높고 반복적인 로봇 스트림의 정보를 압축하고 검색하는 데 있어 더 표현력이 풍부한 메커니즘을 제공합니다.
긴 시퀀스에 대한 훈련은 지속적인 성능 향상을 가져오며, 이는 장기적인 시각 운동 이력을 유지하고 활용하는 능력이 복잡한 다단계 조작 작업에 필수적임을 시사합니다.

저자들은 비록 훈련 비용과 모든 실패 모드를 처리하는 데 여전히 과제가 남아있지만, RoboTTO가 운영 이력을 컨텍스트로 활용하여 지속적으로 적응하고 개선할 수 있는 새로운 패러다임을 구축했다고 결론짓습니다.