HAMLET: Switch your Vision-Language-Action Model into a History-Aware Policy
이 논문은 과거의 맥락을 활용하는 것이 로봇 조작 작업에 필수적임을 지적하며, 시간 대비 학습을 통해 시점 토큰을 생성하고 경량 메모리 모듈을 적용해 기존 비전 - 언어 - 행동 (VLA) 모델을 역사 인식 정책으로 변환하는 HAMLET 프레임워크를 제안하여 장기 작업 수행 능력을 획기적으로 향상시켰음을 보여줍니다.
원저자:Myungkyu Koo, Daewon Choi, Taeyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin
이 논문은 최신 로봇 기술인 **'시각 - 언어 - 행동 (VLA) 모델'**의 큰 약점을 발견하고, 이를 해결하는 획기적인 방법을 제안합니다.
1. 문제점: 로봇은 '지금'만 보고 '과거'를 잊어버려요
지금까지의 로봇 AI 는 마치 매번 눈을 감았다가 다시 뜨는 사람과 같았습니다.
현재 상황: 로봇이 컵을 잡으려는데, 그 컵이 테이블 아래에 숨겨져 있다면?
기존 로봇의 반응: "어? 컵이 어디 있지? (현재 화면에 없으니) 못 찾겠다."
실제 상황: 로봇은 1 초 전까지 컵이 테이블 위에 있었음을 알고 있어야 합니다. 하지만 기존 모델은 현재 프레임 (화면) 만 보고 행동을 결정하기 때문에, 물체가 가려지거나 복잡한 순서 (예: A 를 먼저 치우고 B 를 집으라) 를 요구할 때 엉뚱한 행동을 하거나 실패합니다.
2. 해결책: HAMLET (해밀렛) - 로봇의 '단기 기억'을 깨우는 기술
저자들은 기존 로봇 AI 를 뜯어고치지 않고, 기존 모델에 '기억력'을 추가하는 가벼운 프레임워크인 HAMLET을 제안합니다.
🧩 핵심 아이디어 1: '순간 토큰 (Moment Tokens)' - 로봇의 '포스트잇'
로봇이 매순간 보는 화면은 너무 방대하고 불필요한 정보 (배경, 벽 등) 가 많습니다. HAMLET 은 매 순간의 중요한 정보만 뽑아내어 **'포스트잇 (Moment Token)'**에 적어둡니다.
마법 같은 초기화: 이 포스트잇은 **'시간 대비 학습 (Time-Contrastive Learning)'**이라는 기술을 통해 훈련됩니다. 마치 사람이 "어제와 오늘은 뭐가 달랐지?"라고 스스로 질문하며 중요한 변화 (물체가 움직인 것, 손이 잡은 것) 만 포스트잇에 적는 것과 같습니다. 정적인 배경은 무시하고, 움직이는 물체나 중요한 사건의 순간만 기억하게 됩니다.
🧠 핵심 아이디어 2: '메모리 모듈' - 로봇의 '작은 두뇌'
단순히 포스트잇을 쌓아두기만 하면 정보가 너무 많아져서 혼란스럽습니다. HAMLET 은 이 포스트잇들을 **가볍고 똑똑한 '메모리 모듈'**에 넣습니다.
선택적 기억: 이 모듈은 **"지금 이 순간에 필요한 과거 정보는 무엇일까?"**를 스스로 판단합니다.
예시: "방금 파란 컵으로 빨간 컵을 덮었는데, 이제 어떤 컵을 들어야 하지?"라고 생각할 때, 메모리 모듈은 **"아, 3 초 전에 파란 컵이 어디에 있었지?"**라는 과거의 포스트잇만 집중해서 보고, 나머지 불필요한 정보는 무시합니다.
3. 왜 이것이 혁신적인가요? (비유로 설명)
기존 방식 (멀티프레임): 과거의 영상 4 개를 모두 화면에 띄워놓고 로봇에게 "이거 봐!"라고 외치는 것과 같습니다.
단점: 화면이 너무 복잡해지고, 로봇이 처리해야 할 데이터가 폭증하여 속도가 느려지고 (35% 감소), 메모리 사용량이 3.6 배나 폭증합니다. 마치 책상 위에 과거의 일기장을 4 권이나 펼쳐놓고 공부하는 것처럼 비효율적입니다.
HAMLET 방식: 과거의 영상은 버리고, **핵심 내용만 적힌 '요약 노트 (메모리)'**만 참고합니다.
장점: 속도는 거의 그대로 유지하면서 (약 2% 증가), 기억력은 폭발적으로 향상됩니다. 마치 시험 직전에 두꺼운 교과서 대신, 핵심만 정리된 요약 노트를 보는 것처럼 효율적입니다.
4. 실제 성과: 로봇이 '현명'해지다
이 기술을 적용한 결과, 로봇은 다음과 같은 놀라운 변화를 보였습니다.
장기 미션 성공: "상자를 치우고, 컵을 덮고, 그 위에 다른 컵을 쌓아라"처럼 여러 단계가 필요한 복잡한 작업에서 성공률이 47.2%나 급상승했습니다.
실제 실험: 로봇이 물체를 집어 올렸다가 놓는 과정에서, "아, 방금 그 물체를 놓았으니 이제 다른 쪽으로 가야지"라고 과거의 맥락을 이해하고 올바른 행동을 취했습니다.
범용성: 특정 로봇 모델뿐만 아니라, 다양한 최신 로봇 AI 모델에 **플러그인 (Plug-in)**처럼 쉽게 적용되어 모두 성능을 높였습니다.
📝 한 줄 요약
HAMLET은 기존 로봇 AI 가 가진 **'현재 순간만 보는 단점'**을, **과거의 핵심 정보만 뽑아내는 '지능형 메모리'**로 보완하여, 로봇이 복잡한 장기 미션에서도 과거를 기억하고 현명하게 행동할 수 있게 만든 기술입니다.
"로봇에게 과거를 잊지 않는 '기억력'을 심어주니, 이제 로봇도 복잡한 문제를 해결하는 현명한 조수가 되었습니다!"
이 논문은 HAMLET (History-Aware Memory with LEarned Tokens) 을 제안하며, 기존 비전 - 언어 - 행동 (VLA, Vision-Language-Action) 모델의 한계를 극복하고 로봇 조작 작업의 역사적 맥락 (History) 을 효과적으로 활용할 수 있는 확장 가능한 프레임워크를 소개합니다.
주요 내용은 다음과 같습니다.
1. 문제 정의 (Problem)
현재의 한계: 기존의 VLA 모델들은 대부분 '단일 프레임 (Single-frame)' 가정을 기반으로 합니다. 즉, 현재 관찰된 이미지와 명령어만을 사용하여 다음 행동을 예측합니다.
역사 의존성 (History-dependency): 로봇 조작 작업은 본질적으로 과거의 맥락에 의존합니다. 예를 들어, 물체가 가려져 있거나 (Occlusion), 이전 단계에서 물체를 잡았는지 여부에 따라 다음 행동이 결정됩니다.
기존 해결책의 비용: 과거의 관찰 프레임을 단순히 입력에 추가하는 (Multi-frame) 방식은 계산 비용이 매우 큽니다. 실험 결과, 과거 4 프레임만 추가해도 순전파 속도가 약 35% 느려지고 피크 메모리 사용량이 약 3.6 배 증가하여 확장성이 떨어집니다. 또한, 단순히 과거 프레임을 나열하는 것은 불필요한 정보를 포함하거나 인과적 혼란 (Causal confusion) 을 유발할 수 있습니다.
핵심 질문: "비용이 많이 드는 처음부터의 재학습 (Pre-training from scratch) 없이, 어떻게 사전 훈련된 VLA 에 역사 인식 (History-awareness) 기능을 통합할 수 있는가?"
2. 제안 방법론: HAMLET
HAMLET 은 사전 훈련된 VLA 에 두 가지 핵심 구성 요소를 추가하여 역사적 맥락을 효율적으로 처리합니다.
A. 모먼트 토큰 (Moment Tokens)
개념: 각 타임스텝 (timestep) 에서의 시각적 관찰 정보를 압축하여 표현하는 학습 가능한 토큰입니다.
초기화 (Time-Contrastive Learning, TCL): 모먼트 토큰은 '시간 대비 학습 (Time-Contrastive Learning)'을 통해 초기화됩니다.
동일한 타임스텝의 증강된 뷰 (Augmented view) 는 양의 쌍 (Positive pair) 으로, 다른 타임스텝의 뷰는 음의 쌍 (Negative pair) 으로 구성됩니다.
이를 통해 토큰이 정적인 배경 정보는 억제하고, 시간에 따라 변하는 작업 관련 역동적 정보 (Task-relevant dynamics) 를 효과적으로 포착하도록 유도합니다.
역할: VLM 입력에 추가되어 현재 장면의 압축된 요약 정보를 생성하며, 이후 메모리 모듈로 전달됩니다.
B. 메모리 모듈 (Memory Module)
구조: 경량의 Transformer 기반 모듈로, 과거의 모먼트 토큰들을 통합하여 역사적 특징 (History-aware features) 을 생성합니다.
작동 원리:
단순히 과거 토큰을 연결 (Concatenation) 하는 것이 아니라, Transformer 의 자기 주의 (Self-attention) 메커니즘을 사용하여 정보성이 높은 과거 타임스텝을 선택적으로 주의 (Attend) 합니다.
모든 타임스텝을 동등하게 취급하는 것이 아니라, 현재 행동 예측에 가장 중요한 과거 맥락을 찾아냅니다.
통합: 생성된 역사적 특징은 원래 VLM 은닉 상태와 결합되어 행동 전문가 (Action Expert) 에게 입력되며, 이를 통해 미래의 행동 시퀀스를 예측합니다.
3. 주요 기여 (Contributions)
HAMLET 프레임워크 제안: 비용 효율적인 파인튜닝을 통해 기존 VLA 를 역사 인식 정책으로 변환하는 플러그인 방식의 프레임워크를 제시했습니다.
모먼트 토큰과 시간 대비 학습: 각 타임스텝의 핵심 시간적 단서를 포착하기 위해 TCL 로 초기화된 모먼트 토큰을 도입했습니다.
경량 메모리 모듈: 불필요한 정보를 걸러내고 중요한 과거 맥락만 선택적으로 통합하는 효율적인 메모리 아키텍처를 설계했습니다.
광범위한 검증: 실세계 및 시뮬레이션 환경에서 다양한 VLA 백본 (GR00T N1.5, CogACT 등) 에 적용하여 일관된 성능 향상을 입증했습니다.
4. 실험 결과 (Results)
HAMLET 은 다양한 벤치마크에서 기존 모델 및 단순 다중 프레임 (Multi-frame) 베이스라인을 압도하는 성능을 보였습니다.
실세계 장기 작업 (Long-horizon Tasks):
GR00T N1.5 기반의 HAMLET 은 역사 의존적 실세계 작업 (물체 이동, 덮기, 쌓기 등) 에서 평균 성공률 **76.4%**를 기록했습니다.
이는 베이스라인 (GR00T N1.5) 대비 **47.2%**의 절대적 향상을 보였으며, 단순 다중 프레임 방식 (45.8%) 보다도 훨씬 우수했습니다.
시뮬레이션 벤치마크:
RoboCasa Kitchen: 100 데모 설정에서 기존 최고 성능 (64.1%) 을 **66.4%**로 향상시켰습니다.
LIBERO: 기존 성능 (95.6%) 을 **97.6%**로 끌어올려, 이미 높은 성능을 보이는 환경에서도 추가적인 개선을 달성했습니다.
SimplerEnv-Bridge (CogACT 적용): 베이스라인 52.1% 에서 **63.5%**로 크게 향상되었습니다.
효율성:
단순 다중 프레임 방식은 메모리 사용량이 3.6 배 이상 증가하고 지연 시간이 크게 늘어났으나, HAMLET 은 메모리 증가를 약 2 배로 제한하고 지연 시간은 거의 변하지 않게 유지하여 (약 1.02 배) 매우 효율적입니다.
일반화 능력:
LIBERO 데이터셋으로 학습된 메모리 모듈을 RoboCasa 데이터셋에 적용했을 때도 성능 향상이 확인되어, 학습된 메모리 표현이 다른 데이터셋으로 전이 (Transfer) 가능함을 입증했습니다.
5. 의의 및 결론
HAMLET 은 로봇 조작 작업의 본질적인 특성인 '역사 의존성'을 해결하면서도, 대규모 재학습 없이 기존 VLA 모델에 효율적으로 통합할 수 있는 방법을 제시했습니다. 특히 단일 프레임 입력의 일반화 능력을 유지하면서 역사적 맥락을 효과적으로 활용함으로써, 복잡한 장기 작업 (Long-horizon tasks) 과 가려짐 (Occlusion) 이 발생하는 환경에서 로봇의 신뢰성을 크게 높였습니다. 이는 향후 오프 - 더 - 쉐lf (Off-the-shelf) VLA 정책들을 더 복잡하고 실용적인 로봇 작업에 적용하는 데 중요한 발판이 될 것으로 기대됩니다.