💻 computer science

Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids

이 논문은 데이터 효율적인 사후 학습, 경험 기반 정교화, 그리고 잠재 공간 분석을 결합하여 최소한의 계산 자원으로 칩 재입고 작업에서 견고한 성능을 달선함으로써, 휴머노이드 로봇을 위한 실험실 벤치마크와 실제 소매 운영 사이의 간극을 메우는 시스템 수준의 프레임워크인 DEED를 소개한다.

원저자: Roger Sala Sisó, Tiago Silvério, Jakob Sand, Tran Nguyen Le

게시일 2026-07-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Roger Sala Sisó, Tiago Silvério, Jakob Sand, Tran Nguyen Le

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 빨래를 접거나 선반에 물건을 채워 넣는 것과 같은 집안일을 가르치려 한다고 상상해 보십시오. 여러분은 로봇의 뇌를 만들어 세상이 어떻게 생겼는지 '보고' '이해하게' 만드는 것이 가장 어려운 부분이라고 생각할 수도 있습니다. 하지만 로봇 공학의 세계에는 완벽하게 통제된 실험실과 무질서한 실제 매장 사이에는 까다로운 간극이 존재합니다. 실험실에서 로봇은 종종 천재처럼 보이지만, 문밖으로 한 발짝만 내디디면 카펫에 걸려 넘어지거나 조명이 바뀌거나 상자가 약간 비뚤어졌다는 이유로 물건을 떨어뜨리곤 합니다.

이 간극을 메우기 위해 과학자들은 시각-언어-행동(Vision-Language-Action, VLA) 모델이라는 것을 사용합니다. VLA를 인터넷 전체를 읽은 매우 똑똑한 로봇의 뇌라고 생각해 보십시오. 이 모델은 '감자칩 봉지'가 어떻게 생겼는지 알고, "이것을 선반에 놓아라"라는 문장을 이해하며, 그것을 수행하기 위해 팔을 어떻게 움직여야 하는지도 알고 있습니다. 이러한 모델은 강력하지만, 마치 교과서로만 공부한 학생과 같습니다. 그들은 현실 세계에서 실제로 숙제를 해본 적이 없습니다. 계획대로 되지 않을 때 어려움을 겪으며, 전원이 켜진 후에는 자신의 실수로부터 배울 수 없습니다. 연구자들이 던지는 큰 질문은 이것입니다. "어떻게 하면 이 영리하지만 경험이 부족한 로봇의 뇌를, 수백만 달러의 슈퍼컴퓨터 없이도 신뢰할 수 있는 일꾼으로 만들 수 있을까?"

이 논문은 바로 이 문제를 해결하기 위해 DEED(Data-Efficient Post-Training and Experience-Driven Learning, 데이터 효율적 사후 학습 및 경험 기반 학습)라는 새로운 방법을 소개합니다. 연구진은 이 아이디어를 인간과 닮은 휴머노이드 로봇인 Unitree G1-Edu에 적용하여, 슈퍼마켓에서 감자칩 봉지를 채워 넣는 매우 구체적인 작업을 테스트했습니다. 그들은 로봇을 작동하게 만드는 비결이 더 복잡한 새로운 뇌 구조를 발명하는 것이 아니라, 매우 세심한 선생님이 되는 것에 있다는 것을 발견했습니다.

첫째, 그들은 단순히 사전 훈련된 로봇의 뇌를 다운로드하여 "가라"고 명령하는 것만으로는 작동하지 않는다는 것을 깨달았습니다. 로봇은 완전히 실패했습니다. 문제는 로봇이 지저도하고 일관성 없는 데이터로부터 배우려 했고, 카메라와 움직임의 타이밍에 혼란을 느꼈다는 점이었습니다. 팀은 이를 해결하기 위해 "데이터 효율적" 레시피를 만들었습니다. 그들은 주저함이나 실수를 제거하기 위해 훈련 영상을 정리했고, 로봇의 카메라 속도를 움직임 속도와 동기화했으며(로봇이 볼 수 있는 것보다 빠르게 움직이지 않도록), 심지어 보조 도구를 사용하여 로봇이 선반의 빈 공간에 초록색 상자를 그리는 것처럼 정확히 어디를 보아야 하는지 강조했습니다. 또한 로봇의 손을 미세한 근육 하나하나를 제어하는 대신 단순한 온/오프 스위치처럼 취급함으로써 로봇의 작업을 단순화했습니다. 단 한 개의 그래픽 카드만 사용한 채 이러한 세심한 조정만으로, 그들은 성공률 0%였던 로봇을 32%의 확률로 감자칩을 채워 넣을 수 있는 로봇으로 탈바꿈시켰습니다.

다음으로, 그들은 "경험 기반 학습(Experience-Driven Learning)"이라는 과정을 통해 로봇이 스스로의 경험으로부터 배울 수 있게 하여 로봇을 더 개선하려고 노력했습니다. 그들은 로봇이 스스로 작업을 수행하도록 내버려 두었고, 실수를 하면 사람이 개입하여 이를 바로잡았습니다. 로봇은 이러한 교정 사항을 사용하여 자신의 뇌를 업데이트했습니다. 이것은 효과가 있었습니다! 한 차례의 연습을 거친 후, 로봇의 성공률은 42%로 뛰었으며 움직임이 더 빠르고 직접적으로 변했습니다.

하지만 이 논문은 이를 너무 많이 했을 때에 대한 경고를 제시합니다. 그들이 두 번째 라운드의 연습을 시도했을 때, 로봇은 오히려 성능이 저하되어 성공률이 22%로 떨어졌습니다. 저자들은 로봇이 인간 선생님이 준 견고한 예시보다는 자신의 "환각(hallucinations)"에 너무 의존하기 시작했기 때문이라고 추측합니다. 이는 마치 학생이 자신이 임의로 만든 시험 문제로만 연습하다가, 결국 실제 규칙을 잊어버리는 것과 같습니다. 팀은 또한 로봇의 현재 상황이 훈련받은 내용과 비교했을 때 얼마나 "이상한지"를 실시간으로 측정하는 특별한 도구를 구축했습니다. 이 도구는 로봇이 언제 위험하고 낯선 영역으로 흘러 들어가는지를 정확히 파악하는 데 도움을 주었습니다.

궁극적으로, 이 논문은 휴머노이드 로봇을 상점에 배치하는 데 있어 가장 큰 장애물은 더 똑똑한 뇌를 만드는 것이 아니라, 더 나은 훈련 시스템을 구축하는 것이라고 시사합니다. 데이터를 신중하게 선별하고 로봇이 스스로 "연습"하는 것을 멈춰야 할 때를 아는다면, 우리는 아주 적은 컴퓨팅 파워를 사용하여 서투른 사전 훈련 모델을 유능한 일꾼으로 바꿀 수 있습니다. 연구진은 한 차례의 자기 교정은 도움이 되지만, 과도하면 해가 될 수 있으며, 성공의 열쇠는 로봇 자신의 경험과 인간의 신뢰할 수 있는 시연 사이의 균형을 맞추는 데 있다는 것을 발견했습니다.

기술 요약: DEED를 통한 Lab-to-Store 격차 해소

문제 정의
범용 로봇 조작을 위한 지배적인 패러다임으로 시각-언어-행동(Vision-Language-Action, VLA) 모델이 등장했음에도 불구하고, 벤치마크 성능과 신뢰할 수 있는 실제 환경 배포 사이에는 여전히 상당한 격차가 존재한다. 현재의 VLA는 일반적으로 오프라인으로 학습되어 고정된 정책(fixed policies)으로 배포되는데, 이는 실행 오류, 분포 변화(distribution shifts), 그리고 환경적 가변성에 대한 강건성이 부족하다. 본 논문은 이러한 "lab-to-store" 격차를 해소하는 것이 모델 구조의 문제가 아니라 시스템 통합의 문제라고 주장한다. 사전 학습된 모델(예: GR00T)을 배포할 때 발생하는 실패는 모델의 용량 부족 때문이 아니라, 데이터 큐레이션, 제어 빈도, 행동 표현에서의 엔지니어링 불일치로 인해 발생한다. 또한, 오프라인 정책은 스스로의 배포 경험으로부터 개선될 수 없으므로, 효과적인 사후 학습(post-training) 전략이 필수적이다.

방법론: DEED 프레임워크
저자들은 Unitree G1-Edu 휴머노이드 로봇과 GR00T N1.6 파운데이션 모델을 사용하여 슈퍼마켓 칩 재입고(chip-restocking) 태스크에서 평가된 DEED(Data-Efficient Post-Training and Data-Driven Learning)를 제안한다. DEED는 세 가지 핵심 구성 요소로 이루어져 있다:

데이터 효율적 사후 학습 파이프라인 (Data-Efficient Post-Training Pipeline):
이 단계는 특정 엔지니어링 결정을 통해 별도의 튜닝 없이 제공된 파운데이션 모델 체크포인트를 신뢰할 수 있는 정책으로 변환하는 데 중점을 둔다:
- 빈도 계층 구조 (Frequency Hierarchy): 매끄럽고 연속적인 움직임을 보장하고 중복된 관측으로부터 학습하는 것을 방지하기 위해 카메라 빈도( $f_{cam}$ ), 텔레오퍼레이션 빈도( $f_t$ ), 기록 빈도( $f_r$ ), 그리고 추론 제어 빈도( $f_{ctrl}$ ) 사이의 엄격한 관계를 설정한다.
- 데이터 큐레이션 규칙: 노이즈를 방지하기 위한 엄격한 가이드라인을 구현한다. 여기에는 균형 잡힌 상태 커버리지 확보, 효율적인 성공 동작만을 기록, 오류 수정 학습을 위한 부수적 회복(incidental recoveries) 유지, 행동 일관성 극대화, 통제되지 않은 환경 변화 최소화, 그리고 "무작위 동작(no-operation)" 상태 방지 등이 포함된다.
- 태스크 관련 시각적 강조 (Task-Relevant Visual Highlighting): 대규모 시각-언어 모델(VLM)이 세그멘테이션 마스크를 생성하여 태스크 관련 영역(예: 빈 선반 위치)을 강조하는 적응형 IA-VLA 프레임워크를 통합함으로써, VLA가 사후 학습 데이터에만 의존하는 대신 근거 있는 시각적 단서를 제공받도록 한다.
- VLA 의존도 감소: 이산적 파지(grasp) 동작을 위해 바이너리 핸드 컨트롤러를 사용하고, 추론 시 예측된 행동 시퀀스에 Butterworth 필터를 적용하여 전환을 부드럽게 하고 실행된 행동이 학습 분포 내에 머물도록 한다.
- 연속 에피소드 (Continuous Episodes): 하위 태스크 간의 전환을 학습하기 위해, 개별적인 하위 태스크로 분절하는 대신 다중 하위 태스크를 포함하는 전체 데모를 연속적인 에피소드로 기록한다.
경험 기반 학습 (Experience-Driven Learning: RECAP 적응):
정책이 자신의 배포 경험으로부터 학습할 수 있도록, 저자들은 분리된 GR00T 아키텍처(인식/추론과 제어를 분리)에 RECAP(Advantage-conditioned Policies를 통한 경험 및 수정 기반 강화학습) 방법을 적응시킨다.
- 아키텍처 적응: 모델을 직접 수정하는 대신, 텍스트 기반의 어드밴티지 접두사("Advantage=True/False")와 시각-언어 전용 가치 함수(value function)를 통해 정책을 조건화한다.
- 가치 함수 (Value Function): 고정된 Eagle-3 VLM 인코더 상에서 학습되는 경량 MLP 헤드를 사용하여 시각적 관측 및 지침에 대한 범주형 리턴 분포를 예측한다.
- 어드밴티지 계산: 몬테카를로 리턴을 사용하여 오프라인에서 다단계 어드밴티지 레이블을 계산한다. 인간의 교정 개입(human corrective interventions)은 회복 동작을 강화하기 위해 양수(positive)로 강제 레이블링된다.
- 정교화 루프 (Refinement Loop): 정책은 원래의 텔레오퍼레이션 데이터, 성공적인 자율 실행 결과, 그리고 인간의 교정 데이터를 혼합하여 반복적으로 정교화된다. 결정적으로, 각 정교화 반복은 최적화 드리프트(optimization drift)를 방지하기 위해 원래의 베이스 체크포인트에서 시작된다.
잠재 공간 내/외 분포(In/Out-of-Distribution, OOD) 분석:
로봇의 현재 상태가 학습 분포에서 얼마나 벗어났는지 측정하는 진단 도구가 도입된다. 상태 인코더의 잠재 임베딩에 가우시안 혼합 모델(GMM)을 적합시킴으로써, 시스템은 마할라노비스 거리(Mahalanobis distances)를 계산한다. 이를 통해 정책이 실패할 가능성이 높은 상태를 탐지하고, 단순한 변동과 실제 데모 매니폴드로부터의 이탈을 구분할 수 있다.

주요 결과
프레임워크는 집기(grasping), 몸체 회전(torso rotation), 배치(placement)를 포함하는 칩 재입고 태스크에서 평가되었다.

베이스라인 실패: DEED 엔지니어링이 적용되지 않은 GR00T N1.6의 단순 미세 조정(naive fine-tuning)은 **성공률 0%**를 기록하며, 아이템을 안정적으로 집거나 배치하는 데 실패했다.
데이터 효율적 단계: Data-Efficient 레시피만 적용했을 때 성공률은 32%(50회 중 16회)로 향상되었으며, 백(bag)당 평균 실행 시간은 24.30초였다. 이는 전체 '집기-회전-배치' 시퀀스를 자율적으로 수행하는 데 성공한 첫 번째 구성이었다.
경험 기반 단계: 단 한 번의 RECAP 반복을 통해 성공률은 42%(50회 중 21회)로 향상되었고 실행 시간은 22.37초로 단축되었다.
두 번째 반복에서의 성능 저하: 두 번째 정교화 반복에서는 성능이 **22%**로 떨어졌다. 분석 결과, 이는 분포 드리프트(distributional drift) 때문인 것으로 밝혀졌다. 즉, 스스로 생성한 롤아웃(rollout)이 학습 세트를 지배하기 시작하면서 유효한 상태-행동 분포가 좁아졌고, 이로 인해 정책이 원래의 텔레오퍼레이션 데이터에 의해 고정되었던 견고한 행동으로부터 멀어지게 되었다.
리셋 동작: 정교화된 정책은 중간 리셋 포즈보다 종단 성공 상태(terminal success state)에 더 높은 가치를 부여받았기 때문에, 시작 구성으로 돌아가기보다는 배치 후 바로 멈추는 경향을 보였다.

의의 및 주장
본 논문은 VLA 기반 휴머노이드를 실제 소매 환경에 배포하는 데 있어 주요 장벽은 아키텍처의 참신함이 아니라 시스템 통합이라고 주장한다. 저자들은 다음을 입증하였다:

양보다 질인 데이터: 세심한 데이터 큐레이션과 타겟팅된 사후 학습은 단 하나의 GPU만을 사용하여 작동하지 않던 파운데이션 모델 체크포인트를 유능한 실제 시스템으로 변환할 수 있다.
상호 보완적 단계: Data-Efficient 단계는 기능 구현을 위한 필수적인 토대를 제공하며, 경험 기반 정교화는 강건성을 위한 미미한 이득을 제공한다.
반복적 정교화의 한계: 높은 가변성을 가진 휴머노이드 태스크에서, 데모와 롤아웃의 균형 잡힌 혼합 없이 반복적인 정교화를 수행하면 분포 드리프트로 인해 성능 저하가 발생할 수 있다.
일급 시민으로서의 모니터링: 제안된 잠재 공간 분석 도구는 정책의 학습 분포 경계를 이해하고 배포 실패를 진단할 수 있는 모델 불가지론적(model-agnostic) 메커니즘을 제공한다.

저자들은 DEED가 특정 태스크를 해결하는 데 성공했지만, 경험 기반 학습의 이점은 태스크의 가변성과 균형 잡힌 학습 분포의 유지 여부에 달려 있다고 결론지었다.

기술 요약: DEED를 통한 Lab-to-Store 격차 해소

유사한 논문