🤖 AI

HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface

HIL-UMI는 휴대용 범용 조작 인터페이스(Universal Manipulation Interface)와 정책 가이드 에너지 점수(policy-guided energy score)를 활용하여 표적 데이터를 효율적으로 수집하고 이점 추정치(advantage estimators)를 정교화함으로써, 정적인 지도 미세 조정(supervised fine-tuning)의 한계를 극복하고 물리적 로봇 배치 없이도 확장 가능한 반복적 개선을 가능하게 하는, 사후 훈련 단계의 시각-언어-행동(Vision-Language-Action) 모델을 위한 로봇 없는 인간 참여형(human-in-the-loop) 프레임워크를 도입한다.

원저자: Zimu Han, Yiming Zeng, Jiyao Zhang, Zihao Zhao, Yuanfei Wang, Yixiang Jin, Shiqi Li, Shuangben Chen, Wei Huang, Ruodai Li, Hui Shen, Hao Dong

게시일 2026-09-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zimu Han, Yiming Zeng, Jiyao Zhang, Zihao Zhao, Yuanfei Wang, Yixiang Jin, Shiqi Li, Shuangben Chen, Wei Huang, Ruodai Li, Hui Shen, Hao Dong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇은 시각과 언어를 통해 세상을 이해하는 능력이 점점 더 향상되고 있으며, 방대한 양의 데이터를 학습하여 복잡한 과업을 수행할 수 있게 되었습니다. 그러나 이러한 인공지능 시스템이 일반적인 영역에서 학습한 내용과 실제 주방, 작업장 또는 공장에서 실제로 수행할 수 있는 능력 사이에는 여전히 상당한 격차가 존재합니다. 로봇이 실제 환경에 배치되면 이전에 본 적 없는 상황에 직면하는 경우가 많으며, 이는 실수를 유발하고 그 실수가 누적되어 결국 과업 실패로 이어지기도 합니다. 이를 해결하기 위해 연구자들은 전통적으로 "지도 미세 조정(supervised fine-tuning)"에 의존해 왔는데, 이는 인간이 로봇 자체에서 올바른 동작을 시연하면 기계가 이를 모방하도록 학습하는 과정입니다. 이 방식은 도움이 되기는 하지만, 느리고 비용이 많이 들며, 로봇이 문제를 해결하기 위해 스스로 시도하는 과정에서 저지르는 실수로부터 배우는 것이 아니라 주어진 예시로부터만 학습하기 때문에 로봇이 가장 실패하기 쉬운 특정 순간들을 놓치는 경우가 많습니다.

한 연구팀은 로봇이 학습하는 방식에 변화를 주는 HIL-UMI라는 새로운 접근법을 개발하였는데, 이는 훈련 단계에서 로봇이 반드시 존재할 필요성을 없앴습니다. 로봇이 고군분투하는 모습을 지켜보고 수정하는 대신, 이 방법은 로봇의 그리퍼처럼 생겼지만 인간 운영자가 잡고 조작할 수 있는 휴대용 핸드헬드 장치를 사용합니다. 운영자는 이 장치로 과업을 수행하며, 동시에 로봇의 현재 "두뇌"를 실행 중인 컴퓨터 프로그램은 동일한 비디오 피드를 보면서 인간이 다음에 무엇을 할지 예측하려고 시도합니다. 이 시스템은 로봇을 움직이지 않으며, 단지 인간의 실제 움직임과 자신의 예측을 비교할 뿐입니다. 인간이 예상치 못한 행동을 할 때, 시스템은 해당 순간을 학습 기회로 간과하지 않고 기록합니다. 이를 통해 로봇은 과업을 물리적으로 직접 시도하며 실패할 위험을 감수하지 않고도 자신의 사각지대로부터 배울 수 있습니다.

이 방법의 핵심은 관찰과 정교화의 연속적인 루프에 있습니다. 인간이 과업을 시연하는 동안 컴퓨터는 자신의 예측이 인간의 행동과 일치하는지 끊임없이 확인합니다. 만약 컴퓨터의 추측이 인간이 하고 있는 행동과 크게 다르다면, 시스템은 자신이 "사각지대(blind spot)"—즉, 로봇이 잘 이해하지 못하는 상황—에 처해 있음을 인지합니다. 그 시점에서 인간에게 시연을 계속하도록 요청하고, 시스템은 이 특정 세그먼트의 데이터를 저장합니다. 연구진은 또한 지능의 두 번째 층을 추가했습니다. 바로 과업이 얼마나 잘 진행되고 있는지를 판단하는 방법입니다. 만약 시스템이 인간의 움직임은 올바르더라도 과업이 잘못 진행되고 있다고 판단하면, 그 순간을 기록하여 컴퓨터가 성공 여부를 더 잘 판단하는 법을 배우도록 돕습니다. 이 두 가지 유형의 데이터를 결합함으로써, 로봇은 단순히 무엇을 해야 하는지뿐만 아니라 어떤 행동이 일을 끝내는 데 가장 유용한지도 배우게 됩니다.

이 아이디어를 테스트하기 위해 연구진은 표준 로봇 팔을 사용하여 네 가지 서로 다른 실제 과업에 이를 적용했습니다. 과업은 수건 접기, 테이블 정리하기, 큐브 쌓기, 그리고 종이에 정밀하게 도장 찍기 등 다양했습니다. 모든 경우에서 로봇은 기본적인 지침 세트로 시작하여 새로운 핸드헬드 방식을 이용한 여러 차례의 훈련 과정을 거쳤습니다. 결과는 기존 방식보다 명확한 개선을 보여주었습니다. 표준적인 훈련 기법들은 데이터를 더 추가해도 도움이 되지 않는 한계점에 부딪히는 경우가 많았으나, 새로운 방식은 로봇이 매 훈련 회차마다 지속적으로 발전할 수 있게 해주었습니다. 로봇은 이전보다 더 길고 복잡한 일련의 동작과 섬세하고 정밀한 움직임을 더 효과적으로 처리하는 법을 배웠습니다.

이 방법의 가장 놀라운 발견 중 หนึ่ง은 새로운 정보를 수집하는 속도였습니다. 로봇이 물리적으로 움직이고 인간이 이를 교정해주어야 하는 전통적인 방식은 느리고 규모를 키우기 어렵습니다. 반면, 핸드헬드 방식은 필요한 데이터를 수집하는 데 있어 5배 이상 빠른 것으로 나타났습니다. 이는 인간 운영자가 로봇이 리셋되기를 기다리거나 무거운 기계에 인간이 직접 개입할 때까지 기다릴 필요 없이 장치를 자유롭게 움직일 수 있기 때문입니다. 시스템은 로봇에게 도움이 필요한 정확한 순간을 성공적으로 식별해 냈으며, 로봇이 이미 이해하고 있는 부분에 시간을 낭비하는 대신 가장 어려운 부분에 훈련을 집중했습니다.

이 연구는 이 접근법이 다양한 장소와 다양한 사람들에 의해 로봇에게 새로운 기술을 가르칠 수 있는 확장 가능한 경로를 제공함을 시사합니다. 훈련이 핸드헬드 장치에서 이루어지기 때문에, 여러 운영자가 서로 다른 곳에서 동시에 데이터를 수집하여 동일한 로봇의 학습 과정으로 전달할 수 있습니다. 연구진은 로봇의 지식 격차에 집중하고 진척도를 보상하는 시스템을 사용함으로써, 더 신뢰할 수 있고 효율적인 로봇을 만들 수 있다는 것을 발견했습니다. 이 연구는 로봇이 반복적이고 비용이 많이 들며 시간이 오래 걸리는 물리적 실험 없이도 새로운 환경에 빠르게 적응할 수 있는 미래를 향한 길을 제시합니다.

기술 요약: HIL-UMI

문제 정의

대규모 시각-언어-행동(VLA) 모델은 로봇 조작을 위한 강력한 사전 지식을 제공하지만, 특정 배포 환경(예: 고유한 형태, 관측 설정 또는 역학 관계)에 안정적으로 적응하는 데 어려움을 겪습니다. 특정 작업 데모에 대한 지도 미세 조정(Supervised Fine-Tuning, SFT)은 표준적인 적응 방법이지만, 두 가지 결정적인 한계에 직면해 있습니다:

분포 외(Out-of-Distribution, OOD) 상태의 제한된 커버리지: 정적인 데모는 주로 전문가가 방문한 상태만을 다룹니다. 결과적으로, SFT 정책은 훈련 데이터에 표현되지 않은 상태로 표류할 때 누적되는 오차에 취약합니다.
비효효율적인 데이터 활용: 표준 모방 학습 목적 함수는 모든 데모 샘플을 동일하게 취급하며, 작업 진행을 주도하는 데이터와 하위 수준이거나 중복된 데이터를 구분하지 못합니다.

DAgger나 RECAP과 같은 기존의 상호작용형 사후 학습 방법은 학습자가 방문한 상태에서 전문가에게 질의함으로써 이러한 문제를 해결합니다. 그러나 이러한 접근 방식은 일반적으로 물리적 로봇에서의 반복적인 정책 실행과 인간의 개입을 필요로 합니다. 이러한 의존성은 데이터 수집을 비용이 많이 들게 하고, 운영자 간의 병렬 처리를 어렵게 하며, 장기적 호리즌(long-horizon) 또는 고정밀 작업을 수행하기 어렵게 만듭니다.

방법론: HIL-UMI

저자들은 로봇 없이 정책 가이드 기반으로 수행되는 VLA 사후 학습 프레임워크인 HIL-UMI(Human-in-the-Loop Universal Manipulation Interface)를 제안합니다. 핵심 혁신은 휴대용 핸드헬드 UMI 장치를 사용하여 데이터 수집을 물리적 로봇 배포로부터 분리하는 동시에, 현재 정책을 "섀도 모드(shadow mode)"로 실행하여 불일치를 감지하는 것입니다.

이 프레임워크는 두 가지 뚜렷한 데이터 수집 스트림과 모델 업데이트 단계 사이를 교대로 수행하는 반복적인 라운드로 작동합니다.

1. 로봇 없는 데이터 수집 (Robot-Free Data Collection)

손목 및 3인칭 카메라가 장착된 VR 컨트롤러에 그리퍼가 부착된 핸드헬드 UMI 장치를 사용하여 인간 운영자가 작업을 시연합니다. 동시에, 현재 정책 $\pi_{\theta}$ 는 로봇에 실행하지 않고도 동일한 관측 스트림으로부터 행동을 추론합니다.

정책 OOD 탐지 (Policy Data):
- 시스템은 인간의 행동 궤적 청크 $H_t$ 를 현재 정책의 행동 분포에서 추출한 $N$ 개의 확률적 샘플 $A^{(n)}_t$ 와 비교합니다.
- **에너지 점수(Energy Score, ES)**를 계산하여 인간의 행동과 정책의 예측 분포 사이의 불일치를 측정합니다. 이 점수는 인간의 행동과의 거리와 정책 샘플의 분산(dispersion)을 모두 고려합니다.
- 만약 $ES(H_t)$ 가 임계값 $\tau_P$ 를 초과하면, 해당 상태는 OOD로 표시됩니다. 그러면 운영자는 이 세그먼트에 대해 전체 전문가 데모를 기록합니다. 이 데이터( $D^P_r$ )는 정책의 구체적인 약점(blind spots)을 타겟팅합니다.
어드밴티지 OOD 탐지 (Advantage Data):
- 온라인 어드밴티지 추정기 $f_\psi$ 는 시간적 오프셋 $K$ 만큼 떨어진 관측 쌍 사이의 상대적인 작업 진행도를 예측합니다.
- 예측된 어드밴티지가 보정된 임계값 $\tau_A$ 미만으로 떨어지면(추정기가 진행도를 과소평가하고 있거나 해당 세그먼트가 "어려운 케이스"임을 나타냄), 운영자는 새로운 데모를 기록합니다. 이 데이터( $D^A_r$ )는 어드밴티지 추정기 자체를 정교화하는 데 사용됩니다.

2. 모델 업데이트

어드밴티지 추정기 정교화: 어드밴티지 모델은 과거의 어드밴티지 데이터와 새로 수집된 "어려운" 세그먼트( $D^A_r$ )의 균형 잡힌 혼합물을 사용하여 업데이트됩니다. 훈련 목적 함수는 부호가 있는 작업 진행 목표에 대한 회귀 오차를 최소화하며, 이는 전체 에피소드와 부분 세그먼트 간의 일관성을 보장하기 위해 정규화됩니다.
어드밴티지 조건부 행동 복제 (Advantage-Conditioned Behavioral Cloning, ACBC):
- 업데이트된 어드밴티지 추정기는 기본 데이터셋과 새로 수집된 정책 데이터( $D^P_r$ )의 모든 샘플에 점수를 매깁니다.
- 샘플에는 이진 레이블이 할당됩니다: 예측된 어드밴티지의 상위 $\eta$ 분위에 속하거나 새로 수집된 정책 데이터인 경우 "긍정(positive)", 그렇지 않으면 "부정(negative)"으로 분류됩니다.
- 정책은 이 어드밴티지 레이블이 지정된 혼합물에 대해 행동 복제를 통해 업데이트되며, 이를 통해 모델은 하위 수준의 데이터로부터 학습하면서도 작업 진행을 유도하는 행동을 우선시할 수 있습니다.

주요 기여

로봇 없는 반복적 사후 학습: 저자들은 VLA 사후 학습을 물리적 로봇 밖으로 옮기는 프레임워크를 도입했습니다. UMI를 활용하여 병렬화 가능하고 휴대 가능한 데이터 수집을 실현하고, 선택을 위해 섀도 모드에서 정책을 사용함으로써 정책 개선을 하드웨어 배포 비용으로부터 분리했습니다.
실시간 정책 조건부 OOD 탐지: 수집 과정 중에 인간의 행동 궤적을 정책의 궤적 분포와 실시간으로 비교하는 새로운 방법을 제래합니다. 이는 데이터 수집이 일반적인 커버리지가 아닌, 현재 정책의 구체적인 약점을 타겟팅하도록 보장합니다.
반복적 어드밴티지 정교화 및 ACBC: 이 프레임워크는 데이터의 유용성에 따라 레이블을 지정하기 위해 어드밴티지 모델을 반복적으로 업데이트한 후, 어드밴티지 조건부 행동 복제를 수행하는 워크플로우를 포함합니다. 이를 통해 시스템은 명시적인 보상 신호 없이도 진행 중인 행동과 진행되지 않는 행동을 구분할 수 있습니다.

실험 결과

프레임카 판다(Franka Panda) 로봇 팔을 사용하여 네 가지 실제 작업(Fold Towel, Clean Up Table (장기 호리즌), Stack Cube, Stamp (정밀 조작))에 대해 프레임워크를 평가했습니다.

SFT 대비 성능: 네 가지 작업 모두에서 HIL-UMI는 표준 SFT 베이스라인에 비해 일관된 개선을 보여주었습니다. SFT 성능은 추가 데이터와 함께 정체되거나 퇴보한 반면, HIL-UMI는 꾸준한 이득을 달아내며 여러 작업에서 완벽에 가까운 작업 진행 점수(TPS)에 도달했습니다.
절제 연구(Ablation Studies): 어드挽티지 모델을 제거하고(ACBC를 단순 파인튜닝으로 대체) 수행했을 때 성능이 크게 하락하여, 유용성 기반 데이터 레이블링의 필요성을 확인했습니다. 민감도 분석 결과, 적절한 OOD 탐지 임계값이 커버리지와 선택성 사이의 최적의 균형을 제공함을 보여주었습니다.
HG-DAgger 대비 효율성: "Clean Up Table" 작업에서 HG-DAgger(실제 로봇 상호작용 방식)와 비교했을 때, HIL-UMI는 더 높은 최종 성능(TPS 약 5점 높음)을 달 achievement 했습니다. 결정적으로, HIL-UMI는 물리적 로봇의 실행 및 개입에 따른 지연 시간을 피함으로써 데이터 수집 속도가 5.63배 더 빨랐습니다 (412.99 ms/frame 대비 73.40 ms/frame).

의의 및 주장

본 논문은 HIL-UMI가 다양한 운영자와 장소에서 VLA 사후 학습을 위한 확장 가능한 경로를 제공한다고 주장합니다. 데이터 수집에서 물리적 로봇 실행에 대한 의존성을 제거함으로써, 이 방법은 상호작용 학습의 높은 비용과 물류적 장벽을 해결합니다. 저자들은 이 접근 방식이 범용 사전 학습된 표현과 특정 실제 배포 환경에서의 견고한 폐루프(closed-loop) 행동 사이의 간극을 효과적으로 메운다고 주장하며, 특히 작은 오차가 빠르게 누적되는 장기 호리즌 또는 고정밀 작업에 유용합니다. 이 연구는 향후 분산된 사후 학습 시스템이 반복적인 로봇 배포 없이도 여러 사이트에서 동시에 정책 가이드 데이터를 수집할 수 있는 아키텍처를 활용할 수 있음을 시사합니다.