🤖 AI

Retrieve, Don't Retrain: Extending Vision Language Action Models to New Tasks at Test Time

이 논문은 더 저렴한 형태의 구현체로부터 얻은 시연(demonstrations)을 인덱싱함으로써, 테스트 시점에 고정된(frozen) 시각-언어-행동 모델을 새로운 작업으로 확장하는 검색 증강 접근 방식을 제안하며, 이를 통해 미지의 작업 및 구현체에 대해 우수한 성능을 달상하는 동시에 작업별 미세 조정의 필요성을 제거한다.

원저자: Jeongeun Park, Juhan Park, Taekyung Kim, Sungjoon Choi, Dongyoon Han, Sangdoo Yun

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jeongeun Park, Juhan Park, Taekyung Kim, Sungjoon Choi, Dongyoon Han, Sangdoo Yun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 새로운 일을 배워야 하는 로봇이 있다고 상상해 보세요. 전통적으로 로봇에게 새로운 작업(예: 특정 캐비닛 열기 또는 상자에 병 놓기)을 가르치는 것은 매번 새로운 기술마다 개인 과외 선생님을 고용하는 것과 같습니다. 당신은 다음 과정을 거쳐야 합니다:

로봇의 동작을 직접 기록하기 (시간이 오래 걸리고 비용이 많이 듭니다).
로봇의 뇌를 해당 작업에 맞춰 다시 훈련시키기 (많은 컴퓨터 연산 능력과 시간이 필요합니다).

만약 로봇이 100가지의 서로 다른 작업을 수행하게 하고 싶다면, 이 비싼 훈련 과정을 100번 반복해야 합니다.

이 논문의 핵심 아이디어: "재학습 대신 검색(Retrieval, Don't Retrain)"

이 논문의 저자들은 RECAP이라 불리는 더 똑똑한 방법을 제안합니다. 로봇의 뇌를 매번 다시 훈련시키는 대신, 로봇에게 "더 저렴한" 예시들이 담긴 라이브러리를 주고 그것을 찾아보는 법을 가르칩니다.

작동 방식은 다음과 같습니다 (쉬운 비유를 사용합니다):

1. 두 가지 "형체" (Embodiments)

로보트를 무겁고 서투른 건설 노동자("타겟")라고 상상해 보세요. 이들은 느리고 제어하기 위해 값비싼 장비가 필요하기 때문에 새로운 작업을 시연하게 만드는 것이 어렵습니다.

이제, 민첩한 사람의 손("풀/Pool")을 상상해 보세요. 사람의 동작을 촬영하는 것은 쉽습니다. 사람들은 빠르고, 비용이 적게 들며, 거의 모든 것을 할 수 있습니다.

문제는 사람의 손이 건설 노동자와는 다르게 움직인다는 점입니다. 단순히 노동자에게 "사람을 따라 해"라고 말하면, 팔의 구조가 다르기 때문에 물건을 부술 수도 있습니다.

2. 기존 방식 vs 새로운 방식

기존 방식 (재학습): 새로운 작업을 할 때마다 노동자 옆에 트레이너를 고용하여 시범을 보이게 하고, 그 작업을 수행할 수 있도록 몇 시간 동안 노동자의 뇌를 미세 조정합니다. 이는 느리고 비용이 많이 듭니다.
새로운 방식 (RECAP):
1. 한 번만 훈련하기: 노동자의 뇌에 "사람의 손이 X처럼 움직이면, 너는 Y처럼 움직여라"라는 번역 기술을 딱 한 번 가르칩니다.
2. 뇌를 고정하기: 번역 기술을 배웠다면, 이제 그 뇌를 잠급니다(Freeze). 더 이상의 훈련은 없습니다.
3. 라이브러리 (검색): 다양한 작업을 수행하는 사람의 손 영상이 담긴 라이브러리를 만듭니다.
4. 마법 같은 일: 노동자가 본 적 없는 새로운 작업을 해야 할 때, 우리는 그를 다시 훈련시키지 않습니다. 대신 라이브러리에 물어봅니다. "우리가 이와 유사한 동작을 하는 사람의 영상을 가지고 있는가?"
5. 결과: 노동자는 가장 유사한 사람의 영상을 찾아내고, 그 영상을 보고 자신의 "번역 기술"을 사용하여 동일한 결과를 얻기 위해 어떻게 움직여야 할지 스스로 알아냅니다.

3. "잔차(Residual)" 기법 (비법 소스)

이 논문은 "예측하는 스토리텔러" 역할을 하는 특별한 유형의 AI 모델("World-Action Model")을 사용합니다.

사람의 영상 (계획): 검색된 영상은 로봇에게 "거친 계획(Coarse plan)"을 제공합니다. 즉, "목표는 물체를 여기서 저기로 이동시키는 것이다"라고 알려줍니다.
로봇의 역할 (교정): 로봇은 사람을 똑같이 복제하려고 애쓰지 않습니다. 대신, 사람의 움직임과 자신이 움직여야 하는 방식 사이의 차이(즉, "잔차/Residual")를 계산합니다.
- 비유: 사람이 피루엣(회전) 동작을 하는 무용수라고 가정해 봅시다. 로봇은 지게차입니다. 로봇은 무용수처럼 돌려고 노력하지 않습니다. 대신 무용수의 계획("왼쪽으로 회전하라")을 보고, "알겠다, 나는 그 결과를 얻기 위해 바퀴를 왼쪽으로 돌려야 한다"라고 계산합니다.

이 AI 모델은 단순히 로봇의 다음 동작을 예측하는 것이 아니라, 다음 장면이 어떻게 보일지까지 예측하도록 훈련되었습니다. 이는 "현실 점검" 역할을 합니다. 만약 로봇의 계획이 엉망진창(예: 병을 떨어뜨리는 상황)을 만든다면, 모델이 이를 포착하여 동작을 수정합니다.

4. 연구 결과

연구진은 세 가지 방식으로 테스트를 진행했습니다:

단순한 2D 게임 (PushT): 로봇이 블록을 다양한 각도로 밀도록 했습니다. 라이브러리에 더 많은 사람의 영상을 추가함으로써, 로봇은 추가 훈련 없이도 한 번도 본 적 없는 새로운 각도로 블록을 밀 수 있게 되었습니다.
복잡한 시뮬레이션 (RoboTwin): 두 팔을 가진 로봇이 수행하는 복잡한 작업들을 테스트했습니다. "검색(Retrieval)" 방식이 매번 재학습을 시도하는 다른 방법들보다 우수한 성능을 보였습니다.
실제 로봇: 이를 실제 물리적인 로봇에 적용했습니다. 사람의 영상을 사용하여 하나의 작업(캐비닛 열기)에 대해 뇌를 훈련시킨 후, 뇌를 고정했습니다. 그 후 로봇에게 새로운 작업(캐비닛 닫기, 병 놓기)을 시켰을 때, 라이브러리에 해당 작업의 사람 영상을 추가하기만 하면 로봇은 성공적으로 수행해 냈습니다. 반면 일반적인 로봇은 완전히 실패했습니다.

결론

이 논문은 새로운 일을 할 때마다 로봇의 뇌를 다시 훈련시킬 필요가 없음을 보여줍니다. 대신, "저렴한 사람의 예시"를 "값비싼 로봇의 동작"으로 번역하는 법을 단 한 번만 훈련하면 됩니다. 그 후 새로운 일을 가르치고 싶다면, 그저 라이브러리에 새로운 영상을 추가하기만 하면 됩니다.

이는 로봇 학습을 "매번 새로운 뇌를 만드는 과정"에서 "요리책에서 레시피를 찾아보는 과정"으로 바꾸어 놓았습니다.

기술 요약: 재학습 대신 검색하라 (RECAP)

문제 정의

시각-언어-행동(VLA) 정책을 새로운 작업이나 새로운 로봇 형태(예: 사람의 손에서 특정 로봇 팔로)로 확장하려면 일반적으로 비용이 많이 드는 작업별 원격 조종 데모를 수집하고 작업별 미세 조정(fine-tuning)을 수행해야 합니다. 이 과정은 두 가지 주요 비용을 발생시킵니다:

데이터 수집 비용: 로봇 원격 조종 데이터는 획득 속도가 느리며(사람 손 데모보다 약 18배 느림), 하드웨어에 종속적입니다.
컴퓨팅 비용: 각 새로운 작업을 위해 현대적인 월드-액션 모델(WAM) 또는 대규모 VLA 정책을 미세 조정하는 것은 계산 집약적입니다(예: Cosmos Policy의 경우 작업당 약 24 GPU-시간 소요). 이는 모델 크기와 컨텍스트 길이에 따라 규모가 커집니다.

저자들은 이러한 작업별 적응 비용을 피할 수 있다고 주장합니다. 대신, 저렴하고 데이터가 풍부한 소스(즉, "풀(pool)" 형태의 구현체, 예: 사람의 손)로부터 얻은 행동 지식을 타겟 구현체(즉, "쿼리(query)")로 전달할 수 있습니다.

방법론: RECAP

본 논문은 매개변수 최적화에서 데이터 검색으로 적응 방식을 전환하는 프레임워크인 RECAP(Retrieval-Conditioned Action Policy)을 제안합니다. 핵심 전제는 구현체 간에 실행 역학(dynamics)은 다를 수 있지만, 작업의 고수준 요구 사항에는 대체로 일치한다는 것입니다.

1. 학습 단계 (Training Phase)

백본(Backbone): 이 방법은 액션과 미래의 시각적 관측치를 하나의 디노이징된 비디오 시퀀스로 취급하는 월드-액션 모델(WAM), 구체적으로 Cosmos Policy를 활용합니다.
검색 증강 조건화(Retrieval-Augmented Conditioning): 정책은 쿼리(타겟 로봇)와 풀(예: 사람의 손) 구현체의 쌍을 이루는 데모를 통해 한 번만 학습됩니다.
잔차 매개변수화(Residual Parameterization): 정책은 전체 액션 시퀀스를 예측하는 대신, 검색된 풀 궤적 위에 잔차( $\Delta a$ $Δ a$ )를 예측합니다.
- $\hat{a}^{query} = a^{pool}_{retrieved} + \Delta a$
- 이를 통해 모델은 전체 움직임 계획이 아니라 구현체 특유의 교정 사항(역학, 접촉 기하학)만을 학습하도록 강제됩니다.
결합 목적 함수(Joint Objective): 모델은 예측된 액션과 예측된 미래 상태(이미지)를 공동으로 감독하는 플로우 매칭(flow-matching) 손실을 사용하여 학습됩니다. 미래 이미지 목적 함수는 시각적 일관성 신호로서 작용하여, 검색된 궤적이 타겟 로봇 상의 물리적 장면 진화와 일치하도록 보장합니다.

2. 테스트 시점 적응 (Test-Time Adaptation / Inference)

동결된 정책 (Frozen Policy): 일단 학습되면 정책 매개변수는 고정됩니다. 새로운 작업을 위한 그래디언트 업데이트는 발생하지 않습니다.
동적 검색 풀 (Dynamic Retrieval Pool): 새로운 작업은 관련 있는 풀 구현체 데모(예: 사람 영상)를 검색 풀에 추가함으로써 처리됩니다.
단계별 검색 (Step-by-Step Retrieval): 매 제어 단계 $t$ $t$ 마다 시스템은 다음을 수행합니다:
1. 현재 쿼리 상태 $s^{query}_t$ 를 관찰합니다.
2. 복합 디스크립터(언어 목표, 오브젝트 포즈, 고유 수용 감각, 시각적 특징)를 기반으로 풀 데이터베이스에서 가장 유사한 상태-액션 청크 $(s^{pool}_{t':t'+H}, a^{pool}_{t':t'+H})$ 를 검색합니다.
3. 현재 관측값과 검색된 청크를 동결된 정책에 입력합니다.
4. 정책은 검색된 고수준 계획을 조건으로 하여 타겟 로봇을 위한 다음 액션 청크를 출력합니다.

주요 기여

테스트 시점 적응 패러다임: 저렴한 풀 구현체 데모를 통해 검색 풀을 확장함으로써, 정책을 동결한 채 테스트 시점에 완전히 새로운 작업에 적응하는 방법을 제시했습니다.
WAM 기반의 검색 조건 잔차 정책: 검색이 거친(coarse) 고수준 움직임을 제공하고, WAM이 구현체 특유의 미세한(fine) 역학 교정을 학습하는 특정 아키텍처를 제안했습니다. 저자들은 WAM의 미래 이미지 예측 목적 함수가 검색 조건부 액션을 강화하는 시각적 정렬 신호를 제공하여 독특하게 유익하다고 강조합니다.
실증적 검증: 세 가지 설정에서 교차 구현체 베이스라인 대비 일관된 성능 향상을 입증했습니다:
- PushT (2D): 보지 못한 목표 각도에 대한 일반화.
- RoboTwin 2.0 (시뮬레이션): 멀티 태스크, 듀얼 암 조작.
- 실제 로봇: 사람의 손 영상에서 물리적 로봇 팔로의 전이.

실험 결과

PushT 벤치마크 (교차 구현체 일반화)

설정: $\pm 45^\circ$ 각도에서 학습된 삼각형 푸셔(타겟)를 사용하며, 9개의 각도(7개는 미학습)에서 평가했습니다. 풀은 디스크 푸셔 데모로 구성되었습니다.
결과:
- 풀 진행도: 테스트 시점에 검색 풀을 확장하면 재학습 없이도 미학습 각도에 대한 성공률이 단조 증가하여, 6.0%(검색 없음)에서 34.9%(전체 풀)까지 상승했습니다.
- 백본 비교: 검색은 표준 VLA( $\pi0.5$ )와 WAM(Cosmos) 백본 모두를 개선했지만, WAM에서의 이득이 훨씬 더 컸습니다(25.1% vs 34.9%). 이는 검색과 미래 이미지 목적 함수 사이의 시너지를 확인시켜 줍니다.
- 메커니즘: 어텐션 분석 결과, 정책은 초기 레이어에서 검색된 궤적에 주목하고, 후기 레이어에서 타겟 역학에 맞춰 계획을 적응시키는 것을 보여주었습니다.

RoboTwin 2.0 시뮬레이션

설정: 타겟(Aloha-Agilex) 대 풀(UR5). 5개의 쌍을 이룬 작업으로 학습하고, 5개의 미학습 작업으로 평가했습니다.
결과:
- 성능: RECAP은 미학습 작업에서 **31.5%**의 성공률을 달ы하여, 가장 강력한 베이스라인인 (검색 없는) Cosmos Policy(26.0%)와 "검색 전용"(단순 실행)(26.0%)을 능가했습니다.
- 풀 성장: 성공률은 풀이 11개에서 35개 작업으로 늘어남에 따라 단조 증가하여, 전체 풀에서 31.5%에 도달했습니다.
- 질적 분석: "hand-over-mic"과 같은 작업에서 단순 검색은 충돌이 발생하며 실패했지만, RECAP은 파지 방향을 성공적으로 조정했습니다.

실제 로봇 실험

설정: "캐비닛 열기"(25개의 쌍 데모)로 학습된 타겟 로봇. 홀드아웃(held-out) 작업인 "병 놓기" 및 "캐비닛 닫기"로 평가했습니다.
결과:
- 베이스라인(열기 작업만 학습)은 홀드아웃 작업에서 학습된 궤적을 반복 재생할 뿐, 실패했습니다(성공률 0% 및 10%).
- RECA는 새로운 작업당 10개의 사람 손 데모를 풀에 추가하는 것만으로도, 병 놓기에서 80%, 캐비닛 닫기에서 **30%**의 성공률을 달성했습니다.

의의 및 주장

본 논문은 배포 시점에 더 저렴한 풀 구현체 데이터를 인덱싱하는 것이 새로운 타겟 로봇 데모를 수집하는 것을 대신할 수 있다고 주장합니다.

비용 절감: 이 방법은 작업당 약 24 GPU-시간이 소요되는 미세 조정 비용과 18배 더 느린 원격 조업 비용을 검색 과정으로 대체합니다.
확장성: 정책을 동결함으로써, 시스템은 단순히 검색 풀에 데이터를 추가하는 것만으로 새로운 작업을 흡수할 수 있어 전통적인 미세 조정의 누적되는 비용을 피할 수 있습니다.
WAM과의 시너지: 본 연구는 월드-액션 모델이 검색과 결합될 때, 한 구현체의 "거친(coarse)" 계획을 활용하여 다른 구현체의 "미세한(fine)" 역학을 효과적으로 학습할 수 있음을 보여줍니다. 이는 표준 액션 전용 정책이 갖지 못한 능력입니다.

저자들은 한계점도 인정했습니다. 이 방법은 공유된 액션 공간(예: 엔드 이펙터 포즈)이 필요하며, 현재의 검색 디스크립터(언어, 포즈, 시각 결합)는 더 복잡하거나 시간적으로 불일치하는 시나리오를 위해 추가적인 개선이 필요할 수 있습니다. 그러나 결과는 재학습이 아닌 검색을 통해 적응하는 범용 로봇 정책을 향한 유망한 경로를 제시합니다.