💻 computer science

Agentic-VLA: Efficient Online Adaptation for Vision-Language-Action Models

Agentic-VLA 는 적응형 보상 합성, 언어 유도 탐색, 경험 기억을 활용하여 로봇 조작 벤치마크에서 일반화, 샘플 효율성, 그리고 작업 간 전이를 크게 향상시키는 비전-언어-동작 모델을 위한 효율적인 온라인 적응 프레임워크입니다.

원저자: Ruofan Jin, Zaixi Zhang

게시일 2026-05-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ruofan Jin, Zaixi Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 스토브 냄비를 사용하여 특정 종류의 커피를 만드는 것과 같이 복잡한 요리를 가르치려 한다고 상상해 보세요. 과거에는 로봇에게 수백 번에 걸쳐 단계별로 정확히 어떻게 해야 하는지 보여줘야 했습니다. 로봇이 냄비를 떨어뜨리거나 스토브가 약간 다른 위치에 있으면, 로봇은 혼란을 겪고 완전히 실패했습니다. 이는 특정 시험의 정답을 외운 학생이 숫자가 조금만 바뀌어도 유사한 문제를 해결하지 못하는 것과 같았습니다.

이 논문은 Agentic-VLA를 소개합니다. 이는 경직된 학생처럼 행동하는 것이 아니라 도움이 되는 멘토를 둔 현명한 견습생처럼 행동하는 로봇 훈련의 새로운 방식입니다. 단순히 보이는 것을 모방하는 대신, 이 시스템은 배우는 법을 배웁니다.

다음은 이를 세 가지 간단한"초능력"으로 분해한 작동 원리입니다:

1. 현명한 코치 (적응형 보상 합성)

문제: 일반적으로 로봇은 작업이 끝날 때쯤에야"잘했어!"또는"다시 해봐!"라는 피드백만 받습니다. 작업이 길다면 (예: 요리하기), 로봇은 정확히 어느 단계에서 실수했는지 알 수 없습니다.
해결책: Agentic-VLA 는 큰 목표를 작고 관리 가능한 단계로 나누는 코치처럼 행동합니다.

비유: 자전거 타기를 배운다고 상상해 보세요. 나쁜 코치는"경주에 실패했어"라고만 말합니다. 현명한 코치는"평지에서 균형을 잡는 건 훌륭해! 이제 왼쪽으로 돌아보자. 약간 흔들렸으니 그 부분에 집중하자"라고 말합니다.
작동 원리: 시스템은"커피 만들기"와 같은 복잡한 작업을"스토브 찾기", "켜기", "냄비 찾기"와 같은 작은 하위 목표로 자동으로 분해합니다. 그런 다음 로봇을 관찰합니다. 로봇이 이미 스토브 찾기에 능숙하다면, 코치는 그 부분에 대한 점수 부여를 중단하고 로봇이 어려움을 겪는 부분 (예: 냄비 놓기) 에 집중합니다. 로봇이 나아질수록만 더 어려워지는 맞춤형"커리큘럼"을 생성합니다.

2. 도움이 되는 안내자 (언어 기반 탐색)

문제: 로봇이 스스로 학습하려고 할 때, 종종 음을 맞추길 바라며 피아노 건반을 두드리는 유아처럼 무작위로 허우적거리곤 합니다. 이는 시간과 에너지를 많이 낭비합니다.
해결책: 무작위 추측 대신 로봇은 평범한 영어로 힌트를 받습니다.

비유: messy 한 방에 숨겨진 열쇠를 찾으려 한다고 상상해 보세요. 무작위 탐색은 모든 러그 아래와 모든 서랍을 맹목적으로 뒤지는 것입니다."언어 기반"탐색은 친구가 속삭이는 것과 같습니다."hey, 너는 잘못된 각도에서 찾고 있는 것 같아; 테이블 왼쪽을 확인해 봐."
작동 원리: 특수한"비평가 (Critic)"모델이 로봇의 행동을 관찰하고"왼쪽에서 접근해 보라"또는"더 나은 안정성을 위해 중앙을 잡으라"와 같은 자연어 형태의 구체적인 변경 사항을 제안합니다. 이는 로봇이 무작위 시행착오보다 훨씬 빠르게 좋은 전략을 발견하도록 돕습니다.

3. 기억책 (경험 기억)

문제: 로봇이 서랍을 여는 법을 배운다면, 움직임이 비슷함에도 불구하고 캐비닛을 여는 법을 배울 때는 보통 처음부터 다시 시작해야 합니다.
해결책: 로봇은 과거의 성공 사례를 담은"도서관"을 유지합니다.

비유: 양파를 다지는 법을 배운 요리사를 생각해 보세요. 마늘을 다져야 할 때, 그들은 처음부터 시작하지 않습니다."나이프를 잡는 법을 알고 있고 동작도 비슷해"라고 기억해 내죠.
작동 원리: 로봇이 새로운 작업을 마주치면, 이미 배운 유사한 작업을 찾기 위해 기억책을 살펴봅니다. 빈 종이를 가지고 시작하는 대신, 유사한 작업의 기술로"워밍업"을 합니다. 이를 통해 로봇은 훨씬 빠르게 새로운 것을 배울 수 있습니다.

결과: 무엇을 발견했나요?

연구진은 LIBERO(로봇 조작 작업 세트로 구성됨) 라는 벤치마크와 RoboTwin이라는 양팔 로봇 테스트에서 이 새로운 시스템을 테스트했습니다. 결과는 다음과 같습니다:

긴 작업: 로봇은 이전 방법들에 비해 길고 다단계 작업 완수율이 12.3% 향상되었습니다.
한 번의 예제로 학습: 로봇이 작업을 한 번만 본 후 학습을 시도하는"원샷 (one-shot)"테스트에서 28.5% 개선되었습니다. 매우 적은 데이터로도 훨씬 빠르게 학습할 수 있었습니다.
제로에서 히어로까지: 새로운 작업에 대한 구체적인 예시 없이도 로봇은 약 **31%**의 확률로 수행 방법을 알아냈으며, 이전 방법들은 100% 실패했습니다.
속도: 이 시스템은 다른 온라인 학습 방법들보다 2.4 배 빠르게 학습하여, 작업을 잘 수행하기 위해 훨씬 적은 시도가 필요했습니다.

요약

Agentic-VLA는 로봇을 더 똑똑한 학습자로 만드는 프레임워크입니다. 단순히 인간이 작업을 수행하는 비디오를 외우는 대신, 작업을 분해하는 현명한 코치, 언어 기반 힌트를 제공하는 도움이 되는 안내자, 그리고 과거 기술을 재사용하는 기억책을 활용합니다. 이를 통해 로봇은 새로운 환경에 빠르게 적응하고, 이전보다 훨씬 적은 데이터와 시간으로 복잡한 작업을 학습할 수 있습니다.

기술 요약: Agentic-VLA: 비전-언어-행동 모델을 위한 효율적인 온라인 적응

1. 문제 제기

비전 - 언어 - 행동 (VLA) 모델은 사전 훈련된 비전 - 언어 표현을 활용하여 지시를 해석하고 행동을 생성함으로써 로봇 조작 기술을 발전시켜 왔습니다. 그러나 현재 VLA 훈련 패러다임은 실제 세계 배포를 방해하는 두 가지 치명적인 한계에 직면해 있습니다:

낮은 일반화 능력: 전문가 시연에 대한 지도 미세 조정 (SFT) 을 통해 훈련된 모델은 작업의 근본적인 의미론을 학습하기보다 특정 궤적을 암기하는 경향이 있습니다. 결과적으로, 배포 조건이 훈련 분포와 약간만 벗어나도 취약한 성능을 보이며, 오류 복구나 적응적 재계획을 위한 메커니즘이 부족합니다.
낮은 훈련 효율성: 현재 방법론은 작업당 수백 개의 시연이 필요하며, 데이터 수집 비용은 작업 수에 비례하여 선형적으로 증가합니다. 이로 인해 범용 로봇에 필요한 다양한 작업 범위로 확장하는 것은 비현실적입니다.

최근 연구들은 강화 학습 (RL) 을 사용한 온라인 적응을 탐구해 왔으나, 노이즈가 많은 보상 신호에 대한 의존성, 고차원 행동 공간에서의 비효율적인 무작위 탐색, 그리고 관련 작업 간 지식 이전의 불가능성으로 인해 어려움을 겪고 있습니다.

2. 방법론: Agentic-VLA 프레임워크

Agentic-VLA는 학습 과정 자체를 지능적이고 조율된 시스템으로 재해석하는 에이전트 기반 훈련 프레임워크를 제안합니다. 보상 설계, 탐색, 지식 이전을 고정된 절차로 취급하는 대신, 이 프레임워크는 현재 학습 상태에 따라 이러한 구성 요소를 능동적으로 관리하도록 학습된 에이전트를 활용합니다. 이 프레임워크는 세 가지 시너지 혁신을 통합합니다:

2.1 적응형 보상 합성 (ARS)

오라클 보상 신호의 부재를 해결하기 위해, ARS 는 VLA 의 현재 능력에 맞춰 보상 함수를 동적으로 생성하고 조정합니다.

작업 분해: 언어 모델은 복잡한 장기 지시 ( $l_{task}$ ) 를 일련의 중간 하위 목표 ( $G = \{g_1, \dots, g_K\}$ ) 로 분해합니다.
능력 인식 가중치 부여: 시스템은 각 하위 목표에 대한 VLA 의 숙련도 ( $\hat{c}_k$ ) 를 최근 성공률의 지수 이동 평균으로 계산하여 유지합니다. 하위 목표의 보상 가중치는 $w_k = 1 - \hat{c}_k$ 로 정의됩니다. 이는 자연스러운 커리큘럼을 생성합니다: 에이전트가 어려움을 겪는 하위 목표는 집중 학습을 장려하기 위해 높은 가중치를 받고, 숙달된 하위 목표는 감소된 가중치를 받습니다.
밀집된 진행 보상: 학습된 비평가 모델 ( $C_\phi$ ) 은 각 하위 목표에 대한 밀집된 진행 추정치 ( $\Delta_k$ ) 를 제공합니다. 총 보상은 이러한 진행 신호의 가중 합이며, 피드백이 에이전트의 현재 학습 프론티어에 집중되도록 보장합니다.

2.2 언어 유도 탐색 (LGE)

고차원 행동 공간에서 무작위 샘플링의 비효율성을 극복하기 위해, LGE 는 맹목적인 시행착오를 구조화된 탐색으로 대체합니다.

VLM 기반 비평가: 사전 훈련된 비전 - 언어 모델 (VLM) 이 탐색 비평가 역할을 수행합니다. 현재 시각 관찰, 작업 지시, 궤적 컨텍스트를 기반으로 VLM 은 행동 방향을 제시하는 자연어 제안 (예: "왼쪽에서 접근") 을 생성합니다.
프롬프트 증강 생성: 이러한 제안들은 작업 지시와 연결되어 VLA 의 행동 분포를 유망한 행동 쪽으로 편향시키면서도 확률성을 유지합니다.
적응형 빈도: 제안의 빈도는 학습 진행 상황에 따라 동적으로 조정되어, 훈련 초기에는 빈번한 지침을 제공하고 정책이 자율성을 얻음에 따라 이를 줄입니다.

2.3 경험 메모리 (EM)

작업 간 지식 이전을 가능하게 하기 위해, EM 은 작업 임베딩으로 색인된 적응된 정책 가중치의 메모리 뱅크를 유지합니다.

웜스타트 검색: 새로운 작업을 접할 때, 시스템은 작업 임베딩을 계산하고 이전에 학습된 $k$ 개의 가장 유사한 작업을 검색합니다.
가중치 보간: 초기 정책 매개변수는 검색된 정책 가중치의 가중 조합으로 계산됩니다. 이는 처음부터 학습하는 대신 관련 작업에서 학습을 가속화하는 "웜스타트"를 제공합니다.
용량 관리: 메모리 뱅크는 성공적인 적응으로 업데이트되며, 다양하고 고품질의 항목을 우선시하도록 관리됩니다.

훈련 루프는 정책 업데이트를 위해 GRPO(그룹 상대 정책 최적화) 를 활용하며, 이러한 구성 요소를 통합된 온라인 적응 사이클에 통합합니다.

3. 주요 기여

에이전트 프레임워크: 적응형 보상 합성, 언어 유도 탐색, 경험 메모리를 통합한 최초의 VLA 온라인 적응 에이전트 프레임워크.
적응형 보상 메커니즘: 복잡한 작업을 자동으로 분해하고 실시간 학습 진행에 따라 보상 세분화를 조정하여 능력 인식 커리큘럼을 효과적으로 구현하는 새로운 메커니즘.
구조화된 탐색: 언어 유도 탐색이 체계적이고 목표 지향적인 전략 발견을 가능하게 함으로써 샘플 효율성을 크게 향상시킨다는 증명.
작업 간 이전: 경험 메모리가 효과적인 이전을 가능하게 하여, 작업별 시연 없이도 비자명한 성공률을 달성한다는 증거.
최첨단 성능: 여러 지표와 벤치마크에서 상당한 개선을 보여주는 광범위한 실험.

4. 실험 결과

이 프레임워크는 LIBERO 벤치마크 (네 가지 작업 스위트: Spatial, Object, Goal, Long) 와 듀얼 암 RoboTwin 2.0 벤치마크에서 평가되었습니다.

전체 성능: Agentic-VLA 는 LIBERO 에서 **97.8%**의 최첨단 평균 성공률을 달성하여, 이전 최고의 RL 방법 (EVOLVE-VLA) 보다 +2.0% 더 높았고, SFT 기준선보다 +8.6% 더 높았습니다.
장기 작업: 가장 큰 개선은 LIBERO-Long 작업에서 관찰되었으며, 적응형 보상 합성과 커리큘럼 학습에 기인하여 SFT 기준선 대비 **+12.3%**의 향상을 보였습니다.
원샷 학습: 작업당 하나의 시연만 있는 저데이터 환경에서 Agentic-VLA 는 **70.5%**의 성공률을 달성하여, SFT 기준선 대비 +28.5%, EVOLVE-VLA 대비 **+9.2%**의 개선을 보였습니다.
작업 간 일반화: 작업별 시연 없이 Agentic-VLA 는 LIBERO-Long 훈련 후 LIBERO-Object 스위트에서 작업 간 이전 성공률을 0% (직접 이전) 에서 **31.2%**로 향상시켰습니다.
훈련 효율성: 이 프레임워크는 기존 온라인 적응 방법 대비 2.4 배 빠른 수렴을 보여주어, 700 회 반복에서 90% 성공률에 도달한 반면 EVOLVE-VLA 는 1,680 회가 필요했습니다. 기준선 대비 53.8k 롤아웃이 필요한 것과 달리 22.4k 롤아웃만 필요했습니다.
RoboTwin 2.0: 이 프레임워크는 특히 무작위화된 "Hard" 설정 하에서 듀얼 암 RoboTwin 2.0 벤치마크에서 그 우위를 유지하여, $\pi_0$ 의 16.3% 와 RDT 의 13.7% 에 비해 서브셋 평균 **34.7%**를 달성했습니다.

Ablation 연구는 각 구성 요소 (ARS, LGE, EM) 가 시너지적으로 기여함을 확인했습니다. 어떤 구성 요소를 제거하더라도 성능 저하와 훈련 반복 횟수 증가가 발생했습니다. 대체 커리큘럼 (균일 가중치, 고정 스케줄) 과 탐색 보너스 (RND, ICM) 에 대한 통제 비교는 Agentic-VLA 의 특정 설계 선택이 성과 향상의 원인임을 확인시켰습니다.

5. 중요성과 주장

저자들은 Agentic-VLA 가 배포 중 지속적인 학습이 가능한 진정한 적응형 VLA 시스템으로 나아가는 중요한 단계라고 주장합니다. 정적 모방 학습에서 에이전트 기반 온라인 적응 과정으로 전환함으로써, 이 프레임워크는 현재 VLA 모델의 근본적인 취약성과 데이터 비효율성을 해결합니다.

이 논문은该系统이 오류 복구 (미끄러짐 후 자율적으로 재조정), 적응형 객체 처리 (이동된 객체에 맞춰 궤적 조정), 새로운 전략 발견 (시연에 없는 조작 전략 발견) 과 같은 창발적 능력을 가능하게 한다고 강조합니다.

보상 해킹, 메모리 확장성, 구성 요소가 풍부한 시스템을 물리적 로봇에 배포하는 어려움과 같은 한계를 인정하면서도, 저자들은 Agentic-VLA 를 다양하고 변화하는 실제 환경에서 효과적으로 작동할 수 있는 견고한 범용 로봇 학습을 위한 기초적인 단계로 위치시킵니다.