💻 computer science

Harness VLA: Steering Frozen VLAs into Reliable Manipulation Primitives via Memory-Guided Agents

Harness VLA는 고정된 시각-언어-행동(Vision-Language-Action) 모델을 재시도 가능한 접촉 중심 프리미티브(contact-rich primitives)로 취급하고 이를 고정된 분석적 프리미티브 라이브러리와 결합함으로써, 모델 파인튜닝 없이도 LIBERO-Pro 및 RoboCasa365와 같은 벤치마크에서 상당한 성능 향상을 달로하며 복잡한 조작 작업에서 고정된 시각-언어-행동 모델의 신뢰성을 향상시키는 메모리 증강 에이전트 프레임워크이다.

원저자: Yixian Zhang, Huanming Zhang, Feng Gao, Xiao Li, Zhihao Liu, Chunyang Zhu, Jiaxing Qiu, Yuchen Yan, Jiyuan Liu, Wenhao Tang, Zhengru Fang, Yi Nie, Changxu Wei, Yu Wang, Wenbo Ding, Chao Yu

게시일 2026-07-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yixian Zhang, Huanming Zhang, Feng Gao, Xiao Li, Zhihao Liu, Chunyang Zhu, Jiaxing Qiu, Yuchen Yan, Jiyuan Liu, Wenhao Tang, Zhengru Fang, Yi Nie, Changxu Wei, Yu Wang, Wenbo Ding, Chao Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 특정한 한 가지 일에 있어서는 천재적인, 초지능 로봇 뇌가 있다고 상상해 보세요. 그 일은 바로 이상하게 생긴 물체를 잡거나, 끈적한 손잡이를 돌리거나, 버튼을 누르는 일입니다. 마치 채소를 다듬고 스테이크를 굽는 데 있어서는 세계적인 수준인 전문 셰프와 같습니다. 하지만 만약 이 셰프에게 저녁 파티 전체를 계획하거나, 붐비는 주방을 헤쳐 나가거나, 테이블 위치가 바뀌었을 때 소금이 어디 있는지 찾아내라고 한다면, 그들은 완전히 길을 잃고 말 것입니다. 그들은 특정 테이블 배치에 맞춰 훈련받았기 때문에 소금통을 다듬으려고 시도하거나, 지시 사항이 조금만 바뀌어도 얼어붙어 버릴 수도 있습니다.

이것이 현재의 "시각-언어-행동(Vision-Language-Action, VLA)" 로봇이 가진 문제입니다. 그들은 "접촉(contact)" 부분(만지고 움직이는 것)에는 뛰어나지만, 상황이 엉망이 되거나 달라졌을 때의 "계획(planning)" 부분에는 형편없습니다.

여기에 Harness VLA가 등장합니다. 이것을 새로운 로봇의 뇌라고 생각하지 마세요. 대신 주방 운영을 맡게 된 유능한 프로젝트 매니저라고 생각하세요.

팀워크: 매니저와 전문가

이 새로운 시스템에서 로봇의 뇌(VLA)는 "동결(frozen)" 상태입니다. 즉, 우리는 그것을 다시 훈련시키거나 새로운 기술을 가르치지 않습니다. 그것은 접촉이 많이 필요한 작업에 특화된 전문가로서 그대로 유지됩니다. Harness VLA 시스템은 이 전문가를 둘러싸고 있는 "매니저(AI 에이전트)"를 구축합니다.

이들이 어떻게 협력하는지는 다음과 같습니다:

매니저 (계획가): 이 역할은 보스입니다. 매니저는 작업(예: "우유를 냉장고에 넣어라")을 살펴보고, 방 안을 확인한 뒤, 작업을 작고 논리적인 단계들로 나눕니다. 매니저는 팔을 움직이기 위한 GPS, 그리퍼를 여는 간단한 명령, 혹은 손목을 회전시키는 동작과 같은 작고 고정된 "분석적" 도구들을 사용합니다. 이 도구들은 로봇의 기본적인 반사 신경과 같습니다. 예측 가능하고, 신뢰할 수 있으며, 빈 공간을 이동하는 데 완벽합니다.
전문가 (동결된 VLA): 매니저는 상황이 까다로워질 때만 전문가를 호출합니다. 로봇이 미끄러운 우유 팩을 실제로 잡아야 하거나, 수도꼭지를 돌리거나, 버튼을 눌러야 할 때, 매니저는 "좋아, 전문가, 이제 당신 차례예요!"라고 말합니다. 전문가는 몇 초 동안 마법을 부린 뒤, 제어권을 다시 매니저에게 넘겨줍니다.

핵심 비결: 메모리 노트

진정한 마법은 단순히 팀워크에 있는 것이 아니라, 바로 **메모리(기억)**에 있습니다.

매니저가 두 권의 노트를 가지고 있다고 상상해 보세요:

작업 노트 (The Task Notebook): 로봇이 문제를 한 번 성공적으로 해결하고 나면, 매니저는 수행했던 단계의 순서를 기록합니다. 하지만 여기서 멋진 점은, "x=1.2, y=0.5로 이동하라"와 같은 정확한 좌표를 적는 대신, "빨간색 그릇으로 이동하라"와 같은 논리를 적는다는 것입니다. 이렇게 하면 내일 그릇이 다른 곳에 있더라도, 매니저는 단지 단계를 새로운 위치에 다시 맞추는 방식으로 동일한 계획을 사용할 수 있습니다.
글로벌 노트 (The Global Notebook): 이것은 많은 다양한 작업으로부터 얻은 "경험칙"과 "교훈"의 모음입니다. 여기에는 "그리퍼를 닫았는데 물체가 움직이지 않는다면, 그것은 가짜 잡기이니 다시 시도하라"라거나, "축하하기 전에 반드시 성공 신호를 확인하라"와 같은 메모들이 들어있습니다.

새로운 작업이 들어오면, 매니저는 이 노트들을 확인합니다. 만약 로봇이 실패한다면, 매니저는 그냥 포기하지 않습니다. 매니저는 "실패 규칙"을 읽고, 계획을 수정하고, 로봇의 위치를 재조정하며, 전문가의 도움을 다시 시도합니다. 이는 마치 사람이 자전거 타기를 배우는 것과 같습니다. 넘어지면 무엇이 잘못되었는지 기억하고, 균형을 조절하며, 다시 시도하는 것입니다.

이 시스템이 아닌 것

논문은 이 시스템이 하지 않는 것에 대해서도 매우 명확하게 밝히고 있습니다. 저자들은 다음 두 가지 일반적인 생각에 대해 명시적으로 반박합니다:

이 시스템은 로봇의 뇌를 더 크거나 똑똑하게 만들려고 시도하지 않습니다. 저자들은 모든 것을 수행하는 거대하고 새로운 AI 모델을 훈련시킨 것이 아닙니다. 그들은 뇌를 동결된 상태의 작은 상태로 유지했습니다.
이 시스템은 로봇에게 무한한 새로운 기술 라이브러리를 제공하지 않습니다. 매니저는 즉석에서 새로운 도구를 만들어내지 않습니다. 매니저는 (이동, 회전, 잡기, 놓기)라는 작고 고정된 도구 세트를 사용하며, 이를 완벽하게 조합하는 법을 배웁니다.

논문은 하나의 거대한 AI가 모든 것(계획, 이동, 잡기)을 다 하도록 만드는 것이 오히려 문제라고 주장합니다. 업무를 분리함으로써 시스템은 훨씬 더 신뢰할 수 있게 됩니다.

결과: 효과가 있는가?

저자들은 단순한 탁상 게임부터 복잡한 주방 시뮬레이션에 이르기까지 여러 가상 세계에서 이 시스템을 테스트했습니다. 결과는 매우 인상적이었습니다:

지시 사항이 바뀌거나 물체가 새로운 위치로 옮겨진 환경인 LIBIO-Pro 표준 테스트에서, Harness VLA 시스템은 기존의 가장 뛰어난 방법들보다 38.6 퍼센트 포인트 더 높은 성공률을 보였습니다.
주방 시뮬레이션인 RoboCasa365에서, 성공률을 25.4 퍼센트 포인트 향상시켰습니다.
양팔 로봇 테스트인 RoboTwin에서는 **58.4%**의 성공률에 도달했습니다.

이 논문은 스마트한 매니저가 계획과 메모리를 담당하고, 동결된 "전문가" 뇌를 실제 잡기 작업에만 사용함으로써, 로봇이 이전보다 훨씬 더 잘 현실 세계의 변화에 대처할 수 있음을 보여줍니다. 이는 때때로 슈퍼 로봇을 만드는 최선의 방법이 더 큰 뇌를 주는 것이 아니라, 더 나은 매니저를 주는 것임을 상기시켜 줍니다.

기술 요약: Harness VLA

문제 정의

언어 조건부 로봇 조작(Language-conditioned robotic manipulation)은 정밀한 접촉 기반 제어 능력과 언어, 장면, 그리고 장기적 과업(long-horizon tasks)에 대한 강력한 추론 능력을 모두 갖춘 시스템을 필요로 합니다. 현재의 접근 방식들은 근본적인 트레이드오프에 직면해 있습니다:

엔드 투 엔드 시각-언어-행동(Vision-Language-Action, VLA) 모델: 이 모델들은 국소적인 이미지 조건부 접촉 작업(예: 불규칙한 물체 잡기, 수도꼭지 돌리기)에는 뛰어나지만, 인-디스트리뷰션(in-distribution) 궤적에 대해 학습되었습니다. 따라서 시맨틱 리타겟팅(semantic retargeting), 목표 재바인딩(goal re-binding), 공간 레이아웃 변화, 또는 짧은 기술들을 긴 루틴으로 합성해야 하는 상황과 같은 배포 시의 섭동(perturbations) 하에서는 실패하는 경우가 많습니다. 단 한 번의 불안정한 접촉 실패가 전체 모놀리식 롤아웃(monolithic rollout)을 무너뜨릴 수 있습니다.
LLM 코딩 에이전트: 이 에이전트들은 인지 및 제어 API 상에서 실행 가능한 프로그램을 합성함으로써 강력한 시맨틱 및 구성적 추론 능력을 제공합니다. 그러나 순수하게 분석적인 프리미티브(예: 역기구학 수송, 그리퍼 제어)는 불규칙한 파지, 제한된 배치, 또는 관절형 물체와의 상호작용을 처리하는 데 어려움을 겪습니다. 또한, 이러한 시스템을 확장하려면 스킬 라이브러리를 확장해야 하며, 이 과정에서 에이전트가 새로 생성된 스킬의 안전성과 재사용성을 검증해야 하는 문제가 발생합니다.

핵심 과제는 VLA를 파인튜닝하거나 배포 시점에 프리미티브 어휘를 확장할 필요 없이, VLA의 국소적 시각-운동(visuomotor) 강점과 에이전트의 구성적 추론 능력을 결합하는 것입니다.

방법론: Harness VLA

저자들은 Harness VLA를 제안하며, 이는 고정된 분석적 컨트롤러들의 라이브러리 내에서 동결된(frozen) VLA를 단순한 모놀리식 정책이 아닌, 재시도 가능한 접촉 중심의 프리미티브로 취급하는 메모리 증강 에이전트 프레임워크입니다.

1. 시스템 아키텍처

시스템은 고수준 에이전트 플래너( $\Pi$ )와 물리 엔진 사이의 턴 기반, 자기회귀적(autoregressive) 상호작용을 통해 작동합니다.

고정 프리미티브 라이브러리 ( $\mathcal{P}$ ): 플래너는 고정된 소수의 프리미티브 세트로 제한됩니다. 여기에는 다음이 포함됩니다:
- 분석적 프리미티브 (Analytic Primitives): 비접촉 작업(예: MOVE TO, ROTATE WRIST, SET GRIPPER, NAVIGATE TO)을 위한 결정론적, 모델 기반 컨트롤러입니다. 이들은 자유 공간 수송, 스테이징, 자세 조정 및 해제를 담당합니다.
- VLA 프리미티브 (VLA ACT): 동결된, 사전 학습된 VLA를 캡슐화하는 단일 학습된 프리미티브입니다. 이는 국소적이고 접촉이 풍부한 단계(예: 잡기, 삽입, 고정 장치 작동)에 대해서만 호출됩니다.
메모리 모듈:
- 태스크 특화 메모리 (Task Specific Memory): 참조 시드(reference seed)로부터 얻은 성공적인 프리미티브 구성 트레이스(JSONL 형식)를 저장합니다. 이러한 트레이스는 구체적인 좌표를 기호적 쿼리로 대체하여 파라미터화되며, 이를 통해 새로운 공간 레이아웃에서도 퓨샷 리그라운딩(few-shot re-grounding)이 가능하도록 합니다.
- 글로벌 메모리 (Global Memory): 탐색을 통해 추출된 재사용 가능한 성공 규칙 및 실패 모델(예: "빈 잡기 피하기", "접촉 실패 시 재스테이징")을 저장합니다.

2. 실행 루프

프레임워크는 REPL(Read-Eval-Print Loop) 스타일의 실행을 따릅니다:

탐색적 부트스트래핑 (Exploratory Bootstrapping): 참조 시드 상에서, 플래너는 프리미티브 구성을 반복하며 자율적으로 솔루션을 발견합니다. 실패 시 RESET 프리미티브를 사용하여 재시도합니다. 성공 시, 이를 태스크 특화 메모리로 추상화하고 글로벌 메모리를 위한 휴리스틱을 추출합니다.
배포 평가 (Deployment Evaluation): 보지 못한 섭동(예: 위치 교환, 명령 리다이렉션)이 발생하면, 플래너는 태스크 특화 메모리 트레이스를 검색합니다. 실시간 RGB-D 관측치를 사용하여 트레이스를 동적으로 리그라운딩하고, 알려진 실패 모드를 피하기 위해 글로벌 메모리를 참조합니다. 플래너는 스테이징과 수송을 위해 분석적 프리미티브를 사용하고, 로봇이 접촉에 유리한 국소적 구성에 있을 때만 VLA ACT를 호출하는 시퀀스를 조율합니다.

3. 핵심 설계 원칙

비대칭적 위임 (Asymmetric Delegation): 시맨틱 그라운딩, 장기적 구성, 그리고 장면 수준의 추론은 플래너가 담당합니다. 동결된 VLA는 오직 학습 분포가 유효한 국소적 접촉 작업에 엄격히 예약됩니다.
재시도 가능한 접촉 (Retryable Contact): 플래너는 VLA ACT를 하나의 국소적 시도로 취급합니다. 만약 접촉 단계가 실패하면(예: 불안정한 파지), 플래너는 로봇을 재스테이징(접근 포즈나 뷰포인트 변경)하고 VLA 호출을 재시도할 수 있습니다.
파인튜닝 없음 (No Finetuning): VLA 백본은 동결된 상태를 유지합니다. 시스템은 VLA의 가중치를 업데이트하는 것이 아니라, VLA가 호출되는 시기와 방법을 변경함으로써 VLA의 운용 범위를 확장합니다.

주요 기여

메모리 증강 에이전트 프레임워크: 동결된 VLA를 고정된 라이브러리 내의 프리미티브로 노출함으로써, VLA 파인튜닝이나 어휘 확장 없이도 장기적이고 섭동에 강한 조작을 가능하게 하는 새로운 아키텍처를 제시했습니다.
고정 프리미티브의 경험적 분석: 플래너가 이를 조율하는 법을 배운다면 작은 규모의 고정 프리미티브 라이브러리만으로도 충분하다는 것을 입증했습니다. 반복적인 플래너 스테이징 호출은 취약한 VLA 시도를 재구성할 수 있는 반면, 분석적 프리미티브는 비접촉 구조를 해결합니다.
강력한 벤치마크 성능: 이 프레임워크는 표준 및 심하게 섭동된 벤치마크 전반에서 최첨단(SOTA) 결과를 달성하며, 직접적인 VLA 베이스라인 및 이전의 에이전트 방식들을 크게 앞질렀습니다.

실험 결과

저자들은 LIBERO, LIBERO-Pro, RoboCasa365, RoboTwin C2R의 네 가지 벤치마크 패밀리에 대해 Harness VLA를 평가했습니다.

표준 LIBERO: Harness VLA (Codex 또는 Claude Code 플래너 사용)는 **96.0%**의 총 성공률을 달성하여, 밑단의 동결된 VLA(95.3%)와 경쟁력 있는 성능을 유지하면서도 섭동에 대한 강건성을 확보했습니다.
LIBERO-Pro (섭동 발생): 명령 리다이렉션 및 위치 교환 섭동 하에서, Harness VLA는 가장 강력한 베이스라인인 RATS를 크게 앞질렀습니다.
- Harness VLA (CC): 전체 성공률 82.4%.
- Harness VLA (Codex): 전체 성공률 72.1%.
- RATS (43.8%) 대비 개선: +38.6 퍼센티지 포인트.
- Frozen RLinf 베이스라인 (50.0%) 대비 개선: +32.4 퍼센티지 포인트.
RoboCasa365 (가정용 주방): Harness VLA는 동결된 RLDX-1 베이스라인(30.0%) 대비 55.4%(Codex) 및 48.6%(CC)로 성능을 향상시켰으며, 이는 +25.4 퍼센티지 포인트의 이득입니다.
RoboTwin C2R (양팔 제로샷): 클린-투-랜덤(clean-to-randomized) 전이 설정에서, Harness VLA는 동결된 LingBot-VLA 백엔드(50.4%)의 성공률을 **58.4%**로 높였습니다.

메커니즘 분석:

시맨틱 리그라운딩 (Semantic Re-grounding): 플래너는 태스크 설명을 명시적으로 파싱하고 타겟을 재바인딩하여, 명령이 변경되었을 때 VLA가 학습 시의 행동을 반복하는 것을 방지합니다.
적응형 호출 (Adaptive Invocation): 성공률은 플래너가 스테이징 후 VLA 호출을 재시도하는 첫 몇 번의 과정에서 빠르게 상승하며, 이는 재스테이징 후 접촉 시도를 재시도하는 것이 강건성에 결정적임을 보여줍니다.
역할 분담 (Division of Labor): 분석적 프리미티브가 대부분의 비접촉 수송 및 스테이징(예: LIBERO에서 호출의 84.2%)을 처리하여, VLA를 가장 효과적인 특정 접촉 단계에만 예약합니다.

의의 및 주장

논문은 Harness VLA가 동결된 VLA를 접촉 중심의 시각-운동 제어에 격리할 때 가장 효과적이며, 상위 에이전트가 시맨틱 및 공간적 바인딩을 추상화함으로써 모놀리식 배포에서 흔히 발생하는 치명적인 실패를 방지한다는 것을 보여준다고 주장합니다.

저자들은 자신들의 접근 방식이 매번 새로운 태스크나 환경을 위해 대규모 VLA 모델을 파인튜닝하는 계산 비용 없이도 강건한 조작을 위한 실질적인 경로를 제공한다고 강조합니다. VLA를 "접촉 전문가"로, 에이전트를 "조율자"로 취급함으로써, 시스템은 동결된 모델의 유용성을 분포 외(out-of-distribution) 시나리오까지 확장합니다. 이 연구는 강건성의 핵심이 스킬 라이브러리를 확장하는 데 있는 것이 아니라, 메모리 가이드 구성 및 적응형 재시도 메커니즘을 통해 고정된 프리미티브의 운용 범위를 학습하는 데 있음을 밝힙니다.

한계점: 저자들은 시스템이 플래너와 VLA 사이의 오픈 루프 피드백에 의존하며, 환경 보상을 통한 공동 파인튜닝이 부족하다는 점(RL과의 결래 연계 제안)을 언급했습니다. 또한 매우 혼잡한 장면에 대한 미세한 이미지 캡셔닝의 부재를 한계로 꼽았습니다. 마지막으로, 필요 시 프리미티브 어휘를 확장하기 위해 자동 스킬 발견 시스템(예: ASPIRE)과의 통합을 향후 과제로 제시했습니다.