🤖 AI

CRL-VLA: Continual Vision-Language-Action Learning

이 논문은 비전-언어-행동(Vision-Language-Action) 모델의 평생 로봇 학습을 위한 지속적인 사후 학습 과정에서 안정성과 가소성을 효과적으로 균형 있게 조절하기 위해, 목표 조건부 가치 정식화(Goal-Conditioned Value Formulation)를 갖춘 비대칭 이중 비평가 구조를 채택한 이론적 근거를 갖춘 프레임워크인 CRL-VLA를 소개한다.

원저자: Qixin Zeng, Shuo Zhang, Hongyin Zhang, Renjie Wang, Han Zhao, Libang Zhao, Runze Li, Donglin Wang, Chao Huang

게시일 2026-02-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qixin Zeng, Shuo Zhang, Hongyin Zhang, Renjie Wang, Han Zhao, Libang Zhao, Runze Li, Donglin Wang, Chao Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 완벽한 오믈렛을 만드는 법과 같은 특정 요리법을 배웠다고 상상해 보세요. 이제 당신은 이 로봇에게 케이크를 굽는 법을 가르치고 싶습니다. 문제는 로봇이 새로운 레시피를 배우는 동안, 오믈렛을 만들기 위해 달걀을 깨는 법을 잊어버리기 시작할 수도 있다는 점입니다. 이것이 바로 **안정성(Stability) 대 가소성(Plasticity)**의 딜레마입니다: 안정성은 기존의 기술을 기억하는 것을 의미하며, 가소성은 새로운 것을 배울 수 있는 유연함을 갖추는 것을 의미합니다.

이 논문은 로봇이 눈(시각)과 언어(지시 사항)를 사용하여 팔을 움직이는(동작) 문제를 해결하기 위해 CRL-VLA라는 새로운 시스템을 소개합니다.

논문의 내용을 쉬운 비유를 들어 설명하면 다음과 같습니다.

1. 핵심 문제: "망각"의 함정

현재 대부분의 방법은 다음과 같은 방식으로 로봇이 잊어버리는 것을 막으려 합니다:

뇌의 일부를 얼리기(Freezing): 팔에 깁스를 하여 움직이지 못하게 하는 것과 같습니다. 이는 새로운 것을 배우는 것을 방해합니다.
옛날 책 다시 읽기(Re-reading old books): 로봇에게 예전 작업들을 계속 반복해서 연습하게 만드는 것입니다. 이는 속도가 느리고, 기존의 지시와 새로운 지시가 서로 뒤섞이는 경우가 많습니다.

저자들은 망각을 일으키는 진짜 원인이 **"이득 크기(Advantage Magnitude)"**라고 불리는 요소임을 발견했습니다. 이것은 로봇의 내부적인 "자신감 측정기" 또는 "흥분도"라고 생각할 수 있는데, 새로운 동작이 기존의 동작보다 얼마나 더 나은지에 대한 정도를 나타냅니다.

만약 로봇이 기존 작업을 수행하는 동안 새로운 작업에 대해 너무 과하게 흥분하면, 기존의 기억을 덮어써 버립니다 (망각).
반대로 너무 조심스러우면, 새로운 작업을 배울 수 없습니다 (정체).

2. 해결책: "이중 코치" 시스템

CRL-VLA는 **이중 비평가 구조(Dual-Critic Architecture)**를 사용하여 이 문제를 해결합니다. 로봇에게 두 명의 코치가 조언을 해주는데, 두 코치의 역할은 매우 다릅니다.

코치 1: 얼어붙은 닻 (사서 - The Librarian)
- 이 코치는 로봇이 이전 작업을 배운 후 얼어붙은(frozen) 상태가 됩니다.
- 이 코치의 역할은 "과거의 진실"을 붙잡고 있는 것입니다. 기존의 동작들이 얼마나 가치 있었는지를 정확히 기억합니다.
- 로봇이 새로운 작업을 배우려고 할 때, 이 코치는 "잠깐, 기존 레시피를 위해 발걸음을 너무 많이 바꾸지 마. 발을 단단히 고정해"라고 말합니다. 이는 안정성을 보장합니다.
코치 2: 학습 가능한 추정기 (탐험가 - The Explorer)
- 이 코치는 유연하며 실시간으로 학습합니다.
- 이 코치의 역할은 새로운 작업을 보고 "좋아, 이 새로운 케이크 레시피를 위해서는 이 새로운 동작이 얼마나 더 나은지"를 판단하는 것입니다.
- 이 코치는 실제 보상(reward)을 바탕으로 훈련되기 때문에, 자연스럽게 안전한 범위 내에 머무를 수 있습니다. 이를 통해 로로봇은 기존의 것을 망가뜨리지 않고 새로운 기술을 배울 수 있습니다. 이는 가소성을 보장합니다.

3. 비법: "비대칭 규제(Asymmetric Regulation)"

이 논문의 핵심 통찰은 오래된 작업과 새로운 작업을 동일하게 취급해서는 안 된다는 것입니다. 우리는 비대칭 규제가 필요합니다:

오래된 작업의 경우: 로봇의 "흥분도(이득)"가 변하는 정도를 엄격하게 제한합니다. 로봇이 "사서"의 기억에 가깝게 유지하도록 강제합니다.
새로운 작업의 경우: 로봇이 성장하도록 허용하되, 환경의 자연스러운 경계 내에 머물게 합니다.

이것은 마치 정원과 같습니다:

오래된 식물들(기존 기술)은 유리 케이스 안에 있습니다. 식물이 멋대로 자라지 못하게 하며, 원래 모습 그대로 유지하여 죽지 않도록 합니다.
새로운 식물들(새로운 기술)은 노출된 흙 속에 있습니다. 식물이 높고 튼튼하게 자라도록 허용하되, 유리 케이스를 부술 정도로 커지지는 않도록 관리합니다.

4. 실제 작동 방식

이 시스템은 로봇의 동작을 듣고 있는 언어 지시(예: "그릇을 집어라")와 연결하는 특별한 수학 공식("목표 조건부 가치 공식")을 사용합니다.

시스템은 확인합니다: "내가 이 새로운 동작을 한다면, 기존의 오래된 작업을 수행하는 방식과 비교했을 때 어떠한가?"
만약 그 차이가 너무 크다면, "얼어붙은 코치"가 로봇을 다시 끌어당깁니다.
만약 그 차이가 새로운 작업에 적절하다면, "학습 가능한 코치"가 진행하도록 허용합니다.

5. 결과

저자들은 로봇이 언어 명령에 따라 물건을 집거나 특정 위치에 놓는 등의 다양한 작업을 수행하는 LIBERO 벤치마크를 통해 테스트를 진행했습니다.

결과: CRL-VLA는 다른 방법들과 비교했을 때, 기존 작업을 기억하는 능력(망각 감소)과 새로운 작업을 배우는 능력(적응 속도 향상) 모두에서 뛰어난 성능을 보였습니다.
시사점: 과거를 위한 엄격한 기억 관리자와 미래를 위한 유연한 가이드라는 두 가지 서로 다른 "코치"를 사용하여, 로봇이 이전의 기술을 잃지 않으면서도 지속적으로 학습할 수 있도록 하는 것입니다.

요약하자면, CRL-VLA는 과거를 위한 엄격한 기억 관리자와 미래를 위한 유연한 가이드를 제공함으로써, 로봇이 케이크 굽는 법을 배우는 동안에도 오믈렛 만드는 법을 절대 잊지 않도록 가르칩니다.

기술 요약: CRL-VLA

문제 정의

본 논문은 개방형 세계 로봇 환경에서 시각-언어-행동(Vision-Language-Action, VLA) 모델을 위한 **연속 강화 학습(Continual Reinforcement Learning, CRL)**의 과제를 다룹니니다. RL 사후 학습(post-training)은 복잡한 조작 작업에 VLA 모델을 정렬하는 데 효과적임이 입증되었으나, 비정상적(non-stationary)인 태스크 스트림 전반에서 이러한 적응성을 유지하기 위해서는 안정성(기존에 학습된 기술 유지)과 가소성(새로운 기술 습득) 사이의 균형을 맞추는 것이 필요합니다.

기존의 CRL 방법론들은 대규모 멀티모달 VLA 아키텍처에 적용될 때 다음과 같은 심각한 한계에 직면합니다:

경험 재생(Experience Replay): 오래된 전이(transitions)를 재사용하면 그래디언트가 새로운 태스크와 충돌하여 학습을 불안정하게 만드는 오프 폴리시(off-policy) 오류를 유발할 수 있습니다.
2차 정규화(Second-order Regularization): Fisher 정보와 같은 방법은 고차원 트랜스포머(Transformer) 모델에 적용하기에는 계산 비용이 너무 높습니다.
경량 제약(Lightweight Constraints): KL 정규화와 같은 접근 방식은 단기적인 행동 유사성만을 강제하며, 장기적인 태스크 성능을 보존하는 데 실패합니다.
백본 동결(Backbone Freezing): 사전 학습된 표현이 언어 목표와 계속 정렬되어 있다고 가정하는 것은 취약합니다. 태스크 변화가 발생할 때, 명시적인 언어 조건화(language conditioning) 없이는 가치 학습이 표류하여 파괴적 망각(catified forgetting)으로 이어집니다.

핵심 문제는 연속적 VLA 학습에서 망각을 유발하는 메커니즘을 식별하고, 기존 방법론의 계산적 또는 구조적 오버헤드 없이 안정성과 가소성을 엄격하게 균형 잡는 프레임워크를 개발하는 것입니다.

방법론: CRL-VLA

저자들은 안정성-가소성 트레이드오프를 **목표 조건부 어드밴티지 크기(goal-conditioned advantage magnitude)**와 연결하는 통합된 이론적 경계에 기반한 연속 사후 학습 프레임워크인 CRL-VLA를 제안합니다.

이론적 토대

본 논문은 성능 저하(기존 태스크에서의 성능 감소)와 성능 향상(새로운 태스크에서의 성능 개선)이 어드와티지 크기( $M_g$ )와 정책 발산(KL 발산으로 측정됨)의 결합에 의해 결정된다는 통합된 성능 경계를 도출합니다.

안정성 ( $M_{old}$ ): 기존 정책의 상태 분포에 대한 최대 어드밴티지.
가소성 ( $M_{new}$ ): 새로운 태스크에서 달성 가능한 최대 어드밴티지.

저자들은 $M_{old}$ 와 $M_{new}$ 를 독립적으로 제어할 수 있음을 입증합니다:

안정성 제어: $M_{old}$ 는 기존 태스크 데이터에 대한 크리틱 근사 오차( $\epsilon_V$ )에 의해 제한됩니다.
가소성 제어: $M_{new}$ 는 새로운 태스크에 대해 몬테카를로(MC) 추정을 사용할 때 **환경의 리턴 범위(return range)**에 의해 자연스럽게 제한됩니다.

이러한 통찰은 **비대칭적 규제(asymmetric regulation)**를 가능하게 합니다. 즉, 이전 태스크의 어드밴티지 크기를 억제하여 안정성을 확보하는 동시에, 새로운 태스크의 가소성을 활성화하기 위해 제어된 성장을 허용하는 것입니다.

아키텍처: 목표 조건부 가치 공식화(GCVF)를 갖춘 듀얼 크리틱

이 이론을 구현하기 위해 CRL-VLA는 듀얼 크리틱 아키텍처를 채택합니다:

동결된 목표 조건부 가치(GCV) 크리틱 ( $\theta_{GCV}$ ): 이전 태스크에서 수렴된 가치 네트워크로부터 초기화되며, 새로운 태스크 학습 중에는 동결됩니다. 이는 의미적 일관성을 고정하고, 기존 데이터에 대한 가치 근사 오차를 제한하기 위한 참조 값( $V_{old}$ )을 제공합니다.
학습 가능한 MC 크리틱 ( $\theta_{MC}$ ): MC 리턴을 사용하여 새로운 태스크 궤적(trajectories)에 대해 업데이트됩니다. 이는 적응을 주도하며, 새로운 태스크에서의 어드밴티지 크기가 환경의 리워드 범위 내에 자연스럽게 머물도록 합니다.

두 크리틱은 공유된 백본( $\phi$ )을 가지지만 헤드(head)는 분리되어 있습니다. 가치 네트워크는 MLP 이전에 언어 임베딩을 상태 표현과 결합하여 언어 목표에 조건화되도록 설계되었으며, 이는 표준 VLA 가치 헤드에서 발생하는 미흡한 언어 목표 추종 문제를 해결합니다.

학습 목적 함수

전체 학습 손실은 트레이드오프를 조절하기 위해 네 가지 구성 요소를 통합합니다:
$\mathcal{L}_{total} = \mathcal{L}_{PPO} + \alpha \mathcal{L}_{KL} + \beta_V \mathcal{L}^V_{GCV} + \eta \mathcal{L}^V_{MC}$

$\mathcal{L}_{PPO}$ : 신뢰 영역 제약( $D_{new}$ )을 통해 새로운 태스크의 리턴을 극대화하는 표준 PPO 목적 함수입니다.
$\mathcal{L}_{KL}$ : 정책 발산( $D_{old}$ )을 제한하기 위해 기존 태스크 데이터에 적용되는 KL 발산 페널티입니다.
$\mathcal{L}^V_{GCV}$ : 동결된 GCV 크리틱과 현재 백본의 기존 태스크 데이터에 대한 가치 예측 사이의 일관성 손실로, $\epsilon_V$ 를 최소화하여 $M_{old}$ 를 제어합니다.
$\mathcal{L}^V_{MC}$ : 새로운 태스크 데이터에 대한 학습 가능한 MC 크리틱의 손실로, 어드밴티지 추정이 리턴 범위 내에 있도록 하여 $M_{new}$ 를 제어합니다.

주요 기여

이론적 통찰: 본 논문은 목표 조건부 어드밴티지 크기가 VLA 연속 학습에서 안정성-가소성 트레이드오프를 지배하는 핵심 양임을 식별하고, 이 크기와 정책 발산을 연결하는 통합된 경계를 도출했습니다.
비대칭 규제 프레임워크: CRL-VLA는 안정적인 가치 의미론(동결된 GCV 크리틱)과 적응형 정책 학습(학습 가능한 MC 크리틱)을 분리하는 듀얼 크리틱 아키텍처를 통해 이 통찰을 구현하여, 독립적인 안정성 및 가소성 제어를 가능하게 했습니다.
목표 조건부 가치 공식화 (GCVF): 가치 네트워크를 언어 임베딩에 직접 조건화하는 새로운 공식을 제안하여, 장기적인 가치 일관성과 언어 목표 추종 능력을 향상시켰습니다.
실증적 검증: LIBERO 벤치마크에 대한 광범한 실험을 통해, CRL-VLA가 안티-포게팅(Backward Transfer) 및 포워드 적응(Forward Transfer) 지표 모두에서 강력한 베이스라인(Sequence Learning, LWF, Experience Replay, Multi-Task Learning)보다 우수한 성능을 보임을 입증했습니다.

실험 결과

저자들은 OpenVLA-OFT를 기본 모델로 하여 LIBERO 벤치마크에서 단일 태스크 및 멀티 태스크 학습 시나리오에 대해 CRL-VLA를 평가했습니다.

단일 태스크 학습: CRL-VLA (Q-based)는 최종 평균 리턴(FAR) 0.98, 최저 망각 지표(0.03), 그리고 BWT -0.02를 달성하여, Sequence Learning (FAR 0.00) 및 표준 Experience Replay (FAR 0.60)와 같은 베이스라인을 크게 압도했습니다.
멀티 태스크 학습: CRL-VLA (V-based)는 가장 높은 FAR (0.74)와 BWT (0.17)를 달성하여, MTL 및 ER 베이스라인에 비해 우수한 교차 태스크 지식 공유 및 파괴적 망각에 대한 저항성을 보여주었습니다.
절제 연구 (Ablation Studies):
- 손실 가중치: GCV 및 KL 손실에 대해 적절한 가중치를 사용하는 것이 최적임이 밝혀졌습니다. 가중치가 너무 높으면 업데이트가 지나치게 제한되고, 너무 낮으면 어드밴티지 크기를 억제하지 못했습니다.
- GCV의 필요성: GCV 구성 요소를 제거하면 성공률이 크게 떨어지고(특정 절제 설정에서 FAR이 0.31에서 0.29로 하락) 망각이 증가하여, 언어 조건부 가치 앵커링의 중요성을 확인했습니다.
- V vs. Q: Q-based 변형은 단일 태스크 시나리오에서 더 나은 성능을 보였고, V-based 변형은 상태-목표 분포가 더 다양한 멀티 태스크 환경에서 견고함을 보여주었습니다.

의의 및 주장

본 논문은 CRL-VLA가 VLA 모델을 평생 로봇 시나리오(lifelong robotic scenarios)에 배치하기 위한 원칙적이고 효과적인 경로를 제공한다고 주장합니다. 엄격하게 이론적 경계를 도출하고 이를 단순한 듀얼 크리틱 아키텍처로 변환함으로써, 이 방법론은 값비싼 2차 계산이나 대규모 리플레이 버퍼 없이도 안정성-가소성 딜레마를 해결합니다.

저자들은 자신들의 연구가 VLA 연속 학습에서 어드밴티지 크기 제어를 통해 안정성-가소성 트레이드오프를 명시적으로 모델링한 첫 번째 사례라고 강조합니다. CRL-VLA가 상충하는 목적을 효과적으로 조화시켜, 에이전트가 이전 지식을 유지하면서도 새로운 기술을 지속적으로 습득할 수 있게 함으로써, 개방형 환경의 체화된 에이전트(embodied agents)를 위한 평생 학습의 실현 가능성을 높였다고 설명합니다. 향후 연구로는 부분 관측성(partial observability) 및 비정상적 언어 목표를 포함한 더 다양한 태스크 스트림으로 이 프레임워크를 확장하는 것이 제안되었습니다.