💻 computer science

TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models

본 논문은 시각-언어 백본을 동결하는 동시에 시맨틱 투영 계층과 액션 전문가에 서로 다른 이중 시간 척도 업데이트 전략을 적용하여 고차원 표현을 안정화하고 저차원 제어 학습을 가속화함으로써, 벤치마크 및 실제 조작 작업 모두에서 기존의 지도 학습 및 강화 학습 사후 학습 방법들을 능가하는 시맨틱-액션 분리 강화 학습 프레임워크인 TEMPO를 제안한다.

원저자: Ziheng Liu, Quantao Yang

게시일 2026-08-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziheng Liu, Quantao Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇에게 빨래를 접거나 샌드위치를 만드는 것과 같은 집안일을 가르치려 한다고 상상해 보세요. 당신은 로봇의 모든 움직임을 일일이 프로그래밍하고 싶지 않습니다. 대신, 로봇이 당신을 관찰하고 스스로 연습하며 배우기를 원합니다. 이것이 바로 시각-언어-행동(Vision-Language-Action, VLA) 모델의 세계입니다. 이 모델들을 로봇의 뇌라고 생각하면 됩니다. 이 뇌는 세 가지 초능력을 결합합니다: 시각(카메라를 통해 세상을 보는 능력), 언어( "컵을 탁자 위에 놓아줘"와 같은 당신의 말 지시를 이해하는 능력), 그리고 행동(실제로 팔을 움직여 이를 수행하는 능력)입니다.

로봇이 스스로 학습하기 전에, 보통은 거대한 데이터 도서관을 대상으로 대규모의 "사전 학습(pre-training)"을 거칩니다. 이는 마치 학생이 특정 직업을 갖기 전에 도서관에 있는 모든 책을 읽는 것과 같습니다. 이 과정은 로봇에게 세상에 대한 일반적인 이해를 제공합니다. 하지만 당신이 로봇에게 구체적인 새로운 작업을 요청할 때, 로봇은 종종 추가적인 도움이 필요합니다. 전통적으로 과학자들은 이 도움을 주기 위해 두 가지 주요 방법을 사용해 왔습니다. 하나는 **지도 미세 조정(Supervised Fine-Tuning, SFT)**으로, 이는 로봇에게 완벽한 동작이 담긴 영상을 보여주고 그것을 똑같이 따라 하라고 요구하는 것과 같습니다. 다른 하나는 **강화 학습(Reinforcement Learning, RL)**인데, 이는 로봇이 과제를 시도하게 하고, 실패하면 "엄지 아래(싫어요)"를 받고, 다시 시도하여 결국 성공했을 때 "엄지 위(좋아요)"를 받는 방식입니다. 연구자들이 던지는 핵심 질문은 이것입니다: 어떻게 하면 로봇이 이미 가지고 있는 똑똑하고 일반적인 지식을 망가뜨리지 않으면서, 현실 세계의 과제들을 더 잘 수행하도록 가르칠 수 있을까?

여기, 연구자 Ziheng Liu와 Quantao Yang이 제안한 새로운 방법인 TEMPO가 등장했습니다. 로봇의 뇌를 두 부분으로 나뉜 팀이라고 상상해 보세요: 큰 그림을 이해하고 지시를 파악하는 **학자(Scholar)**와, 과제를 완수하기 위한 구체적인 근육 움직임을 파고드는 **현장 기술자(Handyman)**입니다. 기존의 많은 방식에서는 로봇이 실수를 통해 배울 때, 과학자들이 팀 전체를 정확히 같은 속도로 업데이트합니다. 문제는 만약 당신이 단 한 번의 실수 때문에 학자에게 너무 빨리 생각을 바꾸라고 명령한다면, 학자가 세상의 일반적인 규칙을 잊어버리게 되어 현장 기술자를 혼란에 빠뜨리고 결국 실패하게 만든다는 점입니다.

TEMPO는 이 팀의 학습 스케줄을 분리함으로써 이 문제를 해결합니다. 먼저, 학자의 핵심 지식(사전 학습된 시각-언어 백본)을 고정하여 기초적인 것을 잊지 않도록 합니다. 그런 다음, 두 개의 별도 학습 루프를 만듭니다. 학자(구체적으로 언어를 계획으로 변환하는 부분)는 매우 드물게 업데이트됩니다. 이는 로봇의 과제 이해도를 안정적으로 유지해 줍니다. 반면, 현장 기술자(근육을 제어하는 "행동 전문가")는 매우 빈번하게 업데이트됩니다. 이를 통해 로봇은 "앗, 벽에 부딪혔네, 왼쪽으로 움직여야지"와 같이 즉각적인 상호작용으로부터 빠르게 배울 수 있습니다.

연구자들은 로봇이 "서랍을 열고, 블록을 잡고, 상자 안에 넣는다"와 같은 긴 연속 과제를 수행해야 하는 CALVIN이라는 가상 세계에서 이 아이디어를 테스트했습니다. 그 결과 TEMPO가 이러한 긴 연쇄 작업에서 가장 뛰어난 성능을 보였습니다. 시뮬레이션에서 TEMPO는 5단계의 과정을 연속으로 **81.7%**의 확률로 완수해냈으며, 이는 이전의 최고 기록인 81.2%를 앞지른 수치입니다. 더 중요한 것은, 실제 물리 실험실의 로봇 팔로 테스트했을 때 TEMPO가 까다로운 상황을 더 잘 처리한다는 점이었습니다. 예를 들어, 서랍이 아주 조금만 열려 있는 상황에서 기존 방식은 블록을 그 좁은 틈 사이로 밀어 넣으려다 실패하곤 했습니다. 하지만 안정적인 "학자"를 가진 TEMPO는 서랍을 먼저 더 넓게 연 다음 블록을 움직여야 한다는 것을 깨달았습니다.

또한 이 논문은 현장 기술자가 학자보다 얼마나 더 빨리 배워야 하는지를 탐구했습니다. 연구진은 학자가 1번 업데이트될 때 현장 기술자를 5번 업데이트하는 것이 가장 효과적이라는 것을 발견했습니다. 만약 두 사람이 같은 속도로 업데이트된다면 로봇은 오히려 성능이 저하되었는데, 이는 "두 가지 속도"를 가진 접근 방식이 결정적으로 중요하다는 것을 증명합니다. 비록 결과가 시뮬레이션과 실제 환경 테스트에서 매우 유망하긴 하지만, 저자들은 향후 연구가 로봇에게 단순히 성공했는지 실패했는지만을 알려주는 것이 아니라, 왜 실패했는지에 대해 더 상세히 이해하도록 가르치는 방향으로 나아가야 한다고 제안합니다. 현재로서는, TEMPO는 때때로 로봇을 가르치는 가장 좋은 방법이 마음(지식)은 차분하게 유지하면서 손(움직임)은 빠르게 움직이게 하는 것임을 보여줍니다.

기술 요약: TEMPO

문제 정의
시각-언어-행동(VLA) 모델은 일반적으로 지도 미세 조정(SFT) 또는 온라인 강화 학습(RL)을 통해 하위 로봇 조작 작업에 적응됩니다. 그러나 SFT는 분포 불일치(distribution mismatch) 문제로 인해 한계가 있습니다. SFT는 정책에 의해 유도된 상태 분포 하에서의 폐쇄 루프(closed-loop) 성공이 아니라 데모 데이터 자체를 최적화하기 때문에, 장기적 과제(long-horizon tasks)에서 오차가 누적되는 현상이 발생합니다. 기존의 온라인 RL 접근 방식은 이를 해결하려고 시도하지만, 일반적으로 VLA 모델의 모든 학습 가능한 구성 요소에 대해 단일하고 균일한 업데이트 전략을 적용합니다. 이러한 통합적 접근 방식은 서로 다른 기능적 역할을 무시합니다. 즉, 고차원적 이해를 인코딩하는 '의미론적 표현 계층(semantic representation layer)'과 실행 가능한 제어로 매핑하는 '행동 생성 모듈(action generation module)'의 차이를 간과합니다. 균일한 업데이트는 사전 학습된 의미론적 표현을 불안정하게 만들 위험이 있는 반면, 온라인 제어 피드백을 통합하기 위한 행동 정책의 적응 속도는 충분히 빠르지 못할 수 있습니다.

방법론: TEMPO
저자들은 이러한 충돌을 해결하기 위해 설계된 의미론적-행동 분리형, 두 가지 타임스케일(two-timescale) RL 사후 학습 프레임워크인 TEMPO를 제안합니다. 이 방법은 고정된 사전 학습된 시각-언어 백본, 의미론적 투영 계층(semantic projection layer), 그리고 행동 전문가(action expert)로 구성된 모듈형 VLA 아키텍처(FLOWER로 구현됨)를 기반으로 합니다.

주요 기술 구성 요소는 다음과 같습니다:

분리된 최적화 루프: TEMPO는 두 개의 별도 모듈 수준 TD3(Twin Delayed DDPG) 학습 루프를 구축합니다.
- 의미론적 루프(Semantic Loop): 다중 모달 의미론적 표현( $h_t$ )을 상태로 사용하고 잠재 행동( $z_t$ )을 행동으로 사용하여 의미론적 투영 계층( $\pi^s_\theta$ )을 최적화합니다. 사전 학습된 시각-언어 백본은 일반적인 의미론적 지식을 보존하기 위해 고정된 상태로 유지됩니다.
- 행동 루프(Action Loop): 잠재 행동( $z_t$ )을 상태로 사용하고 실행 가능한 행동 청크( $a_t$ )를 행동으로 사용하여 행동 전문가( $\pi^a_\phi$ )를 최적화합니다.
- 두 루프는 동일한 희소(sparse) 작업 보상(성공 시 1, 그 외 0)을 공유하지만, 별도의 리플레이 버퍼, 크리틱(critic), 타겟 네트워크를 유지합니다. 결정적으로, 두 업데이트 경로 사이에는 그래디언트가 전파되지 않습니다.
빈도 분리 전략(Frequency-Decoupled Strategy): 핵심 혁신은 두 모듈 사이의 비동기적 업데이트 빈도입니다.
- 행동 전문가는 온라인 상호작용으로부터 제어 및 실행 피드백을 빠르게 통합하기 위해 빈번하게 업데이트됩니다.
- 의미론적 투영 계층은 "잠재 행동 표류(latent action drift)"를 방지하기 위해 드물게 업데이트되어, 행동 정책이 적응하는 동안 의미론적 표현이 안정적으로 유지되도록 합니다.
- 업데이트 빈도 비율( $\rho = f_a / f_s$ )은 튜닝 가능한 하이퍼파라미터입니다. 저자들은 $\rho > 1$ (의미론적 계층보다 행동 전문가를 더 자주 업데이트)인 경우가 동기식 업데이트( $\rho = 1$ )보다 우수한 성능을 보임을 발견했습니다.

주요 기여

프레임워크 설계: VLA 모델의 의미론적 구성 요소와 행동 구성 요소의 최적화를 전용 RL 루프를 통해 분리하여, 고정된 백본을 보존하면서 특정 하위 계층을 적응시키는 TEM포 프레임워크를 도입했습니다.
업데이트 빈도 전략: 의미론적 안정성과 정책 개선 사이의 균형을 맞추는 새로운 모듈별 업데이트 빈도 전략을 제시합니다. 의미론적 투영 계층을 더 적게 업데이트함으로써 잠재 행동 공간의 표류를 완화하는 동시에, 행동 전문가에 대한 빈번한 업데이트를 통해 효율적인 온라인 피드백 학습을 가능하게 합니다.
실증적 검증: TEMPO가 통합 RL 베이스라인 및 최첨단 VLA 모델에 비해 향상된 장기적(long-horizon) 성능을 보임을 입증하는 포괄적인 평가를 수행했습니다.

실험 결과
저자들은 CALVIN 벤치마크(시뮬레이션)와 두 가지 실제 조작 작업에서 TEMPO를 평가했습니다.

CALVIN 벤치마크 (시뮬레이션): ABC→D 설정에서, TEMPO는 5개 작업 체인(SR5) 완료에 대해 81.7%의 성공률과 평균 체인 길이(Avg. Len.) 4.59를 달est했습니다. 이는 가장 강력한 베이스라인인 DeFI와 단일 루프 RL 베이스라인인 FLOWER-RL을 능가했습니다. 특히, TEM포와 베이스라인 간의 성능 격차는 명령 체인의 길이가 길어질수록 벌어졌으며, 이는 이 방법이 장기적 과제에 특히 효과적임을 시사합니다.
절제 연구(Ablation Studies):
- 구성 요소의 필요성: 의미론적 투영 업데이트나 행동 전문가 업데이트 중 하나라도 제거하면 전체 TEMPO 모델보다 낮은 성능을 보였으며, 이는 두 모듈이 상호 보완적인 이점을 제공함을 나타냅니다.
- 빈도 비율: 5:1 및 10:1 업데이트 빈도 비율(행동:의미론적)은 1:1 비율보다 현저히 높은 성능을 보였습니다. 1:1 설정은 단일 루프 베이스라인보다 성능이 낮았는데, 이는 빈도 분리가 단순히 듀얼 루프 구조 때문이 아니라 필수적인 요소임을 확인시켜 줍니다.
- 작업 세트 크기: 성능이 사후 학습 작업 세트의 크기에 따라 단조롭게 증가하지 않았습니다. 단일 작업 설정이 34개 작업 설정보다 더 나은 성능을 보였는데, 이는 작업의 양보다 구성이 더 중요하다는 것을 시사합니다.
실제 환경 실험: 블록 슬라이딩 및 카 회수(서랍 조작 필요)를 포함하는 물리적 작업에서, TEMPO는 FLOWER-RL보다 더 높은 평가 보상과 안정적인 성능을 달성했습니다. 질적 분석 결과, TEMPO는 암묵적인 의미론적 전제 조건(예: 물체를 조작하기 전 서랍을 완전히 여는 것)을 성공적으로 학습한 반면, 베이스라인은 잠재 행동 공간의 표류로 인해 실패했습니다.

의의 및 주장
본 논문은 TEMPO가 현재 VLA 사후 학습의 결정적 한계인 '안정적인 고차원 의미론적 표현 유지'와 '신속한 저수준 제어 정책 적응' 사이의 충돌을 해결한다고 주장합니다. 이러한 구성 요소와 그 업데이트 빈도를 분리함으로써, TEMPO는 백본에 인코딩된 기초적인 의미론적 지식을 불안정하게 만들지 않고도 VLA 모델이 온라인 상호작용으로부터 학습할 수 있게 합니다. 저자들은 이를 더 견고한 장기적 로봇 조작을 향한 단계로 규정하며, 모듈을 '무엇을' 업데이트하느냐만큼 '어떻게' 업데이트하느냐가 중요하다는 점을 입증했습니다. 향-기한 과제에서 신용 할당(credit assignment)을 더욱 향상시키기 위해 밀집된 언어 조건부 보상 함수를 학습하는 것이 향후 개선 방향이 될 수 있음을 시사합니다.

유사한 논문