💻 computer science

Learning Robust Execution in Robotic Manipulation with Agentic Reinforcement Learning

본 논문은 실행 중 품질 지표와 성능 저하를 감지하여 정상적인 작업 상태를 복구하기 위한 회복 메커니즘을 트리거하는 상위 수준의 의사결정 정책을 도입함으로써 로봇 조작의 강건성을 향상시키는 에이전트 기반 강화 학습 프레임을 제안하며, 이를 통해 LIBERO 벤치마크에서 상당한 성공률 향상을 달성하였다.

원저자: Xiaopeng Zhang, Yueyang Weng, Qi Liu, Yongjin Mu, Yanjie Li

게시일 2026-07-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiaopeng Zhang, Yueyang Weng, Qi Liu, Yongjin Mu, Yanjie Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 복잡한 레고 성을 만드는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 일련의 지침을 주고, 로봇은 벽돌을 쌓기 시작합니다. 하지만 로봇은 서툽니다. 때로는 1밀리미터 차이로 벽돌을 놓치기도 하고, 테이블이 흔들리거나, 로봇의 "움직임(grip)"이 아주 살짝 미끄러지기도 합니다. 로봇 공학의 세계에서 이것을 **불확정성(uncertainty)**이라고 부릅니다. 로봇이 초기에 작은 실수를 하면, 그 오류는 사라지지 않고 작업이 진행됨에 따라 점점 더 악화됩니다. 마치 언덕을 굴러 내려가는 눈덩이처럼 말이죠. 이것은 **누적 오류(compounding error)**라고 알려져 있습니다. 결국 로봇은 벽돌을 엉뚱한 곳에 들고 있거나 부품을 통째로 떨어뜨린 상태가 될 수도 있지만, 원래의 계획을 계속 따르려고 고집하며 결국 엉망진창인 결과를 초래하게 됩니다.

오랫동안 과학자들은 로봇이 저지를 수 있는 모든 가능한 실수의 사례를 더 많이 가르쳐서 이 문제를 해결하려고 노력했습니다. 하지만 그것은 레고 탑이 무너질 수 있는 모든 방법을 시작하기도 전에 미리 다 외우려는 것과 같습니다. 시간이 너무 오래 걸리고 비용도 엄청나게 듭니다. 또 다른 아이디어는 로봇에게 (언어 모델과 같은) 초지능적인 "두뇌"를 주어 끊임없이 작업 내용을 확인하고 다음 할 일을 알려주게 하는 것이었습니다. 하지만 이는 마치 선생님이 벽돌 하나를 놓을 때마다 옆에서 계속 지시를 내리는 것처럼 로봇을 느리고 복잡하게 만듭니다. 큰 질문은 이것입니다: 로봇이 경로를 벗어났을 때 이를 알아차리고 스스로 수정할 수 있으면서도, 슈퍼컴퓨터나 모든 재난 상황에 대한 도서관급 데이터 없이도 가능한 방법이 있을까요?

이 논문은 로봇의 실수를 처리하는 영리하고 새로운 방법인 **에이전틱 강화 학습(Agentic Reinforcement Learning)**을 소개합니다. 연구진은 로봇에게 팔을 완벽하게 움직이는 법(가장 어려운 부분)을 가르치는 대신, 로봇의 수행 능력을 관찰하고 언제 계속 진행할지, 언제 뒤로 물러날지, 혹은 언제 다시 시작할지를 결정하는 "관리자"를 구축했습니다. 로봇의 팔을 숙련되었지만 약간 서툰 노동자로 본다면, 이 새로운 "관리자"는 직접 물건을 들어 올리지는 않지만 건설 현장 전체를 지켜보는 현장 소장과 같습니다.

연구진은 로봇이 비틀거리기 시작할 때, 이 관리자가 재앙이 되기 전에 문제를 포착할 수 있다는 것을 발견했습니다. 그들은 로봇이 얼마나 잘하고 있는지 측정하기 위해 두 가지 "성적표"를 만들었습니다. 하나는 로봇이 현재 얼마나 매끄럽게 움직이는지를 체크하는 것이고(국소적 품질), 다른 하나는 로봇이 여전히 완벽한 예시와 비교하여 올바른 경로에 있는지 체크하는 것입니다(전역적 품질). 점수가 떨어지면, 관리자는 로봇에게 새로운 팔 움직임을 발명하도록 시키는 대신, 미리 정의된 작은 복구 동작 목록 중 하나를 선택합니다:

재시도(RETRY): 만약 로봇이 방금 움켜쥐기에 실패했다면, 관리자는 몇 단계 뒤로 물러나서 다시 시도하라고 지시합니다.
수리(REPAIR): 만약 로봇이 끼었거나 물건을 이상하게 잡고 있다면, 관리자는 물건을 놓게 하고, 안전한 위치로 이동하여 움켜쥐는 동작을 재설정하라고 지시합니다.
재설정(RESET): 만약 로봇이 모든 것을 떨어뜨렸거나 회복 불가능한 위치에 있다면, 관리자는 "재시작" 버튼을 눌러 처음부터 작업을 다시 시작합니다.

연구팀은 이 시스템을 그릇을 집거나, 서랍을 열거나, 물체를 쌓는 등의 과제가 포함된 유명한 로봇 챌린지 세트인 LIBERO에서 테스트했습니다. 그들은 이 "관리자"를 추가했을 때 로봇이 업무를 완수하는 능력이 훨씬 향상되었다는 것을 발견했습니다. 표준 테스트에서 성공률은 최대 **13.7%**까지 높아졌습니다. 하지만 진짜 마법은 로봇을 흔들거나 움직임을 방해하는 등의 무작위적인 방해 요소가 추가되었을 때 일어났습니다. 이러한 혼란스러운 상황에서 성공률은 최대 **39.2%**까지 급증했습니다.

이 논문은 단순히 로봇에게 더 많은 데이터를 학습시키는 것이 항상 최선의 답은 아니며, 무겁고 느린 추론 시스템을 추가하는 것 또한 효율적이지 않다고 주장합니다. 대신, 이 "에이전틱(agentic)" 접근 방식은 '회복을 위한 결정'과 '움직임을 위한 행동'을 분리합니다. 로봇은 새로운 기술을 배울 필요가 없습니다. 단지 "잠깐, 이게 잘 안 됐네, 다시 해보자"라거나 "좋아, 막혔으니 처음부터 다시 시작하자"라고 말할 줄 아는 똑똑한 감독자가 필요할 뿐입니다. 결과에 따르면 이 방법은 단순한 두뇌부터 복잡한 두뇌에 이르기까지 다양한 유형의 로봇 두뇌에 잘 작동하며, 처음부터 다시 훈련시키지 않고도 로봇을 더 견고하고 신뢰할 수 있게 만듭니다. 이 시스템이 모든 불가능한 상황을 해결할 수는 없겠지만, 약간의 똑똑한 감독이 로봇을 계속 제 역할을 하게 만드는 데 얼마나 큰 도움이 되는지를 입증했습니다.

기술 요약: 에이전틱 강화 학습을 통한 로봇 조작의 강건한 실행 학습

1. 문제 정의

로봇 조작은 불확실성, 접촉이 빈번한 상호작용, 그리고 긴 호라이즌(long-horizon) 실행으로 인해 근본적인 어려움에 직면해 있습니다. 최근의 시각-언어-행동(VLA) 모델들은 대규모 사전 학습을 통해 강력한 일반화 능력을 보여주지만, 실행 안정성을 평가하거나 로봇이 명목 궤적(nominal trajectory)에서 벗어났을 때 이를 복구하는 명시적인 메커니즘이 부족한 경우가 많습니다. 인지 또는 역학에서의 작은 오류는 시간이 지남에 따라 누적되어 "실행 저하(execution degradation)"를 유발할 수 있습니다. 이는 불안정한 동작, 작업 진행의 손실, 또는 돌이킬 수 없는 실패(실행 수준의 실패라고 함)로 이어집니다.

기존의 완화 전략들은 다음과 같은 한계를 가집니다:

데이터 스케일링: 학습 데이터를 확장하고 VLA를 미세 조정하는 것은 자원 집약적이며, 롱테일(long-tail) 실패 사례에 대해서는 효과적이지 않은 경우가 많습니다.
외부 추론: 실패 감지 및 재계획을 위해 시각-언어 모델(VLM)을 도입하는 것은 시스템 복잡성, 추론 지연 시간, 그리고 명령 분포 변화에 대한 민감도를 증가시킵니다.
모방 학습: 표준 정책은 실행이 기대되는 동작에서 벗어날 때 적응할 수 있는 명시적인 메커니즘이 부족합니다.

본 연구가 다루는 핵심 문제는 저수준 정책(low-level policy)을 재학습하거나 무거운 외부 추론 모듈에 의존하지 않고 어떻게 실행 강건성을 개선할 것인가 하는 점입니다.

2. 방법론

저자들은 실행 관리와 행동 생성을 분리하는 에이전틱 강화 학습(Agentic Reinforcement Learning, RL) 프레임워크를 제안합니다. 이 시스템은 고정된 저수준 정책(예: VLA)과 실행 과정을 조절하는 고수준 에이전틱 정책으로 구성됩니다.

A. 실행 품질 지표

에이전틱 정책이 정보에 입각한 결정을 내릴 수 있도록, 저자들은 런타임 중에 실행 품질을 평가하기 위한 두 가지 상호 보완적인 지표를 도입합니다.

국소 실행 품질 ( $q_{local}$ ): 슬라이딩 윈도우 내에서 운동 효율성(실제 말단 장치 움직임과 명령된 행동 크기의 비율)과 운동 매끄러움(속도의 변동 계수의 역수)을 분석하여 단기 안정성을 모니터링합니다.
전역 실행 품질 ( $q_{global}$ ): 현재 실행 프리픽스(prefix)를 성공적인 참조 궤적 라이브러리와 비교하여 장기적인 드리프트를 포착합니다. 이는 최근 실행 윈도우를 특징 벡터로 인코딩하고, 단계별 인식(stage-aware) 참조 라이브러리 내 $k$ -최근접 이웃과의 유클리드 거리를 계산합니다.
이 지표들은 전체적인 실행 상태를 평가하기 위해 하나의 스칼라 점수( $q_{agg}$ )로 통합됩니다.

B. 복구 메커니즘

에이전틱 정책은 이산적인 실행 모드 집합 $\mathcal{A} = \{ \text{EXECUTE, RETRY, REPAIR, RESET} \}$ 중에서 하나를 선택합니다:

EXECUTE (실행): 저수준 정책의 명목 실행을 지속합니다.
RETRY (재시도): 로봇을 가장 최근에 가장 높은 통합 품질( $q_{agg}$ )을 가졌던 상태로 되돌린 후 실행을 재개합니다. 이는 경미한 저하(예: 약간의 파지 정렬 불량)를 처리합니다.
REPAIR (수리): 더 긴 호라이즌 내에서 높은 $q_{agg}$ 를 가진 접촉이 없는 상태로 더 강력하게 되돌립니다. 이는 장애물이나 접촉 문제를 해결하기 위해 장치를 분리하고 재배치합니다.
RESET (초기화): 돌이킬 수 없는 상태(예: 물체를 놓침)의 경우 현재 에피소드를 종료하고 초기 구성에서 작업을 다시 시작합니다.

이러한 메커니즘은 새로운 저수준 행동을 생성하지 않고도 로봇을 과거의 상태로 유도하기 위해 운영 공간 제어기(Operational Space Controller, OSC)를 활용합니다.

C. 에이전틱 강화 학습 정식화

문제는 부분 관측 마르코프 결정 과정(POMDP)으로 정식화됩니다:

관측(Observation): 고유 수용 감각(proprioception), 저수준 행동, 실행 품질 점수를 포함한 최근 실행 이력의 고정된 길이의 슬라이딩 윈도우.
행동(Action): 네 가지 실행 모드에 대한 범주형 분포.
보상 함수(Reward Function): 작업 완료(+1.0)를 장려하고, 실패(-1.0), 타임 스텝(-0.02), 그리고 복구 메커니즘 호출(비용: RETRY -0.1, REPAIR -0.3, RESET -0.5)을 패널티로 부여하도록 설계되었습니다.
최적화(Optimization): 에이전틱 정책은 근사 정책 최적화(PPO)를 사용하여 학습됩니다. 액터(Actor)는 실행 이력만을 사용하며, 크리틱(Critic)은 가치 추정을 개선하기 위해 특권된 시뮬레이터 상태(privileged simulator states)에 접근할 수 있습니다.

3. 주요 기여

런타임 실행 지표: 특권 정보를 요구하지 않고 실행 안정성과 드리프트를 평가하기 위해 두 가지 상호 보완적인 지표(국소 및 전역 실행 품질)를 제안했습니다.
에이전틱 실행 프레임워크: 고수준 정책이 실행 관리자로서 행동 생성과 실행 조절을 분리하여 저수준 정책을 규제하는 새로운 구성을 제안했습니다.
경량 복구: 로봇을 이전에 방문했던 명목 상태로 복구하는 특정 비학습적 복구 메커니즘(RETRY, REPAIR, RESET)을 설계하여, 재학습이나 복잡한 의미론적 추론의 필요성을 피했습니다.
모듈형 통합: 가중치를 수정하지 않고도 다양한 사전 학습된 정책(VLA 및 확산 정책)에 이 프레임워크를 적용할 수 있습니다.

4. 실험 결과

본 방법은 OpenVLA, $\pi_0$ , $\pi_{0.5}$ , Diffusion Policy를 포함한 베이스라인들을 사용하여 LIBERO 벤치마크(Spatial, Object, Goal, Long-horizon 서브셋 포함)에서 평가되었습니다.

표준 조건: 본 프레임워크는 모든 베이스라인에서 성공률을 향상시켰습니다. 표준 설정에서 평균 **+13.7%**의 향상을 보였으며, 특히 Diffusion Policy에서 상당한 이득을 보였습니다.
방해 강건성: 무작위 운동학적 방해(kinematic disturbances) 상황에서 본 방법은 상당한 회복력을 보여주었습니다. 평균 성공률 향상은 **+39.2%**였습니다. 예를 들어, LIBERO-Long 세트에서 OpenVLA의 성공률은 방해 상황에서 33.4%에서 67.6%로 향상되었습니다.
결정 적응성: 분석 결과, 에이전틱 정책이 저하의 심각도에 따라 복구 메커니즘의 선택을 올바르게 적응시킨다는 것을 보여주었습니다 (예: 경미한 노이즈에는 RETRY, 충돌에는 REPAIR, 돌이킬 수 없는 상태에는 RESET 선택).
효율성: 에피소드 길이에 미치는 오버헤드는 미미했습니다(베이스라인의 취약성에 따라 +5%에서 +15% 사이), 이는 복구가 꼭 필요할 때만 트리거됨을 나타냅니다.

5. 의의 및 주장

본 논문은 실행 수준의 실패를 직접적으로 해결함으로써 실행 강건성을 실질적으로 향고한다고 주장합니다. 실행 관리와 행동 생성을 분리함으로써, 시스템은 순수한 조건부 행동 생성기에서 탐색과 복구가 가능한 결정 주도형 프레임워크로 진화합니다.

저자들은 이 방법이 다음과 같음을 강조합니다:

작업별 기술이나 파운데이션 모델을 재학습할 필요가 없습니다.
VLM에 의존하는 이중 시스템 구조의 지연 시간과 복잡성을 피합니다.
특권 정보가 아닌 고유 수용 감각 신호와 저수준 행동에만 의존하므로 sim-to-real 배포에 매우 유리합니다.

한계점: 저자들은 본 방법이 극도로 심각한 실행 저하나 저수준 정책의 명목 동작이 완전히 유효하지 않은 분포 외(out-of-distribution) 시나리오로부터 복구하는 능력에는 한계가 있음을 솔직하게 언급했습니다. 향-후 연구에서는 이러한 심각한 사례들을 다루고 실제 환경에서 이 접근 방식을 검증할 계획입니다.