💻 computer science

SUN: Persistent Programs For Language-Grounded Control-to-Learning-to-Real Policies

이 논문은 모델 기반 제어와 학습된 정책 사이의 간극을 메우는 SUN(Semantically UNified) 프로그램과 Kuafu 시스템을 소개하며, 이는 MPC 검증과 RL 학습을 통합하는 타입 지정 및 언어 기반의 실행 가능한 프로그램을 자동 생성함으로써, 수동적인 조밀한 보상이나 인간의 시연 없이도 견고한 장기 조작을 가능하게 한다.

원저자: Weiqi Wang, Zhi Li, Yudong Lei, David Martinez, Xiaofeng Gao, Yuxin Jiang, Chenfanfu Jiang, Yingnian Wu, Demetri Terzopoulos, Ran Gong

게시일 2026-09-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weiqi Wang, Zhi Li, Yudong Lei, David Martinez, Xiaofeng Gao, Yuxin Jiang, Chenfanfu Jiang, Yingnian Wu, Demetri Terzopoulos, Ran Gong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇은 오랫동안 공장 바닥의 숙련가로서, 오류 없이 동일한 정밀 동작을 수천 번 반복해 왔습니다. 하지만 서랍을 열고, 병을 꺼내어, 테이블 위에 놓는 것과 같이 복잡하고 여러 단계로 이루어진 작업을 어지럽고 예측 불가능한 가정 환경에서 수행하라는 요청을 받으면, 로봇은 종종 비틀거립니다. 그 어려움은 움직임에 대해 생각하는 두 가지 서로 다른 방식 사이의 간극을 메우는 데 있습니다. 한 가지 접근 방식은 모든 관절의 각도와 힘을 계산하여 로봇이 충돌하지 않도록 보장하는 엄격한 수학적 규칙에 의존하지만, 이 방법은 취약하며 세상이 조금만 변해도 실패합니다. 다른 접근 방식은 로봇이 감을 잡을 때까지 연습하는 시행착오 학습을 사용하지만, 이는 종-종 수천 시간의 인간 시연이나 설계하기 까다로운 정교한 보상을 필요로 합니다. 수년 동안 이 두 방법은 경직된 플래너는 적응하지 못하고 학습자는 과업의 깊은 논리를 이해하지 못하는 채로 서로 분리된 영역에서 작동해 왔습니다.

UCLA(캘리포니아 대학교 로스앤젤레스)의 연구진과 동료들은 이 두 가지 접근 방식을 하나로 엮으려는 '쿠아푸(Kuafu)'라는 새로운 시스템을 선보였습니다. 로봇에게 내리는 지침을 일시적인 목표나 경직된 스크립트로 취급하는 대신, 그들은 전체 과정의 단일 진실 공급원 역할을 하는 지속적이고 유형화된 프로그램을 만들었습니다. 그들이 '세만틱 유니파이드(Semantically Unified)' 또는 'SUN 프로그램'이라 부르는 이 프로그램은 컴퓨터가 서랍 손잡이가 어느 방향을 향하는지 또는 병을 얼마나 높이 들어 올려야 하는지와 같은 물체 간의 물리적 관계를 이해할 수 있는 방식으로 작성되었습니다. 결정적으로, 이 동일한 프로그램은 로봇의 행동을 검증하고, 로켓이 어떻게 움직여야 하는지 가르치며, 처음부터 학습하는 데 필요한 데이터를 생성하는 데 사용됩니다. 초기 계획 단계부터 최종 학습 단계에 이르기까지 과업의 핵심 의미를 일정하게 유지함으로써, 이 시스템은 로봇이 원래 수행하기로 되어 있던 작업에서 벗어나는 것을 방지합니다.

시스템은 "서랍을 열고 컵을 안에 넣어라"와 같은 인간의 간단한 언어 지시를 받는 것으로 시작합니다. 인공지능 에이전트는 이 지시를 읽고 물리적 행동과 제약 조건을 설명하는 사전 정의된 빌딩 블록을 선택하여 SUN 프로그램을 구성합니다. 그런 다음, 고도의 제어 방법을 사용하여 이 프로그램이 물리적으로 실행 가능한지 확인하기 위해 고충실도 시뮬레이션에서 테스트합니다. 만약 시뮬레이션 결과 지침에 결함이 있거나 실행 불가능하다는 것이 드러나면, 시스템은 학습이 시작되기 전에 자동으로 프로그램을 수정합니다. 이 스크닝 과정은 매우 중요한데, 이는 로봇이 할 수 없는 작업을 배우도록 요구받아 시간과 컴퓨팅 전력을 낭비하는 일을 방지하기 때문입니다.

프로그램이 검증되면, 시스템은 이를 사용하여 로봇이 과업을 수행하는 수천 개의 성공적인 사례를 생성합니다. 이러한 사례들은 단순히 무작위적인 움직임이 아닙니다. 그리퍼가 손잡이에 닿는 순간부터 서랍이 완전히 열리는 순간까지 모든 단계를 추적하는 지속적인 프로그램에 의해 유도됩니다. 로봇은 먼저 이러한 성공적인 움직임을 모방함으로써 학습하고, 그 후 원래의 프로그램에 의해 엄격하게 제한되는 시행착오 과정을 통해 이를 정교화합니다. 이는 로봇이 유연하고 반응적으로 학습하면서도 궁극적인 목표를 놓치지 않도록 보장합니다. 그 결과, 이전의 방식들이 달성할 수 없었던 수준의 신뢰성로 복잡한 다단계 과업을 수행할 수 있는 정책(policy)이 만들어집니다.

큐브 쌓기부터 병의 방향 바꾸기, 서랍 열기에 이르기까지 9가지의 서로 다른 조작 과업을 포함한 일련의 테스트에서, 이 시스템은 기존 방식들보다 유의미한 개선을 보여주었습니다. 희소 보상(sparse rewards)이나 온라인 플래닝에 의존하는 다른 접근 방식들이 3분의 1 이상의 성공률을 올리는 데 어려움을 겪은 반면, 이 새로운 시스템은 82% 이상의 성공률을 달 Achieved 했습니다. 연구진은 이 시스템이 많은 단계가 필요한 과업을 처리하는 데 특히 효과적이며, 시퀀스의 복잡성이 증가하더라도 성능을 유지한다는 것을 발견했습니다. 또한, 이 시스템이 생성한 데이터는 품질이 매우 높아 시각적 학습 모델이 46%의 시험에서 성공하도록 했는데, 이는 다른 생성 방식의 데이터로 훈련된 모델의 성공률보다 두 배 이상 높은 수치입니다.

어떤 로봇 시스템의 진정한 시험대는 컴퓨터 시뮬레이션의 안전한 환경을 벗어나 실제 세계로 나갈 수 있는지 여부입니다. 이를 검증하기 위해, 연구진은 프랭카(Franka)와 키노바(Kinova)의 물리적 로봇에 훈련된 정책을 배치하였으며, 특정 과업 구조에 대한 사전 지식 없이 카메라를 사용하여 로봇의 행동을 안내했습니다. 추가적인 튜닝이나 실제 세계에서의 연습 없이도, 로봇은 다양한 구성에서 물리적 시험의 34.7%를 성공적으로 완료했습니다. 훈련은 시뮬레이션에서만 이루어졌으나 실제 기계에서 즉시 작동하는 이 '제로샷 전이(zero-shot transfer)'는, 지속적인 프로그램이 과업의 필수적인 논리를 성공적으로 포착하여 학습된 행동이 물리적 세계로 일반화될 수 있게 했음을 시사합니다.

연구진은 이 접근 방식에 한계가 있음을 인정합니다. 현재는 물리적 행동의 사전 정의된 라이브러리에 의존하며 장면 내의 물체들에 대한 명확한 이해를 필요로 하므로, 상당한 새로운 프로그래밍 없이는 천이나 액체와 같은 변형 가능한 물체를 아직 다룰 수 없습니다. 또한, 시스템은 단방향으로 과업을 진행하며 물리적 오류가 발생했을 때 되돌아갈 수 없는데, 이는 특정 유형의 실수로부터 회복하는 능력을 제한합니다. 그러나 이 결과는 로봇 학습을 위한 새로운 원칙을 확립합니다. 즉, 계획, 검증 및 학습 전반에 걸쳐 과업의 세만틱 의미를 일관되게 유지하는 것이 자동화를 위한 견고한 토대를 만든다는 것입니다. 로봇의 과업 이해도가 표류하지 않도록 보장함으로써, 이 시스템은 경직된 제어와 유연한 학습 사이의 간극을 메우며, 실제 세계에서 복잡한 과업을 안정적으로 수행할 수 있는 로봇을 향한 길을 제시합니다.

기술 요약: SUN: 언어 기반 제어-학습-실제 정책을 위한 지속 가능한 프로그램

문제 정의
본 논문은 모델 기반 제어(Model-based control)와 학습된 정책(Learned policies) 사이의 장기적(Long-horizon) 로봇 조작 과정에서 발생하는 근본적인 단절 문제를 다룹니다. 모델 예측 제어(MPC)와 같은 모델 기반 제어는 지정된 목표를 기하학적 정밀도로 실행하는 데 탁월하지만, 모델의 충실도에 민감하며 상당한 수동 엔지니어링을 요구합니다. 반면, 강화 학습(RL)은 정확한 역학 모델 없이도 고차원의 접촉이 풍부한 동작을 학습할 수 있지만, 제작하기 까다롭고 튜닝하기 취약한 조밀하고 구조화된 보상(Reward)에 의존합니다. 이 두 가지를 결합하려는 기존 방식들은 종종 제어 단계에서 정의된 작업 의미론(Objectives, constraints, stage transitions)을 유실합니다. 이러한 "의미론적 드리프트(Semantic drift)"는 학습된 보상이 원래의 명세와 어긋나게 만들어, 배포 시 정책이 실패하거나 일관성 없게 행동하게 만듭니다. 또한, 반복적인 보상 생성 방식은 후보 보상의 영향을 평가하기 위해 전체의 비용이 많이 드는 훈련 사이클을 거쳐야 하므로 높은 지연 시간을 초래합니다.

방법론: Kuafu 시스템 및 SUN 프로그램
저자들은 심볼릭 플래닝과 데이터 기반 실행을 통합하도록 설계된 Kuafu 시스템과 Semantically UNified (SUN) 프로그램을 소개합니다.

SUN 프로그램: SUN 프로그램( $\Gamma$ )은 전체 파이프라인 전반에 걸쳐 작업 의미론을 보존하는 타입이 지정된 실행 가능한 아티팩트입니다. 자연어 지시가 주어지면, LLM 에이전트가 타입 라이브러리에서 연산자를 선택하고 이를 등록된 장면 프레임에 바인딩하여 프로그램을 구성합니다. 프로그램은 기하학적 관계, 만족 경계, 그리고 단계 전환을 정의합니다. 결정적으로, 각 관계는 세 가지 정렬된 인터페이스로 동시에 컴파일됩니다:
- MPC 비용(Costs): 최적화 기반 제어를 위함.
- 만족 술어(Satisfaction Predicates): 단계 모니터링 및 전환 로직을 위함.
- RL 보상(Rewards): 학습 신호를 위함.
  이 "의미론적 통합(Semantic Unification)"은 제어에 의해 검증된 목표가 학습 과정을 가이드하는 목표와 동일함을 보장합니다.
검증 및 스크리닝: 정책을 학습하기 전, Kuafu는 시뮬레이션 내 폐루프 MPC를 사용하여 합성된 SUN 프로그램을 스크리닝합니다. 시스템은 여러 초기 조건에 대해 프로그램을 테스트합니다. 만약 프로그램이 물리적 결과를 달성하지 못하거나 "거짓 완료(False completions)"(내부 모니터는 성공을 신호하지만 독립적인 외부 평가기 $g_{ext}$ 는 그렇지 않은 경우)를 생성하면, 시스템은 복구 메커니즘을 트리거합니다. 이를 통해 정책 학습 비용을 들이기 전에 결함이 있는 목표를 사전에 거를 수 있습니다.
정책 아모티제이션(Policy Amortization): SUN 프로그램이 수용되면, Kuafu는 2단계 학습 과정을 채택합니다:
- 단계 조건부 행동 복제(Stage-Conditioned Behavioral Cloning, Stage-BC): 시스템은 성공적인 MPC 궤적을 바탕으로 결정론적 정책( $\pi_\theta$ )을 학습합니다. 이 정책은 관측값과 활성 단계를 액션 청크(Action chunks)로 매핑하는 "행동 사전(Behavioral prior)" 역할을 합니다.
- 유계 잔차 강화 학습(Bounded Residual RL): 잔차 정책( $\pi_\psi$ )은 Stage-BC 정책을 교정하기 위해 PPO를 통해 학습됩니다. 잔차는 검증된 작업 구조에서 벗어나지 않도록 유계(Bounded) 처리됩니다. 보상 신호는 SUN 프로그램의 컴파일된 학습 항에서 직접 유도되므로, RL 에이전트는 MPC에 의해 검증된 것과 동일한 기하학적 및 접촉 관계를 최적화합니다.
데이터 생성 및 Sim-to-Real: 유지된 SUN 프로그램은 데이터 생성을 지속적으로 감독하며, 물리적 성공( $g_{ext}$ ) 및 단계 완료를 기준으로 궤적을 필터링합니다. 이렇게 생성된 고품질 궤적은 SUN 프로그램이나 특권 상태 정보(Privileged state information)에 접근할 수 없는 시각적 정책(Visual policies)을 학습시키는 데 사용되어, 실제 로봇으로의 제로샷 전이(Zero-shot transfer)를 가능하게 합니다.

주요 기여

Semantically UNified (SUN) 프로그램: 제어, 학습, 배포 전반에 걸쳐 작업 의미론(관계, 경계, 단계)을 보존하여 의미론적 드리프트를 제거하는 새로운 타입 지정 실행 가능 표현식입니다.
Kuafu 시스템: 자연어로부터 SUN 프로그램을 합성하고, MPC를 통해 이를 스크리닝하며, 수동 보상 엔지니어링이나 시드 데모 없이 단계 조건부 정책을 학습하는 엔드 투 엔드 프레임워크입니다.
경험적 검증: 지속적인, MPC로 스크리닝된 프로그램이 비지속적 베이스라인에 비해 멀티 스테이지 작업 성공률과 데이터 효율성을 크게 향상시킨다는 것을 입증하였으며, 이를 통해 견고한 제로샷 sim-to-real 전이를 가능하게 합니다.

결과
시스템은 Isaac Lab에서 9가지 멀티 스테이지 조작 작업(예: 쌓기, 서랍 조작, 물체 재배향)에 대해 평가되었습니다:

성공률: Kuafu는 **82.03%**의 매크로 성공률을 달od 달성하였으며, 이는 희소 보상(Sparse-reward) 베이스라인(35.67%)과 Stage-BC 단독 모델(24.75%)을 크게 상회하는 수치입니다.
효율성: Kuafu는 더 적은 LLM 상호작용(작업당 약 110k 토큰 vs. Eureka의 234k 토큰)을 필요로 했으며, 3.91배 적은 계산 비용(122.67 GPU-시간 vs. Eureka의 479.60)을 달성했습니다.
데이터 품질: Kuafu가 생성한 궤적은 DP3 시각 정책을 학습시킬 때 46.02%의 성공률을 보였으며, 이는 차순위 대안인 SkillMimic의 22.44%와 대비됩니다.
처리량: 8192-way 규모에서 Kuafu는 인간 원격 조작 시간당 10.57배 더 많은 성공적인 궤적 시간을 생성했습니다.
Sim-to-Real: Kuafu 데이터로 학습된 정책은 미세 조정 없이 6가지 작업에 대해 실제 Franka 및 Kinova 로봇에서 **34.72%**의 성공률을 달성했습니다.

의의 및 주장
본 논문은 제어를 통해 검증된 작업 의미론이 데모나 수동의 조밀한 보상 없이도 견고한 학습된 정책으로 효과적으로 "아모티제이션(Amortize)"될 수 있다고 주장합니다. 폐쇄 루프 스크리닝을 통과하는 지속적인 타입 지정 프로그램을 유지함으로써, 시스템은 심볼릭 플래닝과 데이터 기반 실행을 통합합니다. 저자들은 이 접근 방식이 반복적인 보상 탐색의 비효율성과 순수하게 학습된 정책의 취약성을 해결한다고 주장합니다.

본 논문은 SUN 프로그램이 등록된 장면 인터페이스와 타입 지정된 연산자의 유한한 라이브러리에 의존하므로, 현재로서는 새로운 연산자 정의 없이는 변형 가능한 물체(Deformable objects)나 유체를 다룰 수 없음을 인정하며 범위를 겸손하게 설정하였습니다. 또한, 평가는 홀드아웃 지시문(Held-out instructions)이나 오픈 월드 일반화를 포함하지 않으며, 단계 모니터는 롤백 기능 없이 단조롭게 전진합니다. 그러나 결과적으로, 제어 기반의 스크리닝된 시맨틱 코어가 복잡한 장기 작업에서 로봇 학습의 신뢰성과 효율성을 크게 향상시킬 수 있음을 입증했습니다.

유사한 논문