🤖 AI

SLAC: Safe and Efficient Real-Robot Reinforcement Learning via Unsupervised Simulation Pre-Training

SLAC는 비지도 시뮬레이션을 통해 작업 불가지론적 잠재 행동 공간을 사전 학습함으로써, 복잡한 접촉 중심의 양손 이동 조작 작업을 데모 없이 한 시간 이내에 마스터할 수 있게 하여 고자유도 로봇을 위한 안전하고 샘플 효율적인 실세계 강화 학습을 가능하게 하는 새로운 프레임워크입니다.

원저자: Jiaheng Hu, Peter Stone, Roberto Martín-Martín

게시일 2026-07-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiaheng Hu, Peter Stone, Roberto Martín-Martín

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 방을 청소하거나 화이트보드를 닦는 법을 가르치는 상황을 상상해 보세요. 당신에게는 두 가지 주요 선택지가 있는데, 둘 다 까다롭습니다. 첫 번째는 현실 세계와 똑같이 정교하고 초현실적인 비디오 게임 버전을 구축하여 그곳에서 로봇을 훈련시킨 뒤, 그것이 실제에서도 작동하기를 바라는 것입니다. 문제는 무엇일까요? 완벽한 시뮬레이션을 만드는 것은 젤리로 만든 붓으로 걸작을 그리려는 것과 같습니다. 물리 법칙(물이 흐르거나 스펀지가 찌그러지는 방식 등)을 정확하게 구현하는 것은 믿기 힘들 정도로 어렵고, 만약 게임 세계가 현실과 조금이라도 다르면 로봇은 혼란에 빠져 실패하게 됩니다. 두 번째 선택지는 로봇이 실제로 직접 해보며 배우게 하는 것입니다. 하지만 이는 위험하고 느립니다. 만약 로봇이 현실 세계에서 팔을 무작위로 휘두르며 배우려고 한다면, 스스로를 망가뜨릴 수도 있고 무엇이 효과적인지 알아내는 데 몇 년이 걸릴 수도 있습니다.

여기서 **강화 학습(Reinforcement Learning)**이라는 새로운 개념이 등장합니다. 이것은 강아지를 훈련시키는 것과 비슷합니다. 강아지가 무언가를 잘했을 때 간식(보상)을 주는 식이죠. 만약 나쁜 행동을 하면 주지 않습니다. 목표는 로봇이 완벽한 비디오 게임을 필요로 하지 않으면서도, 혹은 고장 난 로봇을 감수하지 않으면서도 빠르게 배울 수 있도록 하는 것입니다. 과학자들이 던지는 큰 질문은 이것입니다. "우리가 '부족한' 단순한 비디오 게임을 사용하여 로봇에게 기초를 가르치고, 그 후에 남은 일을 실제 세계에서 마무리하게 할 수 있을까?"

여기서 SLAC이라는, 단순한 비디오 게임과 복잡한 현실 세계 사이의 영리한 가교 역할을 하는 새로운 방법이 등장합니다. SLAC의 연구자들은 로봇에게 '어떻게' 움직여야 하는지를 가르치기 위해 완벽한 시뮬레이션이 필요한 것은 아니며, 단지 '무엇을 할 수 있는지'를 가르칠 간단한 시뮬레이션만 있으면 된다는 것을 깨달았습니다. 아이가 찰흙을 가지고 노는 것을 상상해 보세요. 아이들은 찰흙을 쥐어짜거나, 밀거나, 평평하게 만드는 법을 배우기 위해 완벽한 도예가용 물레를 필요로 하지 않습니다. 그저 찰흙과 자신의 손만 있으면 됩니다. SLAC은 '저충실도(low-fidelity, 단순하고 저렴한)' 시뮬레이션을 사용하여 로봇에게 '잠재적 행동(latent actions)'을 가르칩니다. 이것을 구체적인 근육의 움직임이 아니라, 고차원적인 '슈퍼 기술'이나 '마법 주문'이라고 생각하세요. 로봇에게 "왼팔을 2인치 위로 올려"라고 말하는 대신, SLAC은 "표면을 닦아라" 또는 "물체를 밀어라"와 같은 주문을 가르칩니다.

이 과정은 두 가지 재미있는 단계로 진행됩니다. 첫째, 로봇은 단순하고 품질이 낮은 시뮬레이션(마치 투박하고 만화 같은 세상) 속으로 들어갑니다. 여기서 로봇은 '테이블을 청소하라'와 같은 구체적인 작업은 알지 못합니다. 대신, 로봇은 "내가 무엇을 할 수 있는가?"라는 게임을 합니다. 로봇은 자신이 베이스를 움직이거나, 테이블을 터치하거나, 보드를 닦을 수 있다는 것을 발견합니다. 결정적으로, 로봇은 이러한 기술들을 독립적이고 안전한 방식으로 학습하여, 실수로 자신을 부수는 일이 없도록 합니다. 이것은 로봇이 소설을 쓰기 전에 알파벳을 배우는 것과 같습니다. 로봇은 저렴하고 안전한 환경에서 움직임의 '글자'들을 배웁니다.

로봇이 이 '마법 주문 목록(잠재적 행동 공간)'을 갖추고 나면, 두 번째 단계로 실제 세계로 이동합니다. 이제 로봇은 처음부터 다시 배울 필요 없이, 단지 언제 어떤 주문을 사용할지만 배우면 됩니다. 주문들이 이미 안전하고 구조화되어 있기 때문에, 로봇은 장애물을 피하며 화이트보드를 닦는 것과 같은 복잡한 작업을 실제 세계에서의 연습을 통해 한 시간도 채 되지 않아 배울 수 있습니다. 실제 로봇인 Tiago를 이용한 실험에서, SLAC은 쓰레기를 봉투에 쓸어 담거나 보드를 닦는 것과 같이 접촉이 많이 발생하는 어려운 과업들을 실제 상호작용 60분 미만 만에 학습했습니다. 로봇은 인간이 방법을 보여주거나 해당 작업에 대한 완벽한 시뮬레이션을 제공하지 않았음에도 불구하고 이 일을 해냈습니다.

이 논문은 이 접근 방식이 기존의 방법들보다 훨씬 빠르고 안전하다는 것을 보여줍니다. 다른 로봇들이 고전하거나 훨씬 더 오래 걸렸던 반면, SLAC의 로봇은 빠르게 학습했으며 아무것도 망가뜨리지 않았습니다. 연구진은 이 '사전 훈련(pre-training)' 과정을 통해 값비싸고 완벽한 비디오 게임의 필요성을 건너뛰면서도, 실제 세계에서 작동하는 로봇을 얻을 수 있다는 것을 발견했습니다. 이는 마치 운전을 배우는 것과 같습니다. 실제 고속도로에서 배우는 것(위험함)이나 초현실적인 시뮬레이터(구축하기 어렵고 비쌈)를 사용하는 대신, 먼저 단순하고 안전한 주차장에서 기초를 배운 뒤 자신감을 가지고 도로로 나가는 것과 같습니다. SLAC은 로봇이 진정한 도움을 주는 조력자가 되기 위해서, 우리는 세상의 완벽한 디지털 쌍둥이가 필요한 것이 아니라, 로봇이 나머지 부분을 스스로 알아낼 수 있도록 움직임의 기초를 가르치는 스마트한 방법이 필요하다는 점을 시사합니다.

기술 요약: SLAC – 비지도 시뮬레이션 사전 학습을 통한 안전하고 효율적인 실로봇 강화 학습

1. 문제 정의

로봇 강화 학습(RL)은 안전성/샘플 효율성과 환경의 충실도(fidelity) 사이의 근본적인 트레이드오프에 직면해 있습니다.

고충실도 시뮬레이션: 안전하고 확장 가능한 학습을 가능하게 하지만, 접촉이 빈번한 역학(예: 변형 가능한 물체, 유체 상호작용)을 위한 정확한 시뮬레이터를 구축하는 것은 비용과 시간이 많이 소요되며, 실제 배포에 필요한 미세한 차이를 포착하지 못해 "심투리얼(sim-to-real)" 전이가 취약해지는 경우가 많습니다.
직접적인 실세계 학습: 시뮬레이션 불일치 문제는 피할 수 있으나, 물리적 하드웨어에서 고차원 행동 공간을 탐색할 때 극도로 낮은 샘플 효율성과 안전성 위험을 초나합니다.

본 논문은 저충실도 시뮬레이터가 특정 작업 정책(task policy)을 전이하기에는 불충분할지라도, 정밀한 시각적 또는 역학적 재현 없이도 기하학적 및 상호작용 구조를 포착할 수 있는 재사용 가능한 **행동 추상화(action abstractions, 어포던스)**를 학습하는 데에는 여전히 충분할 수 있다고 가정합니다.

2. 방법론: SLAC 프레임워크

SLAC(Simulation-Pretrained Latent ACtion Space)은 행동 공간 학습(시뮬레이션에서)과 작업 학습(실세계에서)을 분리하는 2단계 파이프라인을 통해 이 긴장을 해결합니다.

단계 1: 저충실도 시뮬레이션에서의 비지도 잠재 행동 학습

첫 번째 단계는 거칠고 저충실도인 시뮬레이터에서 작업 불가지론적(task-agnostic) 잠재 행동 공간( $Z$ )을 학습하는 것입니다. 이 시뮬레이터는 대략적인 기하학적 어포던스(예: 도달 가능한 표면, 충돌 구역)는 보존하지만, 작업 특유의 보상이나 고충실도 역학은 생략합니다.

분리된 비지도 스킬 발견(DUSDi): SLAC은 저충실도 시뮬레이터에서 잠재 행동 디코더 $\pi_{dec}(a|o_{dec}, z)$ $π_{d ec} (a ∣ o_{d ec}, z)$ 를 학습하기 위해 새로운 비지도 RL 알고리즘을 사용합니다.
- 목표: 이 알고리즘은 특정 잠재 행동 요인( $Z_i$ )과 그에 대응하는 상태 요인( $S_i$ ) 사이의 상호 정보량을 최대화하는 동시에, $Z_i$ 와 다른 모든 상태 요인( $S_{\neg i}$ ) 사이의 상호 정보량은 최소화합니다. 이는 각 잠재 차원이 특정 환경 엔티티를 독립적으로 제어하도록 하는 분리된(disentangled) 구조를 강제합니다.
- 안전성: 큰 동작, 충돌, 과도한 힘을 벌점화하는 보편적 안전 보상( $r_{safe}$ )이 포함되어, 학습된 스킬이 실세계 배포 시 안전하도록 보장합니다.
- Q-분해(Q-Decomposition): 많은 상태 요인이 존재하는 복잡한 환경에서 학습을 안정화하기 위해 내재적 보상을 분해합니다. Q-함수는 각 보상 항에 대응하는 하위 구성 요소로 인수분해되어, 분산을 줄이고 수렴을 가속화합니다.
출력: 저차원 잠재 행동( $z$ )을 저수준 로봇 행동( $a$ )의 시퀀스로 매핑하는 디코더를 제공하며, 이는 시간적으로 확장되고 안전하며 구조화된 인터페이스를 제공합니다.

단계 2: 샘플 효율적인 실세계 다운스트림 학습

디코더 학습이 완료되면, SLAC은 새로운 오프-폴리시(off-policy) RL 알고리즘인 **FLA-SAC(Factorized Latent-Action Soft Actor-Critic)**을 사용하여 실제 로봇에서 직접 다운스트림 작업 정책( $\pi_{task}$ )을 학습합니다.

잠재 행동 공간: 정책은 학습된 잠재 공간 $Z$ 에서 작동하며, 이는 기존의 로우 레벨 관절 제어에 비해 행동 공간의 차원을 크게 줄여줍니다.
마스크 처리된 Q-분해(Masked Q-Decomposition): 합성 보상( $R_{task} = \sum R_i$ )이 있는 작업의 경우, FLA-SAC은 Q-함수를 인수분해합니다. 시스템은 특정 보상 항을 특정 잠재 행동 차원과 연관시키는 법을 학습합니다.
자율적 의존성 탐지: 핵심 혁신은 잠재 행동 차원과 보상 항 사이의 의존성 행렬 $B$ 를 자동으로 추론하는 것입니다. 무작위 상호작용 데이터로부터 추정된 조건부 상호 정보량(CMI)을 사용하여, 시스템은 어떤 잠재 차원이 어떤 보상 항에 영향을 미치는지 식별합니다. 이를 통해 알고리즘은 Q-업데이트 중에 무관한 행동 차원을 마스킹하여, 가짜 상관관계(spurious correlations)를 방지하고 그래디언트 추정을 개선할 수 있습니다.
이산 행동 처리: 큰 이산 잠재 공간을 다루기 위해 FLA-SAC은 검보-소프트맥스(Gumbel-Softmax) 트릭을 활용하여 이산 변수를 통한 그래디언트 기반 최적화를 가능하게 합니다.

3. 주요 기여

프레임워크: 고충실도 시뮬레이터 없이도 저충실도 시뮬레이션에서 학습된 작업 불가지론적 잠재 행동 공간을 기반으로 하여, 안전하고 효율적인 실로봇 RL을 가능하게 하는 실로봇 RL 프레임워크를 제시합니다.
알고리즘 (DUSDi): 여러 목적을 공동 최적화할 수 있도록 분리되고 안전을 고려한 잠재 행동 공간을 학습하는 비지도 RL 알고리즘을 제안합니다.
알고리즘 (FLA-SAC): 행동-보상 의존성을 자율적으로 추론하고 마스크 처리된 Q-분해를 활용하여 실세계에서 샘플 효율적인 학습을 수행하는 오프-폴리시 RL 알고리즘을 제안합니다.
실증적 검증: 데모나 수작업 프라이어(prior) 없이도 양팔 이동 조작 로봇(Tiago 로봇)에서 1시간 미만의 실세계 상호작용만으로 도전적인 접촉 중심 전신 작업을 학습함을 입증했습니다.

4. 실험 결과

저자들은 네 가지 접촉 중심 작업(화이트보드 닦기, 장애물이 있는 곳에서 닦기, 쓰레기를 봉투에 쓸어 담기, 트레이 안으로 쓸기)에 대해 bimanual mobile manipulator에서 SLAC을 평가했습니다.

성능: SLAC은 모든 작업에 대해 1시간 미만의 실세계 상호작용 내에 높은 성공률(10회 시도 중 7~9회)을 달성했습니다.
안전성: SLAC은 베이스라인 방법(예: SERL, RLPD)에 비해 현저히 적은 안전 위반을 기록했습니다.
베이스라인 비교: SLAC은 다음 모델들을 능가했습니다:
- SERL: 로우 레벨 공간에서 처음부터 학습하는 최첨단 실세계 RL 프레임워크 (시간 제한 내에 작업을 해결하는 데 실패함).
- Zero-shot Sim2Real: 고충실도 시뮬레이션에서 학습된 정책 (복잡한 튜닝에 수개월이 소요되었음에도 접촉 중심 작업에서 실패함).
- RLPD: 시뮬레이션 프리트레이닝과 실세계 파인튜닝을 사용하는 방식 (시뮬레이션 내에 복잡한 작업 보상을 구현해야 했음).
일반화: 프레임워크는 또한 시뮬레이션된 멀티 로봇 도메인(10대의 드론 제어)에서도 테스트되어, 신체 구조에 구애받지 않는(embodiment-agnostic) 특성을 입증했습니다.

5. 의의 및 주장

본 논문은 SLAC이 시뮬레이션의 역할을 '전이 가능한 정책의 원천'에서 **'어포던스 발견을 위한 기질(substrate)'**로 전환함으로써, 안전하고 효율적인 실로봇 RL을 위한 새로운 패러다임을 구축한다고 주장합니다.

확장성: 빠르게 생성 가능한(예: iGibson에서 20분 미만) 저충실도 시뮬레이터를 사용함으로써, 복잡한 상호작용(예: 마커 흔적이나 유체)에 대한 정밀한 물리 모델링 없이도 SLAC은 시뮬레이터 구축의 병목 현상을 우회합니다.
자율성: 이 프레임워크는 인간의 데모, 모션 캡처 데이터, 또는 수작업으로 만든 행동 프라이어를 필요로 하지 않는 완전 자율적인 시스템입니다.
효율성: 시간적으로 확장된 잠재 행동과 인수분해된 Q-러닝의 결 Kind는 고자유도 로로봇이 이전 방법들보다 수십 배 적은 실세계 샘플로 복잡한 작업을 학습할 수 있게 합니다.

저자들은 본 연구가 (Hu et al., 2025)의 컨퍼런스 발표 내용을 확장하여, 프레임워크를 멀티 로봇 도메인으로 일반화하고, 더 빠른 잠재 공간 학습을 위해 Q-분해를 도입하며, 완전 자율적인 다운스트림 학습을 위해 의존성 탐지 파이프라인을 자동화했음을 밝히고 있습니다.