💻 computer science

Beyond Noise Steering: Dual-Latent Space Reinforcement Learning for Generative Robot Policy

이 논문은 사전 학습된 생성적 로봇 정책을 향상시키기 위해, 초기 노이즈 스티어링(initial-noise steering)과 동결된 생성기를 통한 중간 특징 변조(intermediate feature modulation)를 결합함으로써 기본 정책을 업데이트하지 않고도 효율적인 온라인 적응을 가능하게 하는 새로운 프레임워크인 이중 잠재 공간 강화 학습(Dual-Latent Space Reinforcement Learning, DLSRL)을 제안한다.

원저자: Pengfei Zhang, Teng Sun, Xianchao Xiu

게시일 2026-09-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pengfei Zhang, Teng Sun, Xianchao Xiu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인간이 과업을 수행하는 것을 관찰하며 배울 수 있는 로봇은 더 이상 공상 과학의 영역이 아닙니다. 이들은 인공지능 분야에서 빠르게 성장하고 있는 현실입니다. 흔히 시각-언어-행동 모델(vision-language-action models)이라 불리는 이 시스템들은 도구를 만져보기도 전에 방대한 양의 교육용 영상과 매뉴얼을 읽은 학생처럼 행동합니다. 수백만 개의 사례를 학습함으로써, 이들은 팔을 어떻게 움직이고, 물체를 어떻게 잡으며, 지시를 어떻게 따르는지에 대한 일반적인 감각을 익힙니다. 하지만 학생이 익숙한 과업을 약간 다른 방이나 새로운 도구를 가지고 수행해야 할 때 어려움을 겪는 것처럼, 이 로봇들도 실제 세상이 자신들이 훈련받은 데이터와 완벽하게 일치하지 않을 때 종종 실수를 범합니다. 로봇이 한 번도 본 적 없는 상황에 직면했을 때, 로봇은 빠르게 적응해야 합니다. 과학자들의 과제는 이 거대하고 사전 훈련된 시스템을 처음부터 다시 훈련시키는 과정 없이(이는 실용적으로 쓰기에는 너무 느리고 계산 비용이 많이 듭니다) 어떻게 새로운 환경에 적응하도록 가르칠 것인가 하는 점입니다.

한동안 연구자들은 로봇의 의사 결정 과정의 아주 초기 단계를 미세하게 조정함으로써 로봇을 안내하려고 시도해 왔습니다. 로봇이 무작위적인 노이즈 패턴에서 시작하여 점진적으로 부드러운 동작으로 정교화하며 일련의 움직임을 생성한다고 상상해 보십시오. 기존 방식들은 로봇을 더 나은 결과로 유도하기 위해 그 초기 무작위 패턴을 변경하는 데 집중했습니다. 이것이 도움이 되기는 하지만, 이는 마치 자동차 바퀴의 시작 위치만을 조절하여 자동차를 조종하려는 것과 같습니다. 일단 차가 움직이기 시작하면 운전자는 차량이 경로를 벗어나기 시작할 때 직접적으로 수정할 방법이 없습니다. 로봇의 움직임에 대한 내부적 '생각'은 고정되어 있으며, 초기 조정만으로는 동작 중에 발생하는 작고 정밀한 오류를 쉽게 바로잡을 수 없습니다. 이러한 한계는 설령 안내가 있더라도, 로봇이 찻잔을 받침대에 놓거나 볼트를 조이는 것과 같이 높은 정밀도를 요구하는 과업에서 여전히 실패할 수 있음을 의미합니다.

이를 해결하기 위해 상하이 대학교의 연구진은 '이중 잠재 공간 강화 학습(Dual-Latent Space Reinforcement Learning)'이라는 새로운 접근 방식을 개발했습니다. 로봇의 움직임 계획의 시작점만을 조정하는 대신, 이 시스템은 계획이 생성되는 동안 로봇의 내부적인 생각을 미세하게 조정하는 법을 배웁니다. 연구진은 로봇의 얼어붙은(frozen), 사전 훈련된 뇌와 함께 작동하는 가벼운 제어 모듈을 구축했습니다. 이 모듈은 두 가지 일을 동시에 수행합니다. 이전 방식들처럼 초기 시작 패턴을 선택할 뿐만 아니라, 로봇의 처리 네트워크 중간 레이어에 직접 주입될 두 번째 신호를 생성합니다. 이것은 목적지를 설정하는 데 도움을 줄 뿐만러, 자동차가 주행하는 동안 핸들과 페달을 미세하게 실시간으로 조절하여 차량이 필요한 정확한 경로를 유지하도록 돕는 부조종사를 두는 것과 같습니다.

연구진은 시뮬레이션 환경에서 물체 들어 올리기, 캔 옮기기, 블록 쌓기 등 다양한 로봇 과업을 통해 이 방법을 테스트했습니다. 그들은 시작점만을 조정했던 기존의 가장 우수한 방식들과 이 새로운 시스템을 비교했습니다. 결과에 따르면, 이 이중 제어 시스템을 통해 로봇이 훨씬 더 빠르게 학습할 수 있었습니다. 캔을 특정 위치로 옮기는 것과 같이 높은 정밀도를 요구하는 과업에서, 새로운 방식은 거의 99%의 성공률에 도달한 반면, 기존 방식들은 90%를 넘기는 데 어려움을 겪었습니다. 로봇은 더 적은 시도로 새로운 도전 과제에 적응했으며, 이는 로봇이 자신의 실수를 더 효율적으로 배울 수 있음을 의미합니다. 또한 이 연구는 이 접근 방식이 특정 설계뿐만 아니라 다양한 유형의 로봇 뇌와도 작동한다는 것을 보여주며, 로봇 성능을 향상시키기 위한 다재다양한 도구임을 시사합니다.

이 발견의 핵심적인 부분은 이 내부적인 '넛지(nudge, 가벼운 자극)'가 얼마나 큰 영향력을 가져야 하는지를 이해하는 것이었습니다. 연구진은 만약 로봇의 내부 생각에 너무 강하게 압력을 가하면 움직임이 불안정하고 불규칙해진다는 것을 발견했습니다. 그러나 적절한 양의 부드러운 압력을 가했을 때, 로봇의 성능은 꾸준하고 매끄럽게 향상되었습니다. 이 균형을 통해 로봇은 이미 학습한 일반적인 기술을 유지하면서도, 새로운 과업에 필요한 구체적이고 미세한 교정을 수행할 수 있었습니다. 이 시스템은 거대한 사전 훈련된 모델 자체를 변경하지 않고도 이러한 결과를 달았으며, 핵심적인 로봇 뇌는 온전하게 유지하면서 작고 가벼운 제어 모듈만을 업데이트했습니다. 이는 로봇을 새로운 상황에 배치할 수 있고, 근본적인 지능에 대한 완전한 개편 없이도 즉석에서 적응하는 법을 배울 수 있음을 의미합니다.

이 연구의 함의는 로보틱스의 미래에 있어 매우 중요합니다. 로봇이 움직임을 생성하는 동안 정밀한 조정을 할 수 있게 함으로써, 이 방식은 광범위하고 일반적인 지식과 실제 세상에서 요구되는 구체적이고 섬세한 행동 사이의 간극을 메워줍니다. 연구진은 광범위한 시뮬레이션을 통해 이 접근 방식이 여러 과업에 걸쳐 기존 기술보다 일관되게 뛰어난 성능을 보인다는 것을 확인했습니다. 비록 이 작업은 컴퓨터 시뮬레이션 내에서 수행되었지만, 적응의 속도와 효율성은 이 로봇들이 곧 실제 환경에 배치되어, 이전에는 달성하기 어려웠던 수준의 숙련도로 새로운 물체와 환경을 다루는 법을 배울 수 있음을 시사합니다. 이 연구는 로봇이 내부 표현(internal representations)을 조종할 수 있는 방법을 제공함으로써, 우리가 기계를 단순히 똑똑할 뿐만 아니라 유연하고 예측 불가능한 물리적 세계에 대비할 수 있게 만들 수 있다는 결론을 내립니다.

기술 요약: 생성형 로봇 정책을 위한 이중 잠재 공간 강화 학습 (Dual-Latent Space Reinforcement Learning)

문제 정의

디퓨전 정책(Diffusion Policies) 및 플로우 매칭(flow-matching) 모델과 같은 사전 학습된 생성형 로봇 정책은 대규모 데이터셋을 활용하여 표현력이 풍부한 행동 사전 확률(action priors)을 학습한다. 그러나 이러한 모델들은 다운스트림 태스크가 사전 학습 분포에서 벗어날 때, 특히 작은 공간적 또는 시간적 오류가 실패로 이어지는 장기 호라이즌(long-horizon) 태스크에서 어려움을 겪는 경우가 많다. 온라인 적응(online adaptation)이 필수적이지만, 수십억 개의 파라미터를 가진 모델을 전체 미세 조정(full fine-tuning)하는 것은 계산 비용 측면에서 매우 불가능에 가깝다.

DSRL(Diffusion Steering via Reinforcement Learning)과 같이 기존의 파라미터 효율적 적응 방법들은 주로 행동 생성의 경계 영역에서만 작동한다. 예를 들어, DSRL은 고정된 생성기를 유도하기 위해 관찰값에 조건화된 초기 노이즈 정책을 학습한다. 이 방식은 효과적이긴 하지만, 생성 과정의 시작점(initialization)에만 영향을 미친다. 이는 중간 단계의 행동 표현(action representations)을 조절하는 데 실패하며, 결과적으로 생성 과정 중에 접촉 위치, 행동 크기 또는 국소 궤적에 대한 정밀한 교정을 수행하는 능력을 제한한다. 반대로, 잔차 정책(residual policies)은 행동 생성 이후에 교정을 적용하므로, 생성 과정 내의 행동 표현의 내부 진화를 형성하지 못한다. 즉, 고정된 생성기 내부에서 글로벌 행동 선택과 중간 행동 표현의 직접적인 변조를 결적으로 결합하는 RL 메커니즘이 부재한 상황이다.

방법론: 이중 잠재 공간 강화 학습 (DLSRL)

이러한 한계를 해결하기 위해 저자들은 **이중 잠재 공간 강화 학습(Dual-Latent Space Reinforcement Learning, DLSRL)**을 제안한다. 이 프레임워크는 고정된 생성적 정책 내부에서 초기 노이즈 스티어링(initial-noise steering)을 보완하는 표현 수준의 제어(representation-level control)를 도입하는 새로운 제어 인터페이스를 제공한다.

1. 이중 잠재 액터 (Dual-Latent Actor)

전통적인 노이즈 공간 RL 방식이 오직 초기 노이즈 벡터( $z_t$ )만을 예측하는 것과 달리, DLSRL 액터는 현재 관찰값( $o_t$ )에 조건화된 두 가지 구별된 잠재 변수를 예측한다:

초기 노이즈 잠재 변수 ( $z_t$ ): 기존 방식과 유사하게 전반적인 행동 생성을 유도(steer)한다.
행동 표현 잠재 변수 ( $u_t$ ): 중간 특징 변조(intermediate feature modulation)를 위해 설계되었다.

액터는 $\pi_\theta(\cdot | o_t)$ 로 파라미터화되며, 결합 분포 $(z_t, u_t)$ 를 출력한다.

2. 어댑터 특징 매핑 및 잔차 주입 (Adapter Feature Mapping and Residual Injection)

행동 표현 잠재 변수 $u_t$ 는 경량화된 어댑터 특징 매퍼(adapter feature mapper) $A_\omega$ 를 통해 어댑터 특징 $f_t$ 를 생성한다:
$f_t = A_\omega(u_t)$

이후 이 특징들은 고정된 베이스 정책 $G_\phi$ 에 주입된다. 구체적으로, 어댑터 특징들은 주입 강도 $\lambda_{inj}$ 에 의해 스케일링된 후, 선택된 고정된 트랜스포머 블록 내의 행동 토큰 숨겨진 상태(hidden states)에 잔차 방식으로 더해진다:
$\tilde{H}^{(l)}_{t,k} = H^{(l)}_{t,k} + \lambda_{inj} f_t$
여기서 $H^{(l)}_{t,k}$ 는 레이어 $l$ 과 생성 단계 $k$ 에서의 행동 토큰 숨겨진 상태를 나타낸다. 이 설계는 베이스 정책의 파라미터를 업데이트하거나 네트워크 구조를 변경하지 않고도 행동 표현을 직접 조정할 수 있게 한다. 베이스 정책은 최종 행동 청크를 다음과 같이 생성한다:
$a_t = G_\phi(o_t, z_t, f_t)$

3. 이중 잠재 정책 최적화 (Dual-Latent Policy Optimization)

학습 프레임워크는 고정된 생성기를 통해 역전파(backpropagation)를 수행하지 않고 이중 잠재 액터를 최적화하기 위해 가치 증류(value-distillation) 메커즘을 사용한다:

행동 공간 크리틱 ( $Q^{act}_\psi$ ): 행동 청크의 리턴(return)을 추정하기 위해 표준 오프-폴리시(off-policy) TD 학습을 사용하여 온라인 상호작용 데이터를 통해 학습된다.
잠재 공간 크리틱 ( $Q^{lat}_\nu$ ): 행동 공간 크리틱이 예측한 가치와 일치하도록 증류 목적 함수를 통해 최적화된다. 이 크리틱은 $z_t$ 와 $f_t$ 가 태스크 리턴에 미치는 결합 효과를 학습한다.
$L_{distill} = \mathbb{E}[(Q^{lat}_\nu(o_t, \hat{z}_t, \hat{f}_t) - \text{sg}[Q^{act}_\psi(o_t, \hat{a}_t)])^2]$
액터 업데이트: 이중 잠재 액터는 엔트로피 정규화된 목적 함수를 사용하여 잠재 공간 가치를 최대화하도록 업데이트된다:
$L_{actor} = \mathbb{E}[\alpha \log \pi^z_\theta(z_t | o_t) - Q^{lat}_\nu(o_t, z_t, f_t)]$

배포 시에는 액터와 어댑터 매퍼만 유지되며, 크리틱은 폐기된다.

주요 기여

본 논문은 세 가지 주요 기여를 명시한다:

새로운 프레임워크: 초기 노이즈와 행동 표현 잠재 변수를 동시에 최적화하여, 정책 가이드의 범위를 샘플링 초기화 단계에서 중간 표현 단계로 확장하는 잠재 공간 RL 프레임워크를 도입하였다.
경량 변조 메커니즘: 베이스 정책의 업데이트 없이도 어댑터 특징을 행동 토큰과 정렬된 형태로 매핑하여 트랜스포머 숨겨진 상태에 주입하는 잔차 변조 메커니즘을 개발하였다.
실증적 검증: 디퓨전 및 플로우 매칭 정책을 사용하는 일련의 실험을 통해 DLSRL이 온라인 적응 속도를 가속화하면서도 경쟁력 있는 최종 성능을 유지함을 입증하였다.

실험 결과

실험은 고정된 트랜스포머 기반 디퓨전 정책과 $\pi_0$ 플로우 매칭 정책을 사용하여 RoboMimic(Lift, Can, Square) 및 LIBERO(Stove-On, Bowl-Drawer-to-Plate를 포함한 6개 태스크) 벤치마크에서 수행되었다.

적응 속도: DLSRL은 초기 및 중간 학습 단계에서 DSRL, DPPO, JSRL과 같은 베이스라인 모델들에 비해 일관되게 빠른 성능 향상을 보여주었다.
성공률:
- Can 태스크(RoboMimic)에서 DLSRL은 후기 단계에서 약 **99%**의 성공률을 달 기록하며, DSRL(~90%)을 능가하였다.
- LIBERO 태스크에서 DLSRL은 DSRL보다 적은 환경 상호작용만으로 포화 성능(saturated performance)에 도달하였다.
효율성: 표 I에 따르면, DLSRL은 6개 LIBERO 태스크 전체에서 DSRL 대비 **15.27%에서 25.40%**에 이르는 평균 에피소드 길이 감소를 달성하였다.
어블레이션 연구 (Ablation Studies):
- 초기 노이즈 스티어링을 제거한 경우(DLSRL-Rep)에도 Can 태스크에서 성공률이 ~27%에서 ~52%로 향상되어, 표현 수준의 변조만으로도 적응에 기여함을 확인하였다.
- 주입 강도( $\lambda_{inj}$ ) 분석 결과, 높은 값($0.09 $)은 초기 이득은 빠르지만 불안정성을 초래했다. 반면, 적절한 값($ 0.06$)은 100% 성공률을 달성하며 최적의 균형을 제공했다.

의의 및 주장

저자들은 DLSRL이 초기 노이즈 스티어링과 행동 토큰 숨겨진 상태 변조를 통합한 첫 번째 연구라고 주장한다. 이 연구의 의의는 거대 생성 모델의 미세 조정 비용 없이도 고정된 생성기 내부에서 추가적인 제어 인터페이스를 제공함으로써, 접촉 위치 및 궤적에 대한 정밀한 교정을 가능하게 한다는 점에 있다.

결론적으로 DLSRL은 로봇 정책의 온라인 적응을 효과적으로 가속화한다. 저자들은 DLSRL이 우수한 적응 속도를 보여주지만, 다른 방법들이 결국 유사한 성공률에 수렴할 수 있는 단순한 태스크보다는 높은 행동 정밀도가 요구되는 태스크(예: Can, Square)에서 그 이점이 더 두드러진다는 점을 겸허히 언급하였다. 향후 연구에서는 이 프레임워크를 실제 환경에서 평가하고, 특정 아키텍처 선택(주입 레이어, 단계, 강도 등)의 효과를 조사할 계획이다.