💻 computer science

StructRL: Structured Action-Space Exploration for Flow-Based VLAs

이 논문은 결정론적 ODE 디코더와 마지막 단계 리플레이를 통해 구조적 확률성을 액션 공간으로 직접 재배치함으로써 기존 방법들의 "구조적 노이즈 희석(Structured Noise Dilution)" 문제를 극복하고, 이를 통해 로봇 조작 작업에서 탐색 효율성과 분포 외(out-of-distribution) 성능을 크게 향상시킨 흐름 기반 시각-언어-행동(Vision-Language-Action) 모델을 위한 강화 학습 프레임워크인 StructRL을 소개한다.

원저자: Jiarui Yang, Bin Zhu, Jingjing Chen, Na Zou, Yanwei Fu, Jianggang Zhu, Yu-Gang Jiang

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiarui Yang, Bin Zhu, Jingjing Chen, Na Zou, Yanwei Fu, Jianggang Zhu, Yu-Gang Jiang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인간의 언어를 이해하고 복잡한 지시를 따를 수 있는 로봇은 더 이상 공상 과학 소설 속의 꿈이 아닙니다. 이들은 전 세계 실험실에서 현실이 되어가고 있습니다. '비전-언어-행동(Vision-Language-Action)' 모델로 알려진 이 시스템은 로봇의 두뇌 역할을 하며, 로봇이 보는 것과 인간이 말하는 것을 받아들인 다음, 과업을 완수하기 위해 팔과 손을 정확히 어떻게 움직일지 결정합니다. 이러한 움직임을 부드럽고 정밀하게 만들기 위해, 연구자들은 종종 조각가가 점토 덩어리를 다듬는 것과 유사한 기법을 사용합니다. 컴퓨터는 로봇이 무엇을 해야 하는지에 대한 거칠고 노이즈가 섞인 추측값에서 시작하여, 완벽하고 유려한 동작이 나타날 때까지 단계적으로, 한 단계씩 이를 정교하게 다듬어 나갑니다. 이 과정은 매우 강력하지만, 로봇이 스스로 새로운 과업을 학습하려고 할 때 한계에 부딪힙니다. 학습을 위해서는 로봇이 무엇이 작동하고 무엇이 실패하는지 확인하기 위해 다양한 행동을 시도하며 탐색해야 합니다. 그러나 만약 로봇이 이 정제 과정 중에 무작위적인 떨림(jitters)을 추가하여 학습을 시도한다면, 그 움직임을 정제하는 행위 자체가 로봇이 실제로 시도하기도 전에 그 떨림을 의도치 않게 매끄럽게 지워버릴 수 있습니다. 결국 로봇은 유용하기에는 너무 무작위적이거나, 안전하기에는 너무 혼란스러운 방식으로 탐색하게 됩니다.

한 연구팀은 로봇이 자신의 실수로부터 배우는 법을 가르치는 더 나은 방법을 발견했습니다. 그들은 문제가 탐색을 장려하기 위해 노이즈를 추가하는 아이디어 자체가 아니라, 바로 그 노이즈가 '어디에' 추가되는가에 있다는 것을 찾아냈습니다. 이전 방식에서는 무작위 변동이 정제 과정 초기에 주입되었고, 이후의 단계들이 동작을 정교화하는 과정에서 이를 부분적으로 지워버렸습니다. 연구자들은 이 현상을 '구조적 노이즈 희석(structured noise dilution)'이라고 부르는데, 이는 탐색을 위한 구체적이고 도움이 되는 패턴들이 실제 행동에 영향을 미치기도 전에 씻겨 내려가는 것을 의미합니다. 이를 해결하기 위해 그들은 'StructRL'이라 불리는 새로운 접근 방식을 개발했습니다. 컴퓨터가 여전히 동작을 파악하고 있는 동안 노이즈를 추가하는 대신, 컴퓨터가 먼저 자신의 일을 끝내어 깨끗하고 완벽한 움직임 계획을 생성하도록 둡니다. 그 후, 그 계획이 완성된 직시에만 최종 움직임에 직접 필요한 변동을 추가합니다. 이는 로봇이 컴퓨터의 내부 계산에 의해 변동이 상쇄되기 전에, 실제로 약간씩 다른 새로운 행동들을 직접 시도할 수 있도록 보장합니다.

이 작업이 성공할 수 있었던 핵심은 로봇의 움직임이 무작위 노이즈가 무시하기 쉬운 특정한 구조를 가지고 있다는 점을 깨달은 데 있었습니다. 로봇의 팔은 세 가지 뚜리한 방식으로 움직입니다. 공간상의 위치를 이동하고, 방향을 회전하며, 그리퍼(집게)를 열거나 닫습니다. 이 세 가지 유형의 움직임은 서로 다릅니다. 위치의 작은 변화는 안전할 수 있지만, 비슷한 크기의 회전은 위험할 수 있으며, 그리퍼는 완전히 다른 종류의 제어가 필요합니다. 연구자들은 이러한 차이를 존중하도록 새로운 방법을 설계했습니다. 그들은 로봇이 앞뒤로 떨리지 않도록 시간에 따라 부드러운 노이즈를 추가했으며, 움직임의 각 부분에 대해 노이즈의 규모를 다르게 설정했습니다. 이는 로봇이 넓은 범위의 움직임을 통해 새로운 위치를 탐색할 수 있게 하면서도, 회전이나 그리퍼 동작은 훨씬 더 신중하고 통제된 상태로 유지할 수 있게 했습니다. 컴퓨터의 내부 정제 과정을 결정론적이고 예측 가능하게 유지하고, 필요한 무작위성을 맨 마지막에만 도입함으로써, 연구자들은 로บ의 탐색이 안전하면서도 효과적이도록 보장했습니다.

연구팀은 이 새로운 방법을 다양한 시뮬레이션 과업과 실제 실험실의 로봇 팔에 테스트했습니다. 시뮬레이션에서 로봇들은 물체를 집어 올리거나, 특정 위치로 옮기거나, 부품을 조립하는 것과 같은 복잡한 조작 과업을 수행하도록 요청받았습니다. 결과는 새로운 접근 방식의 명확한 우위를 보여주었습니다. 도전적인 장기 과업(long-horizon tasks) 세트에서, 새로운 방법을 사용한 로봇들은 정제 과정 중에 노이즈를 추가했던 기존 방식보다 훨씬 뛰어난 성능을 보이며 거의 99%에 달하는 성공률을 기록했습니다. 이러한 개선은 로봇이 이전에 본 적 없는 상황, 예를 들어 물체가 새로운 위치에 놓여 있거나 조명 조건이 다른 상황에 직면했을 때 더욱 눈에 띄었습니다. 새로운 방법으로 훈련된 로봇들은 예상치 못한 변화에 훨씬 더 빠르게 적응하며, 더 적은 시도로서 변화를 다루는 법을 배웠습니다. 이는 탐색의 구조를 보존하는 것이 로봇이 복잡하고 예측 불가능한 현실 세계로 기술을 일반화하는 데 매우 중요하다는 것을 시사합니다.

이것이 실제로 작동함을 증명하기 위해, 연구자들은 가장 성능이 좋은 모델을 실제 실험실의 물리적 로봇 팔에 설치했습니다. 그들은 로봇에게 바나나를 집는 것과 벽 콘센트에 충전기를 꽂는 두 가지 구체적인 과제를 주었습니다. 처음에 로봇은 이 과업들에 대한 몇 번의 시연만을 본 상태였기에, 스스로 수행하라는 요청을 받았을 때 완전히 실패했습니다. 연구자들은 새로운 구조적 탐색 방법을 사용하여 로봇이 시행착오를 통해 학습하도록 했습니다. 바나나 과업의 경우, 새로운 방법을 사용한 로봇은 단 1시간의 온라인 학습 후에 바나나를 성공적으로 집어 올리는 비율이 84%에 도달한 반면, 구조화되지 않은 기존 방법을 사용한 로봇은 56%의 성공률만을 보였습니다. 플러그를 소켓에 맞추기 위해 정밀한 운동 능력이 필요한 충전기 과업의 경우, 새로운 방법은 기존 방법보다 약 5분 더 빠르게 안정적이고 성공적인 상태에 도달할 수 있게 해주었습니다. 이러한 실제 결과는 이론적인 개선이 물리적 기계에 대한 더 빠르고 신뢰할 수 있는 학습으로 직접 연결됨을 확인시켜 주었습니다.

이 연구의 성공은 우리가 로봇을 가르치는 방식에 있어 근본적인 변화를 강조합니다. 이는 로봇이 환경을 탐색하는 방식이 의사 결정을 내리는 데 사용하는 지능만큼이나 중요하다는 것을 보여줍니다. 로봇의 내부 '사고' 과정은 안정적이고 예측 가능하게 유지하되, '행동'하는 과정에서 실험이 일어나도록 함으로써, 연구자들은 더 효율적이고 안전하게 학습하는 시스템을 만들 수 있습니다. 이 발견은 로봇이 실제 세계의 복잡하고 연속적인 움직임을 진정으로 숙달하기 위해서는, 그들의 행동을 일련의 무작위적인 추측으로 취급하는 것을 멈추고 구조화되고 목적이 분명한 실험으로 취급해야 한다는 것을 시사합니다. 이 접근 방식은 단순히 로봇이 지시를 더 잘 따르게 만드는 것을 넘어, 로봇에게 스스로 새로운 지시를 파악할 수 있는 능력을 부여하며, 이는 우리 일상생활에서 진정으로 우리를 도울 수 있는 기계로 나아가는 중요한 단계입니다.

기술 요약: StructRL

문제 정의
$\pi^0$ , $\pi^{0.5}$ , GR00T와 같은 흐름 기반(Flow-based) 시각-언어-행동(VLA) 모델은 효율적인 몇 단계 추론 능력 덕분에 연속적인 로봇 조작 분야의 표준이 되었습니다. 그러나 이러한 모델들은 일반적으로 행동 복제(Behavior Cloning, 모방 학습)를 통해 훈련되므로, 성능이 오프라인 데모의 품질과 범위에 제한된다는 단점이 있습니다. 새로운 작업이나 분포 외(OOD) 시나리오에 이 정책을 적응시키기 위해서는 온라인 강화 학습(RL)이 필요합니다.

본 연구에서 식별된 핵심 과제는 **구조적 노이즈 희석(Structured Noise Dilution)**입니다. 기존의 흐름 기반 VLA를 위한 RL 방법들은 일반적으로 디노이징 체인(흐름 매칭 과정의 중간 단계) 내부에 확률적 요소(노이즈)를 주입합니다. 저자들은 이러한 접근 방식이 의도한 탐색의 구조를 보존하는 데 실패한다고 주장합니다. 구조화된 노이즈(예: 시간적으로 매끄럽거나 그룹별로 스케일링된 노이즈)가 중간 흐름 시간(flow time)에 주입될 때, 사전 훈련된 모델의 남은 디노이징 단계들이 섭동된 샘플을 다시 지도 미세 조정(SFT) 액션 매니폴드로 매핑해 버립니다. 결과적으로, 주입된 노이즈에 명시된 시간적 상관관계와 액션 그룹 스케일은 액션이 실행되기 전에 약화되거나 덮어씌워집니다. 이 현상은 정책이 로봇 친화적인 방식(즉, 적절한 스케일을 가진 위치, 회전, 그리퍼를 포함한 매끄러운 액션 청크)으로 액션 공간을 효과적으로 탐색하는 것을 방해합니다.

방법론: StructRL
구조적 노이즈 희석 문제를 해결하기 위해, 저자들은 정책의 확률성을 디노이징 체인에서 최종 액션 출력으로 이동시키는 액션 공간 RL 프레임워크인 StructRL을 제안합니다. 이 프레임워크는 세 가지 결합된 설계 선택 사항에 의존합니다:

결정론적 ODE 디코더(Deterministic ODE Decoder): 흐름 디코더는 초기 노이즈로부터 "깨끗한" 액션 청크( $x^{clean}_0$ )를 예측하기 위해 결정론적 상미분 방정식(ODE)으로 실행됩니다. 이는 기본 정책이 중간의 확률성에 의해 오염되지 않고 안정성을 유지하도록 보장합니다.
액션 공간 구조적 노이즈 주입(Action-Space Structured Noise Injection): 중간 상태를 섭동시키는 대신, StructRL은 액션 공간에서 직접 구조화된 노이즈( $\Delta_0$ $Δ_{0}$ )를 샘플링하여 깨끗한 출력에 더합니다: $a = x^{clean}_0 + \Delta_0$ $a = x_{0}^{c l e an} + Δ_{0}$ . 이 노이즈는 두 가지 특정 속성을 갖도록 설계되었습니다:
- 시간적 상관관계(Temporal Correlation): AR(1) 프로세스를 사용하여 액션 청크 내에서 시간적으로 매끄러운 노이즈 시퀀스를 생성함으로써 지터(jitter)를 방지합니다.
- 그룹 인지 스케일링(Group-Aware Scaling): 각 차원이 서로 다른 단위, 범위 및 안전 민감도를 가짐을 고려하여, 경량 MLP 헤드를 사용하여 서로 다른 액션 그룹(위치, 회전, 그리퍼)에 대해 별도의 노이즈 스케일을 학습합니다.
라스트 스텝 리플레이(Last-Step Replay): 중간 디노이징 상태에 대한 가능도(likelihood)를 정의하는 것이 불가능하거나 액션 공간 노이즈와 일치하지 않을 수 있으므로(이를 통해 정책 그래디언트 업데이트를 가능하게 함), 저자들은 "라스트 스텝 리플레이" 메커니즘을 도입했습니다. 훈련 중에 시스템은 늦은 디노이징 상태( $x_{t_n}$ )와 실행된 액션을 저장합니다. 업데이트 중에 $t_n$ 에서 0으로의 결정론적 점프를 리플레이하여 깨끗한 액션( $\hat{x}^{clean}_0$ )을 계산합니다. 그 후 실행된 액션과 이 리플레이된 깨끗한 액션 사이의 차이( $\Delta^\theta_0 = a - \hat{x}^{clean}_0$ )를 바탕으로 정책 가능도를 평가합니다. 이를 통해 흐름 디코더를 액션 공간 노이즈의 로그 확률을 통해 업데이트할 수 있으며, 체인 수준의 가능도를 계산할 필요가 없습니다.

주요 기여

구조적 노이즈 희석 식별: 본 논문은 흐로 체인 내부에서 구조화된 노이즈를 주입하는 것이 남은 디노이징 단계로 인해 의도한 시간적 및 그룹별 구조의 손실을 초래함을 실증적으로 보여줍니다.
액션 공간 RL 프레임워크: 결정론적 흐름 예측과 탐색 분포를 분리하고, 트랙터블한 훈련 신호를 제공하기 위해 라스트 스텝 리플레이를 활용하는 흐름 기반 VLA를 위한 새로운 프레임워크를 제안합니다.
구조화된 탐색 구현: AR(1) 시간적 상관관계와 학습 가능한 그룹별 노이즈 스케일을 액션 공간에 직접 구현하여, 탐색을 로봇 조작의 물리적 제약 조건에 정렬시켰습니다.
포괄적인 평가: 세 가지 흐름 기반 VLA 백본( $\pi^0$ , $\pi^{0.5}$ , GR00T N1.5)에 대해 다양한 시뮬레이션 벤치마크(LIBERO, ManiSkill, CALVIN) 및 두 가지 실제 작업에서 검증을 수행했습니다.

결과

시뮬레이션 벤치마크:
- LIBERO: StructRL은 GR00T N1.5에서 평균 성공률 99.0%를 달성하여, 이전 SOTA(Flow-SDE+PPO)보다 2.5% 높은 성능을 보였습니다.
- ManiSkill (OOD): 체인 내부 주입에서 액션 공간 주입으로의 전환(가우시안 노이즈를 사용하더라도)은 OOD 성능을 크게 향상시켰습니다. StructRL은 학습 효율성을 더욱 개선했습니다. $\pi^0$ 에서 액션 공간 접근 방식은 인체인(in-chain) 방식에 비해 OOD 평균 성공률을 28.0 퍼센트 포인트 향상시켰습니다.
- Ablation 연구: 실험을 통해 적절한 노이즈 레벨이 최적임을, 구조화된 노이즈가 가우시안 노이즈보다 더 빠르게 수렴함을, 그리고 리플레이 메커니즘에서의 훈련-추론 일관성이 성능에 결정적임을 확인했습니다. 프레임워크는 다양한 디노이징 단계 수( $T \in \{2, 3, 4, 5\}$ )에 대해 견고했습니다.
실제 환경 실험:
- Franka Emika 로봇을 사용하여 "바나나 집기(pick-banana)" 및 "충전기 꽂기(plug-charger-in)" 작업에 배치되었습니다.
- SFT 초기화 후 성공률 0%에서 시작하여, StructRL은 60분 후 바나나 집기에서 84%의 성공률을 달성했습니다(가우시안 베이스라인의 56% 대비).
- 충전기 꽂기 작업의 경우, StructRL은 약 30분 만에 안정적인 성공 궤도에 진입하여 가우시안 베이스라인의 약 35분보다 빠른 성능을 보였습니다.

의의 및 주장
본 논문은 구조화된 액션 공간 탐색을 유지하는 것이 RL을 통한 흐름 기반 VLA의 효율적이고 견고한 적응에 매우 중요하다고 주장합니다. 저자들은 OOD 시나리오에서 성능 향상의 주요 원인은 탐색을 액션 공간으로 이동시킨 것(희석 방지)이며, 노이즈를 구체적으로 구조화하는 것(시간적 상관관계 및 그룹 스케일링)은 주로 학습 효율성을 높이는 것이라고 주장합니다. 고유한 "구조적 노이즈 희석"을 피함으로써, StructRL은 로봇이 더 적은 상호작용으로 더 효과적으로 탐색할 수 있게 하여 시뮬레이션과 실제 환경 모두에서 희소한 보상으로부터의 빠른 온라인 적응을 용이하게 합니다.

유사한 논문