🤖 machine learning

$\pi\mathbf{R}^2$ : Reactive Real-time Flow Policies

본 논문은 새로운 백본 아키텍처를 요구하지 않으면서도 빠른 고유 수용 감각(proprioceptive)과 느린 시각적 컨디셔닝을 분리하고 지연 시간 적응형 플로우 스케줄(latency-adaptive flow schedule)을 채택함으로써, 범용 액션 청킹 플로우 정책(generalist action-chunking flow policies)의 실시간 반응성을 향상시켜 고주파 폐루프 제어를 가능하게 하고 역동적인 조작 작업에서 성공률을 크게 개선하는 프레임워크인 $\pi\mathbf{R}^2$ 를 소개한다.

원저자: Sungjae Park, Shubham Tulsiani

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sungjae Park, Shubham Tulsiani

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 저글링을 가르치고 있다고 상상해 보세요. 로봇 공학의 세계에서는 인간이 하는 것을 보고 거의 모든 것을 배울 수 있는 거대하고 매우 똑똑한 AI 두뇌인 '파운데이션 모델(foundation models)'을 구축하려는 큰 움직임이 있습니다. 이 두뇌는 마치 지식의 거대한 도서관과 같아서, 책(텍스트)을 읽고 사진(시각)을 보며 세상을 이해합니다. 이 두뇌가 움직이게 만들기 위해 엔지니어들은 '액션 청킹(action chunking)'이라는 기술을 사용합니다. 로봇에게 "손을 여기로, 그다음 저기로, 그다음 저기로 움직여"라고 아주 작은 단계 하나하나를 지시하는 대신, AI는 마치 요리사가 요리를 시작하기 전에 전체 레시피를 미리 써 내려가는 것처럼 미래의 움직임 한 덩어리를 한꺼번에 예측합니다. 이는 로봇의 움직임을 더 부드럽고 일관되게 만듭니다.

하지만 여기에는 함정이 있습니다. AI가 너무 크고 복잡하기 때문에, 그 전체 레시피를 만들어내는 데 시간이 오래 걸린다는 점입니다. 로봇이 레시피의 처음 몇 단계를 실행하는 동안, 세상은 변해버릴 수 있습니다. 공이 굴러가 버릴 수도 있고, 사람이 로봇의 팔을 툭 칠 수도 있습니다. 로봇이 현재 일어나고 있는 일을 보지 못한 채 예전의 레시피를 '오픈 루프(open-loop)' 방식으로 실행하는 동안에는, 즉각적으로 반응할 수 없습니다. 이는 마치 10초 전의 도로 상황만 볼 수 있는 눈가리개를 쓴 채 운전을 하는 것과 같습니다. 로봇이 진정으로 반응형이 되기를 원한다면, 지금 당장의 도로를 봐야 하지만, 거대한 두뇌는 그 레시피를 그렇게 자주 업데이트하기에는 너무 느립니다.

여기서 πR2(파이-알-스퀘어라고 발음)라는 새로운 아이디어가 등장합니다. 카네기 멜런 대학교의 연구진은 로봇의 '눈과 두뇌'(시각과 언어 부분)는 느리고 무겁지만, 로봇의 '신체 감각'(고유 수용 감각—관절이 어디에 있는지, 얼마나 빨리 움직이는지, 얼마나 세게 밀고 있는지 아는 것)은 믿을 수 없을 정도로 빠르다는 사실을 깨달았습니다. 그들은 로봇의 주의력을 두 개의 채널로 나누는 시스템을 구축했습니다. 즉, 큰 그림(물체가 어떻게 보이는지)을 위한 느리고 무거운 채널과, 신체의 즉각적인 느낌을 위한 번개처럼 빠른 채널로 나눈 것입니다.

이것을 비행기를 조종하는 조종사에 비유해 보겠습니다. 조종사는 일반적인 방향을 결정하기 위해 지도와 기상 보고서(느린 시각 부분)를 보지만, 조종간과 바람을 손으로 느끼며 미세하고 순식간에 조절을 수행합니다(빠른 고유 수용 감각 부분). πR2는 로봇도 이와 똑같이 할 수 있게 해줍니다. 이 방식은 일반적인 계획을 위한 크고 느린 레시피를 유지하면서도, 로벳이 근육을 움직일 때마다 매번 새로운 데이터로 즉각적인 '스티어링 휠(조종 핸들)' 움직임을 업데이트합니다.

연구 결과는 인상적입니다. 로봇의 현재 동작을 완성된 제품이 아닌 '진행 중인 작업'으로 취급하는 영리한 스케줄링 기법을 통해, πR2는 기존 방식보다 약 4배 더 빠르게 계획을 업데이트할 수 있었습니다. 테스트 결과, 이 방식은 거대하고 느린 AI 모델을 실행하는 중에도 약 40밀리초(초당 25회)마다 새로운 정보에 반응할 수 있게 해주었습니다.

결과는 놀랍습니다. 컴퓨터 시뮬레이션에서 이 새로운 방법은 성공률을 최대 **23%**까지 향상시켰습니다. 하지만 진짜 마법은 물리적인 세계에서 일어났습니다. 정교한 손을 가진 실제 로봇 팔에 테스트했을 때, πR2는 기존의 가장 뛰어난 방식들을 최대 **30%**까지 앞질렀습니다. 이 로봇은 떨어지는 책을 받거나, 상자를 똑바로 세우거나, 책 더미를 정리할 때 책을 떨어뜨리지 않고 해냈는데, 이는 세상이 변하는 것을 느끼고 즉각적으로 움켜쥐는 힘을 조절했기 때문입니다. 연구진은 다른 로봇들이 너무 늦게 반응하여 책을 뭉개버리는 반면, πR2는 책이 미끄러지는 것을 느끼는 순간 움켜쥐는 힘을 부드럽게 조절한다는 것을 발견했습니다. 이는 로봇이 역동적인 현실 세계의 과업을 진정으로 마스터하기 위해서는 단순히 더 똑똑해지는 것뿐만 아니라, 자신의 몸의 소리에 더 빠르게 귀를 기울여야 한다는 것을 시사합니다.

기술 요약: $\pi\text{R}^2$ : 반응형 실시간 흐름 정책 (Reactive Real-time Flow Policies)

문제 정의

최근 로봇 공학 파운데이션 모델의 발전은 대규모 사전 학습된 백본(예: 시각-언어 모델 또는 VLM), 표현력이 풍부한 다중 모드 정책 헤드(디퓨전 또는 플로우 매칭), 그리고 액션 청킹(action chunking)을 결al합한 표준 아키텍처를 확립했습니다. 이러한 패러다임은 확장 가능한 모방 학습을 가능하게 하지만, 동적인 폐루프 제어(closed-loop control)에 적용할 때 두 가지 결정적인 한계에 직면합니다:

반응성 저하: 액션 청크는 개루프(open-loop) 방식으로 실행됩니다. 일단 청크가 예측되면, 다음 청크가 생성될 때까지 로봇은 실행 도중 들어오는 감각 입력에 반응할 수 없습니다.
높은 지연 시간(Latency): 인지-액션 파이프라인은 무거운 연산 과정(대규모 백본 추론 + 다단계 디노이징 단계)을 포함합니다. 이 지연 시간은 빈번한 재계획(replanning)을 방해하며, 결과적으로 정책이 "오래된" 감각 관측치에 의존하게 만듭니다. 따라서 로봇은 업데이트되지 않은 상태를 기반으로 행동을 결정하게 되어, 빠르고 부드러우며 반응적인 수정이 필요한 작업(예: 접촉이 빈번한 조작)에 적합하지 않습니다.

반응성을 개선하기 위해 단순히 청크 크기를 줄이는 것은 불가능합니다. 왜냐하면 백본의 계산 비용과 다단계 디노이징 반복 횟수가 고주파 제어 루프를 유지하기에는 여전히 너무 높기 때문입니다.

방법론

저자들은 기존의 플로우 매칭 정책을 수정하여, 대규모 백본이나 다중 액션 예측을 버리지 않고도 실시간 폐루프 반응성을 달配合할 수 있는 프레임워크인 $\pi\text{R}^2$ 를 제안합니다. 이 접근 방식은 두 가지 핵심적인 구조적 및 스케줄링 혁신에 기반합니다:

1. 고유 수용성 반응형 디퓨전 포싱 (Proprioception-Reactive Diffusion Forcing)

저자들은 입력 처리 비용의 비대칭성을 식별했습니다: 고유 수용성 신호(관절 위치, 속도, 토크)는 시각 또는 언어 데이터보다 수십 배 더 빠르게 처리될 수 있습니다.

이중 채널 조건화 (Dual-Channel Conditioning): 정책은 조건화를 두 채널로 분리합니다:
- Fast Channel (빠른 채널): 매 제어 틱(예: 40ms마다)마다 업데이트되는 고유 수용성 정보.
- Slow Channel (느린 채널): VLM 백본으로부터 오는 시각 및 언어 특징(feature). 이는 비동기적으로 업데이트됩니다.
비동기 처리: 액션 헤드는 매 디노이징 단계마다 신선한 고유 수용성 정보에 조건화되는 동시에, 시각-언어 특징의 유한한 노후화(staleness)를 허용합니다. 학습 과정에서는 느린 채널을 임의의 양 $d_{vlm}$ 만큼 인위적으로 지연시켜 모델이 오래된 시각 입력을 처리하는 법을 배우도록 합니다. 추론 시에는 시각-언형 특징을 백그라운드 스레드에서 처리함으로써, 액션 헤드가 캐싱된 특징과 신선한 고용 수용성 정보를 사용하여 즉시 실행될 수 있도록 합니다.

2. 지연 시간 적응형 플로우 스케줄 (Latency-Adaptive Flow Schedule)

하드웨어, 네트워크 지연 또는 계산 부하로 발생하는 가변적인 추론 지연( $d$ )을 처리하기 위해, $\pi\text{R}^2$ 는 측정된 지연 $d$ 에 의해 매개변수화된 **계단형 노이즈 스케줄(staircase noise schedule)**을 도입합니다.

3개 영역 스케줄: 타겟 지연 $d$ $d$ 에 대해, 길이 $H$ $H$ 인 액션 청크는 다음과 같이 나뉩니다:
1. Front (전면, $0 \le p < d$ ): 이미 실행 중인 "인플라이트(in-flight)" 액션들입니다. 이들은 인페인팅 조건화(clamped clean)로 취급되며 재예측되지 않습니다.
2. Interior (내부, $d \le p < H-d$ ): 클린(clean) 상태에서 노이즈(noise) 상태로 변하는 선형 램프 구간입니다. 모델은 여기서 새로운 액션을 예측합니다.
3. Tail (후면, $H-d \le p < H$ ): 미래의 예측을 위해 버퍼에 추가되는 순수 노이즈 슬롯입니다.
단일 단계 추론 (Single-Step Inference): 전체 청크를 예측하기 위해 $K$ 번의 디노이징 단계를 요구하는 표준 플로우 매칭과 달리, $\pi\text{R}^2$ 는 $d$ 개의 새로운 클린 액션을 방출하기 위해 호출당 단 한 번의 디노이징 단계를 사용합니다. 그 후 버퍼는 앞으로 슬라이딩하며 신선한 노이즈 슬롯을 추가합니다.
학습 전략: 모델은 무작위 지연 $d$ 를 샘플링하고 그에 상응하는 계단형 스케줄을 적용하여 학습됩니다. 마스크(mask)는 "전면(front)" 액션을 손실 함수(loss)에서 제외합니다. 이를 통해 단일 모델이 배포 시 다양한 추론 지연에 적응할 수 있게 합니다.

주요 기여

반응형 실시간 추론: $\pi\text{R}^2$ 는 플로우 정책이 대규모 백본이나 다중 액션 예측을 유지하면서도 약 4배 더 빠르게 폐루프 재계획을 수행할 수 있게 합니다(GR00T-N1.7과 같은 대형 VLA를 사용하는 A5000 GPU에서 25Hz 달성). 이는 40ms마다 신선한 고유 수용성 관측치에 기반하여 동작합니다.
구조적 미니멀리즘: 이 방법은 기존 아키텍처에 최소한의 수정만을 요구합니다. 무거운 백본을 다시 학습시키지 않고도, 조건화 메커니즘과 노이즈 스케줄을 변경함으로써 사전 학습된 정책(예: VLA)을 파인튜닝하여 적용할 수 있습니다.
지연 시간 적응성: 제안된 노이즈 스케줄을 통해 단일 모델이 가변적인 추론 지연을 원활하게 처리할 수 있으며, 지연 시간이 변동하더라도 부드러운 실행을 유지합니다.

실험 결과

저자들은 xArm6 + XHand 플랫폼에서 GR00T-N1.7 모델을 사용하여 시뮬레이션과 실제 환경 모두에서 $\pi\text{R}^2$ 를 평가했습니다.

시뮬레이션 (Leap Cube Reorientation):
- 추론 지연이 없는 경우, $\pi\text{R}^2$ 는 디노이징 비용을 분담하면서도 작은 실행 호라이즌( $h=1, 2$ )을 가진 표준 플로우 정책과 동일한 성능을 보였습니다.
- 현실적인 지연 제약 조건 하에서, 비동기 처리를 적용한 $\pi\text{R}^2$ 는 베이스라인(Naive Async, Train-Time RTC)보다 성능이 현저히 우수했습니다. 지연이 증가함에 따라 베이스라인은 성능이 급격히 저하된 반면, $\pi\text{R}^2$ 는 높은 성공률을 유지했습니다. 이는 최신 고유 수용성 정보가 (비록 시각 정보가 오래되었더라도) 반응형 작업에서 매우 중요하다는 것을 확인시켜 줍니다.
실제 환경 조작:
- 작업에는 "쏟지 않기(Don't Spill)", "책 정리하기(Tidy Up Book)", "상자 넣기(Insert Box)", "책 잡기(Catch Book)"와 같은 접촉이 빈번한 시나리오가 포함되었습니다.
- 성능: $\pi\text{R}^2$ 는 가장 강력한 베이스라인인 Train-Time RTC와 비교했을 때 시뮬레이션에서 최대 23%, **실제 환경에서 최대 30%**의 성공률 향상을 보였습니다.
- 정성적 분석: "책 정리하기" 작업에서 $\pi\text{R}^2$ 는 실시간 고유 수용성 피드백을 바탕으로 파지력(grip force)을 성공적으로 조절했습니다(약 50N에서 멈춤). 반면, 베이스라인(Train-Time RTC)은 접촉에 늦게 반응하여 과도하게 움켜쥐어(약 120N) 책을 으깨버렸습니다. $\pi\text{R}^2$ 는 실패로부터 회복하고 부드럽고 반응적인 움직임을 실행하는 데 탁월한 능력을 보여주었습니다.

의의 및 주장

본 논문은 $\pi\text{R}^2$ 가 대규모 파운데이션 모델의 표현력과 역동적인 조작에 필요한 반응성 사이의 간극을 성공적으로 메웠다고 주장합니다. $\pi\text{R}^2$ 를 통해 로봇은 다음을 수행할 수 있습니다:

액션 청크 내에서 감각 입력(특히 고유 수용성 정보)에 반응할 수 있습니다.
다중 액션 예측 및 대규모 사전 학습된 백본의 이점을 유지합니다.
복잡한 VLA 아키텍처로는 이전에는 불가능했던 실시간 폐루프 제어 빈도(25 Hz)를 달성합니다.

저자들은 이 접근 방식이 처음부터 학습할 필요 없이 기존 정책의 원칙적인 파인튜닝을 요구하며, 이는 현재의 로보틱스 파운데이션 모델에 반응형 행동을 배포하기 위한 실질적인 솔루션임을 강조합니다.

기술 요약: πR2\pi\text{R}^2πR2: 반응형 실시간 흐름 정책 (Reactive Real-time Flow Policies)