기술 요약: 잠재 공간에서의 고주파수 연속 행동 청크 학습

1. 문제 제기

현대 로봇 정책은 복잡한 궤적과 장기 의존성을 모델링하기 위해 단일 단계 명령이 아닌 시간적으로 확장된 행동 시퀀스를 예측하는 **행동 청크 (action chunking)**를 increasingly 활용하고 있습니다. 중간 정도의 행동 주파수에서는 효과적이지만, 이 접근법은 **고주파수 (예: 60 Hz)**로 확장될 때 상당한 도전에 직면합니다.

고주파수에서 직접 행동 공간에서 훈련된 정책은 시간적으로 매끄럽고 공간적으로 일관된 행동을 생성하는 데 종종 실패합니다. 이로 인해 다음과 같은 문제가 발생합니다:

• 떨림 궤적 (Jittery trajectories): 고주파수 노이즈와 부정확성.
• 정지 - 이동 운동 (Stop-and-go motion): 저주파수 이산화로 인해 반복적인 가속과 감속이 강제되어 속도 저하와 불연속적인 운동이 발생합니다.
• 비동기 추론 간극 (Asynchronous inference gaps): 실시간 실행은 행동 실행과 정책 추론을 오버랩해야 합니다. 그러나 비동기적으로 추론된 청크 간 전환은 종종 청크 경계에서 큰 불연속성을 초래하여 가시적인 정지, 되감기 (rollback), 그리고 실행 품질 저하를 유발합니다.

저주파수에서 훈련한 후 고주파수로 보간하는 것과 같은 기존 대안들은 예측 오차를 증폭시키고 매끄러운 제어를 위해 필요한 세밀한 운동 구조를 복원하지 못합니다.

2. 방법론

저자들은 이러한 도전을 해결하기 위해 두 가지 접근법을 제안합니다: 학습을 **잠재 공간 (latent space)**으로 전환하고, **Reuse-then-Refine (RTR)**이라는 훈련이 불필요한 실행 전략을 도입하는 것입니다.

2.1. VAE 를 통한 잠재 공간 학습

행동 공간에서 고주파수 행동 청크를 직접 예측하는 대신, 정책은 **변분 오토인코더 (VAE)**로 압축된 연속 잠재 공간에서 예측하도록 학습됩니다.

• 인코더: 고주파수 행동 청크 $A_t \in \mathbb{R}^{H \times c}$ (여기서 $H$는 호라이즌, $c$는 행동 차원) 를 차원이 낮고 시간적으로 다운샘플링된 잠재 표현 $z \in \mathbb{R}^{h \times d}$ (여기서 $h = H/f$, $f$는 다운샘플링 인자) 로 압축합니다.
• 정책 훈련: 정책 $\pi_\theta$는 원시 행동이 아닌 관측치 $o_t$를 잠재 벡터 $z$로 매핑하도록 훈련됩니다.
• 디코더: 고정된 VAE 디코더는 예측된 잠재 벡터에서 고주파수 행동 청크를 재구성합니다.
• 메커니즘: 이 공식화는 미세한 고주파수 명령 변이에서 일관된 지역 운동 패턴으로 학습 목표를 전환합니다. KL 정규화는 이러한 패턴이 더 매끄러운 잠재 매니폴드에 위치하도록 장려하여 함수 근사의 부담을 줄이고 불필요한 고주파수 교란을 억제합니다.

2.2. Reuse-then-Refine (RTR)

비동기 추론 (추론 지연으로 인해 예측된 청크와 현재 로봇 상태 간의 정렬 불일치가 발생하는 경우) 하에서 인접한 행동 청크 간의 연속성을 보장하기 위해 저자들은 RTR 을 도입합니다.

• 재사용 (Reuse): 이전 청크의 구식 행동이나 새로 추론된 청크를 폐기하는 대신, RTR 은 추론 창 동안 실행된 행동을 재사용합니다.
• 연결 (Concatenation): 이러한 재사용된 행동은 새로 예측된 행동 청크의 구식되지 않은 부분과 연결되어 시간적으로 정렬되지 않은 중간 시퀀스를 형성합니다.
• 정제 (Refine): 이 연결된 시퀀스는 잠재 표현을 얻기 위해 VAE 인코더에 입력된 후 디코딩됩니다.
• 결과: VAE 디코더는 연결된 시퀀스 내의 불일치를 매끄럽게 하면서 가장 최근에 실행된 행동과의 정렬을 유지하여 추가적인 정책 훈련 없이 청크 간 원활한 전환을 보장합니다.

3. 주요 기여

1. 잠재 공간 고주파수 학습: (OpenVLA-OFT 와 같은) 이산 토큰화에 의존하는 모델의 경우, 직접 행동 공간 학습에 비해 연속 잠재 공간 (VAE 를 통해) 에서 고주파수 행동 정책을 학습하는 것이 훨씬 더 매끄럽고 정밀한 궤적을 산출함을 입증했습니다.
2. Reuse-then-Refine (RTR): 비동기 추론 하에서 청크 수준의 연속성을 개선하기 위한 훈련이 불필요한 전략을 제안합니다. 이전 방법들 (예: RT-C) 이 행동 공간에서 이전 청크에 조건부 생성을 수행하는 것과 달리, RTR 은 재사용된 행동과 새로운 행동이 혼합된 시퀀스를 정제하기 위해 VAE 를 활용합니다.
3. 실증적 검증: 세 가지 다른 정책 아키텍처 (Diffusion Policy, OpenVLA-OFT, PI0.5) 를 사용하여 세 가지 접촉이 풍부한 작업 (오이 껍질 벗기기, 화분 닦기, 보드 쓰기) 에서 광범위한 실세계 평가를 제공했습니다.

4. 실험 결과

이 논문은 정밀도 (평균 절대 오차/편차), 매끄러움 (가속도 변화율, Jerk), 안전성 (속도 한도 초과 횟수), 그리고 지연 시간을 위한 지표를 사용하여 성능을 평가합니다.

• 정밀도 및 매끄러움: 잠재 정책은 일관되게 행동 공간의 대응물보다 우수한 성능을 발휘합니다. 예를 들어, "보드 쓰기" 작업에서 OpenVLA-OFT 의 잠재 버전은 가변도 (Jerk) 를 5.24에서 0.56으로 줄이고 성공률을 크게 향상시켰습니다.
• 비동기 실행: RTR 은 순진한 비동기 실행에서 관찰된 "정지 (stalls)"와 "되감기 (rollbacks)"를 효과적으로 제거합니다. PI0.5 를 사용한 "보드 쓰기" 작업에서 RTR 은 가변도 (Jerk) 를 (원본) 4.984에서 (잠재+RTR) 1.754로 줄이고 가시적인 되감기 아티팩트를 제거했습니다.
• 지연 시간: 반복적인 가속/감속 없이 더 매끄러운 실행을 가능하게 하고 정지를 줄임으로써, 제안된 방법은 저주파수 기준선 및 기타 고주파수 대안보다 낮은 엔드 - 투 - 엔드 실행 지연 시간을 달성합니다.
• 애블레이션: 이 연구는 적절한 시간 압축 (예: 다운샘플링 비율 $f=4$) 이 정밀도와 매끄러움 사이의 균형을 최적화하는 반면, 공격적인 압축은 성능을 저하시킨다는 것을 확인했습니다. 또한 RT-C 와 같은 연속성 방법을 잠재 공간에 직접 적용하는 것은 비효율적이지만, RTR 은 이러한 설정을 위해 특별히 설계되었음을 보여줍니다.

5. 중요성 및 주장

저자들은 그들의 작업이 고주파수 로봇 제어를 위한 **표현과 실행의 공동 설계 (representation and execution co-design)**의 중요성을 강조한다고 주장합니다.

• 실용적 영향: 이 접근법은 로봇이 실세계 환경에서 더 적은 정지와 떨림 운동으로 복잡하고 접촉이 풍부한 작업을 지속적으로 실행할 수 있는 실용적인 경로를 제공합니다.
• 일반화 가능성: 이 방법은 다양한 아키텍처 (Diffusion, VLA/Flow 기반) 에서 성능을 향상시키며, 기본 정책 아키텍처의 재훈련 없이 기존 모방 학습 프레임워크와 호환됩니다. 단지 VAE 와 RTR 추론 전략을 추가하는 것만 필요합니다.
• 한계: 저자들은 현재 실험이 센서 샘플링 속도로 인해 60 Hz 로 제한되어 있으며, 잠재 정책 없이 직접 행동 공간에서 훈련된 정책에 대한 RTR 의 적용 가능성은 추가 조사가 필요한 열린 질문이라고 지적합니다.

이 논문은 잠재 공간 학습과 RTR 의 결합이 안정적이고 연속적이며 매끄러운 로봇 실행을 가능하게 하여 물리적 환경에서 고주파수 제어의 신뢰성을 진전시킨다고 결론지었습니다.