기술 요약: Legato – 액션 청킹 플로우 정책을 위한 네이티브 연속성 학습

1. 문제 제기

비전 - 언어 - 액션 (VLA) 모델들은 액션 청킹 (action chunking) 전략을 사용하여 실제 로봇에 점점 더 많이 배포되고 있습니다. 이 전략은 모델이 단일 추론 단계에서 미래 액션 벡터의 시퀀스를 예측하는 방식입니다. 청킹은 추론 비용을 분산시키고 고주파수 제어를 가능하게 하지만, 청킹 경계에서의 불연속성이라는 근본적인 단점을 도입합니다.

이러한 불연속성은 두 가지 주요 요인에서 발생합니다:

1. 추론 지연: 다음 청크를 계산하는 데 필요한 시간으로 인해 현재 청크의 실행과 다음 청크의 생성 사이에 간극이 발생합니다.
2. 고유한 다중 모드성 (Intrinsic Multimodality): 플로우 기반 정책들은 종종 다중 모드 분포를 보이며, 이로 인해 청크 간에 정책이 의도한 액션 모드를 갑자기 변경하는 "부자연스러운 다중 모드 전환 (spurious multimodal switching)"이 발생합니다.

**실시간 청킹 (Real-Time Chunking, RTC)**과 같은 기존 솔루션들은 추론 시간 인페인팅 (inpainting) 을 적용하여 이를 완화하려 시도하며, 새로운 청크가 이전 액션과 부분적으로 겹치도록 제약합니다. 그러나 RTC 는 추론 시간에만 적용되는 외부 메커니즘일 뿐입니다. 정책 자체가 이러한 연속성을 처리하도록 훈련되지 않았기 때문에, 여전히 망설임, 갑작스러운 방향 전환, 그리고 본질적으로 매끄럽지 않은 궤적에 취약합니다. 이 논문은 안정적인 청킹 실행을 위해서는 청크 연속성이 정책의 네이티브하고 학습된 속성이어야 한다고 주장합니다.

2. 방법론: Legato

저자들은 액션 청킹 플로우 기반 VLA 정책을 위한 훈련 시간 연속성 프레임워크인 Legato를 제안합니다. Legato 는 단계별 가이드 (per-step guidance) 하에서 훈련과 추론 간의 일관성을 보장하도록 학습된 플로우 역학을 재구성함으로써 연속성 메커니즘을 내부화합니다.

핵심 구성 요소

Legato 는 효과적인 연속성을 위해 두 가지 중요한 요구 사항을 해결합니다:

1. 단계별 가이드: 가이드는 초기화 시뿐만 아니라 모든 디노이징 (denoising) 단계에서 반복적으로 적용되어야 합니다.
2. 훈련 - 추론 일관성: 훈련 중에 학습된 역학은 추론 시 사용되는 역학과 일치해야 합니다.

A. 스케줄 형태 가이드 (Schedule-Shaped Guidance)

Legato 는 액션 청크 지평 (horizon) $H$에 대한 가이드 스케줄 $\omega \in [0, 1]^H$를 도입합니다. 이 스케줄은 세 가지 매개변수로 정의됩니다:

• $d$: 추론 지연 (전체 가이드 접두사).
• $s$: 사이클당 실행된 길이.
• $r$: 가이드 강도가 감소하는 감속 길이.
  이들은 $r + s + d = H$를 만족합니다.

접두사를 하드 클램핑 (hard-clamping) 하는 대신 (훈련 시간 RTC 와 같이), Legato 는 부드러운 스케줄을 사용합니다: 청크의 시작을 알려진 액션 (훈련 중에는 정답, 추론 중에는 이전 청크 접두사) 에 고정하고 가이드 강도를 0 으로 서서히 낮춥니다. 이는 **액션 - 노이즈 혼합 (action-noise mixture)**을 통해 달성됩니다:
$$\epsilon_{eff} = (1 - \omega) \odot \epsilon + \omega \odot A$$
여기서 $\epsilon$은 노이즈이고 $A$는 기준 액션입니다.

B. 플로우 역학 재구성

표준 플로우 매칭은 노이즈를 액션으로 운반하는 속도장 $u_{FM}$을 훈련합니다. 그러나 추론 시간에 단계별 가이드를 적용하면 다른 동적 시스템이 유도됩니다. 훈련 - 테스트 불일치를 제거하기 위해 Legato 는 반복적인 단계별 가이드로 인해 유도되는 정확한 연속 시간 역학을 유도하고 훈련 중 목표 속도장을 재구성합니다.

네트워크는 수정된 목표 속도 $v_{target}$을 예측하도록 훈련됩니다:
$$v_{target}(t, A, \epsilon, \omega) = (1 - \kappa \odot (1 - t)) \odot (A - \epsilon)$$
여기서 $\kappa = \omega / \Delta t$입니다. 이를 통해 정책은 추론 시간 외부 개입 없이 스케줄 형태 가이드를 네이티브로 지원할 수 있습니다.

C. 무작위화 스케줄 조건부 학습

하드웨어 및 런타임 최적화에 따른 다양한 추론 지연을 처리하기 위해, Legato 는 훈련 중 스케줄 매개변수 ($d, r$) 를 무작위화합니다. 정책은 명시적으로 스케줄 $\omega$에 조건부 학습됩니다 (특성으로 추가됨). 이는 단일 모델이 다른 추론 지연에 적응하고 재훈련 없이 추론 시간에 궤적 매끄러움과 겹침 일관성 간의 균형을 제어할 수 있게 합니다.

3. 주요 기여

1. Legato 프레임워크: 플로우 역학을 재구성하여 엄격한 훈련 - 추론 일관성을 유지하면서 단계별, 스케줄 형태 가이드를 가능하게 하는 훈련 시간 연속성 프레임워크.
2. 무작위화 스케줄 조건부 학습: 다양한 추론 지연을 지원하고 궤적 매끄러움에 대한 유연한 제어를 제공하는 메커니즘으로, 다양한 하드웨어 및 지연 조건에서 모델의 일반화를 가능하게 함.
3. 실증적 검증: 연속성을 정책의 네이티브 속성으로 학습하는 것이 추론 시간 수정 방법보다 우수함을 보여주는 광범위한 실제 세계 실험.

4. 실험 결과

저자들은 듀얼 암 로봇을 사용하여 다섯 가지 실제 세계 조작 작업 (접시 쌓기, 따르기, 집기 및 놓기, 서랍 열기, 수건 접기) 에서 Legato 를 평가했습니다.

성능 지표

• 작업 완료 시간: Legato 는 RTC 에 비해 일관되게 더 짧은 완료 시간을 달성했습니다 (약 10% 개선).
• 궤적 매끄러움: Legato 는 더 낮은 NSPARC(음수 스펙트럼 호 길이) 및 겹침 RMSE 값을 보여줌으로써 훨씬 더 매끄러운 궤적을 생성했습니다.
• 부자연스러운 다중 모드 전환: Legato 는 망설임과 갑작스러운 방향 전환을 줄여 더 일관된 그립 목표와 암 선택으로 이어졌습니다.

비교 분석

• RTC 대비: Legato 는 속도와 매끄러움 측면에서 다섯 가지 모든 작업에서 RTC 를 능가했습니다.
• 훈련 시간 RTC 대비: 훈련 중 하드 접두사 제약을 적용하는 기준선보다 Legato 가 우수했습니다. 저자들은 이를 Legato 의 플로우 역학 재구성이 반복 가이드의 효과적인 디노이징 행동과 더 잘 정렬되기 때문이라고 귀인합니다.
• 일반화: 이 방법은 다양한 VLA 백본 ($\pi_0$, $\pi_0.5$, Gr00t N1.6) 과 다양한 추론 지연에서 견고성을 입증했습니다.

5. 중요성과 주장

이 논문은 Legato가 액션 청킹 연속성을 외부의 추론 시간 수정으로 취급하는 것에서 정책의 네이티브하고 학습된 속성으로 전환하는 것을 나타낸다고 주장합니다.

• 고유한 매끄러움: 플로우 역학을 재구성함으로써 Legato 는 정책이 청크 간 전환 방법을 본질적으로 이해하도록 보장하여, 다중 모드 전환과 관련된 "떨림 (jitter)"과 망설임을 줄입니다.
• 효율성: 망설임과 방향 전환의 감소는 실제 세계 시나리오에서 더 빠른 작업 완료 시간으로 직접적으로 이어집니다.
• 적응성: 무작위화 스케줄 조건부 학습을 사용하면 단일 모델이 서로 다른 추론 지연을 가진 다양한 하드웨어 환경에 배포될 수 있으며, 이는 실제 로봇 배포에 필수적인 요구 사항입니다.

저자들은 현재의 공식이 디노이징 단계를 훈련 시간 사양으로 제한하지만, 제안된 방법은 연속성 역학을 학습하는 것이 하드 제약을 강제하는 것보다 우수함을 성공적으로 입증했다고 결론지으며, 더 매끄럽고 효율적인 실제 세계 로봇 제어를 위한 견고한 경로를 제시합니다.