기술 요약: 마스크드 액션 청킹(Masked Action Chunking)을 통한 실시간 로봇 실행 (REMAC)

문제 정의

실시간 실행은 동적인 환경에서 작동하는 로봇과 같은 사이버 물리 시스템에 있어 매우 중요하며, 아주 작은 지연만으로도 작업 실패로 이어질 수 있습니다. 시각-언어-행동(VLA) 모델이 로봇 조작 분야를 발전시켰음에도 불구하고, 실시간 응답성을 보장하는 것은 여전히 도전적인 과제입니다.

기존의 접근 방식들은 속도와 정확도 사이에서 트레이드오프(trade-off) 문제에 직면합니다:

• 모델 수준의 가속화는 종종 속도를 위해 정확도를 희생합니다.
• 액션 청킹(Action Chunking) (매 단계마다 일련의 행동을 예측하는 방식)은 효율성을 높이지만, 갑작스러운 상태 변화에 대한 반응성을 떨어뜨리고 청크 경계에서 불연속성을 유발합니다.
• 비동기 추론(Asynchronous Inference) (현재 청크를 실행하는 동안 다음 청크를 예측하는 방식)은 연속적인 행동 가용성을 보장하지만, 두 가지 구체적인 실패 모드를 악화시킵니다:
  1. 청크 간 불연속성(Inter-chunk Discontinuity): 서로 다른 잠재 모드로 인해 연속적인 액션 청크 사이에서 발생하는 부자연스러운 전환.
  2. 청크 내 불일치(Intra-chunk Inconsistency): 흔히 간과되는 중요한 문제로, 청크 내에서 실행되는 행동들이 현재의 인지 상태와 부분적으로 어긋나는 현상입니다. 구체적으로, 청크의 첫 $d$개 행동(여기서 $d$는 추론 지연 시간)은 이전 청크의 예측으로부터 상속된 것(즉, 오래된 관측값 $o_{t-h}$에 조건화된 것)이므로, 현재 상태 $o_t$와 불일치를 일으킵니다.

이전 방법들은 주로 테스트 시점의 정교화(예: 스무딩, 인페인팅 또는 그래디언트 교정)를 사용하여 청크 간 불연속성을 해결했습니다. 그러나 이러한 방식은 실패하기 쉬운 휴리스틱에 의존하거나 추가적인 지연을 초래하며, 청크 내 불일치 문제는 거의 고려하지 않습니다.

방법론: REMAC

저자들은 사전 학습된 플로우 매칭(flow-matching) 정책에 추가적인 추론 지연 없이 교정적 조정을 학습하는 훈련 시점 적응 전략인 **마스크드 액션 청킹을 통한 실시간 실행(REMAC)**을 제안합니다. 이 방법은 청크 내 일관성과 청크 간 연속성을 모두 목표로 합니다.

1. 마스크드 액션 청킹 (Masked Action Chunking)

청크 내 불일치를 해결하기 위해, REMAC는 관측과 실행 사이의 지연을 고려하도록 훈련 목적 함수를 수정합니다.

• 접두사 마스킹(Prefix Masking): 훈련 손실(loss)을 실행 가능한 부분의 액션 청크에 대해서만 제한합니다. 지연 조건부 접두사 마스크 $m_d$는 이전 청크로부터 상속되어 현재의 관측값과 맞지 않는 첫 $d$개의 행동을 감독 신호(supervision signal)에서 제외합니다. 이를 통해 정책이 상속된 접두사의 불확실성에도 불구하고 남은 행동들에 대해 강건한 예측을 학습하도록 강제합니다.
• 자기 조건부 커리큘럼(Self-Conditioned Curriculum): 테스트 시점의 조건(실행 중인 행동을 사용할 수 없는 상황)을 훈련 중에 시뮬레이션하기 위해, 저자들은 훈련 입력을 실제 행동(ground-truth actions)에서 정책의 자체 예측값으로 점진적으로 전환하는 커리큘럼을 도입했습니다. 이는 스케줄링된 혼합 파라미터 $\sigma$를 사용하여 실제 청크 $A_t$와 사전 학습된 정책의 예측값 $\tilde{A}_t$를 혼합함으로써 달성됩니다. 이는 노출 편향(exposure bias)을 완화하고 훈련을 안정화합니다.
• 잔차 정렬($\Delta$-matching): 추가적인 손실 항은 모델이 사전 학습된 정책에 대한 잔차 교정(residual correction)을 학습하도록 독려하며, 유도된 조정이 사전 학습된 예측과 실제 값 사이의 차이와 명시적으로 일치하도록 합니다.

2. 접두사 보존 샘플링 (Prefix-Preserved Sampling)

추론 시에는 훈련 절차와 일치하도록 샘플링 파이프라인을 조정합니다:

• 초기화: 초기 잠재 액션 상태는 가우시안 사전 분포에서 추출되지 않고, 지연 기간 동안 실행될 행동(즉, 이전 청크의 "접두사")을 사용하여 초기화됩니다.
• 보존된 실행: 플로우 매칭 샘플러의 적분 단계 동안, 현재 청크와 다가올 청크 사이의 중첩되는 구간(이미 실행하기로 결정된 행동들)은 재생성되지 않고 보존됩니다. 오직 남은 부분의 청크만이 합성됩니다.

3. 구현

• 매개변수 효율성: 방법론은 사전 학습된 정책을 미세 조정하기 위해 로우 랭크 적응(LoRA)을 사용하며, 최대 1.5%의 파라미터만을 추가합니다. 이를 통해 모델이 원래의 예측 능력을 유지하면서 지연을 고려한 조정을 학습할 수 있게 합니다.
• 제로 지연 오버헤드: LoRA 가중치는 백본에 병합되며, 샘플링 과정에서 추가적인 계산을 요구하지 않으므로 기본 정책과 비교하여 추가적인 추론 지연이 발생하지 않습니다.

주요 기여

1. 청크 내 불일치 식별: 본 논문은 비동기 추론에서 상속된 행동과 현재 인지 사이의 불일치가 청크 간 불연속성과는 구별되는 핵심적인 실패 모드임을 강조합니다.
2. REMAC 프레임워크: 마스크드 액션 청킹, 자기 조건부 커리큘럼 스케줄링, 잔차 정렬을 결려 지연을 고려한 정책을 학습하는 새로운 훈련 전략을 제시합니다.
3. 지연 없는 적응: RTC(BID)와 같은 테스트 시점 교정 방법들이 추가적인 계산 오버헤드를 발생시키는 것과 달리, REMAC는 추가적인 추론 지연을 발생시키지 않습니다.
4. 호환성: 이 방법은 기존의 테스트 시점 알고리즘과 결합하여 성능을 높일 수 있는 플러그 앤 플레이(plug-and-play) 방식의 개선책으로 설계되었습니다.

실험 결과

저자들은 12개의 시뮬레이션 작업(Kinetix)과 Franka Research 3 로봇을 이용한 3가지 실제 잡기(grasping) 작업을 통해 REMAC을 평가했습니다.

• 시뮬레이션 (Kinetix):

  • REMAC은 모든 추론 지연($d=0$ to $d=4$)에 대해 베이스라인(Naive Async, Bidirectional Decoding, RTC)보다 일관되게 우수한 성능을 보였습니다.
  • 더 높은 성공률과 더 빠른 작업 완료 시간을 입증했습니다.
  • 지연이 증가함에 따라 베이스라인에 비해 성능 저하가 현저히 낮았습니다.
  • 어테이션 연구를 통해 각 구성 요소(Prefix Masking, Curriculum, $\Delta$-matching)가 최종 성능에 기여함을 확인했으며, 전체 방법론을 적용했을 때 가장 높은 성공률을 달이트했습니다.

• 실제 환경 배포:

  • 다양한 난이도의 물체 잡기 작업(예: 좁은 틈이 있는 루빅스 큐브)에서 REMAC은 동기식 추론(Synchronous inference), Naive Async, Temporal Ensembling, RTC보다 높은 작업 완료 진척도를 달성했습니다.
  • 네트워크/하드웨어 지연을 시뮬레이션하기 위해 주입된 최대 150ms의 지연 상황에서도, RTC는 추가적인 지연으로 인해 성능이 크게 저하된 반면 REMAC은 강건함을 유지했습니다.
  • 운동학적 분석 결과, REMAC은 동기식 방법들에 비해 속도와 가속도의 급격한 변화가 적고 더 부드러운 궤적을 생성함을 보여주었습니다.

의의

본 논문은 REMAC이 테스트 시점의 휴리스틱이 아닌 훈련 시점의 적응을 통해 청크 내 불일치의 근본 원인을 해결함으로써, 비동기 추론 하에서의 강건한 로봇 실시간 실행 솔루션을 제공한다고 주장합니다. 의도된 행동과 실제 실행 사이의 불일치에 대해 정책이 회복 탄력성을 유지할 수 있도록 함으로써, REMAC은 추가적인 지연 없이 더 빠르고 신뢰할 수 있는 작업 완료를 가능하게 합니다. 저자들은 이 방법을 기존 VLA 프레임워크와 원활하게 통합되고, 추가적인 성능 향상을 위해 다른 테스트 시점 전략과 결합될 수 있는 다재다능한 백본 개선책으로 포지셔닝합니다.