기술 요약: 실행 전 재고하라: 월드 액션 모델을 위한 적응형 실행 (Rethink Before You Execute: Adaptive Execution for World Action Models)

문제 정의

월드 액션 모델(World Action Models, WAM)은 미래의 행동과 환경의 진화를 공동으로 예측하는 로봇 조작 패러다임을 나타냅니다. 표준 WAM 배포 방식은 미래 행동의 '청크(chunk)'를 생성하고, 재계획(replanning) 단계를 트리거하기 전에 해당 청크의 **고정된 접두사(fixed prefix)**를 실행하는 과정을 포함합니다. 저자들은 이러한 고정된 실행 지평(fixed execution horizon)이 실행 역학(execution dynamics)과 근본적으로 일치하지 않는다고 주장합니다.

논문에서 설명하듯, 액션 청크의 신뢰도는 **단계 의존적(stage-dependent)**입니다:

• 쉬운 단계 (Easy stages): 청크가 많은 단계 동안 정확하게 유지되므로, 빈번한 재계획은 계산적으로 낭비가 됩니다.
• 어려운 단계 (Hard stages): 몇 단계만 지나도 오차가 빠르게 누적되므로, 충분히 빨리 재계획하지 않으면 고정된 지평은 실패할 가능성이 높습니다.

기존의 적응형 실행 방법들은 액션 엔트로피, 예측 일관성 또는 어텐션 가중치와 같은 대리 지표(proxy metrics)에 의존합니다. 저자들은 이러한 지표들이 실행의 핵심 요소인 **"실제로 과업이 진전되고 있는가"**를 명시적으로 측정하지 못하기 때문에 불충분하다고 주장합니다. 어떤 시퀀스는 매끄러울 수 있지만(낮은 엔트로피) 과업 진전이 없을 수 있고, 반대로 엔트로피가 높더라도 과업을 진전시킬 수도 있습니다. 또한, 기존의 많은 방법들(예: 미래 상상을 통한 검증)은 과도한 계산 비용을 초래하거나 온라인 강화 학습을 요구하여 실제 배포에는 비현실적입니다.

방법론: TempoWAM

본 논문은 단계 수가 아닌 추정된 과업 진척도(task progress)에 기반하여 실행 지평을 조정하는 경량화된 플러그 앤 플레이(plug-and-play) 실행 체계인 TempoWAM(Timing Execution by Monitoring Progress Online)을 제안합니다. 이는 두 가지 주요 구성 요소로 이루어집니다.

1. 순환 진척도 모니터 (Recurrent Progress Monitor, RPM)

RPM은 현재 후보 액션들이 실행될 경우 도달하게 될 예상 과업 진척도($v_t \in [0, 1]$)를 추정하는 경량 모듈입니다. 다음의 입력값을 받습니다:

• 현재 관측값 ($o_t$): 기본 WAM의 동결된 비주얼 백본(visual backbone)을 통해 인코딩됩니다.
• 후보 액션 접두사 ($c^{rem}_t$): 남은 청크로부터 추출된 다음 $n_t$개의 액션이며, 순환 인코더(recurrent encoder)에 의해 인코딩됩니다.
• 실행 이력 ($v_{t-1}$): 시간적 맥락을 유지하기 위해 학습된 투영(learned projection)을 통해 주입되는 이전 진척도 추정치입니다.
• 과업 지시문 ($\ell$): 기본 WAM으로부터 임베딩됩니다.

이 모듈은 GRU 코어를 사용하여 이러한 특징들을 집계하고 진척도 추정치를 출력합니다. 이는 시간 기반 진척도 라벨($y_u = u/T_{ep}$)에 대한 이진 교차 엔트로피 손실(binary cross-entropy loss)을 사용하여 데모니스트레이션 궤적(demonstration trajectories)을 통해 학습되며, 안정성과 시각적 노이즈에 대한 강건성을 보장하기 위해 매끄러움(smoothness) 및 이력 일관성(history-consistency) 정규화가 추가되었습니다.

2. 적응형 실행 프로토콜 (Adaptive Execution Protocol, AEP)

AEP는 현재 청크를 계속 실행할지, 아니면 나머지를 버리고 재계획할지를 결정합니다. 이는 **관찰된 진척도율($\rho^{cur}_t$)**을 **필요한 진척도율($\rho^{need}_t$)**과 비교하여 작동합니다.

• 진척도율 (Progress Rate): 절대적인 진척도가 아닌, 단계당 진전 속도를 평가합니다.
• 교정 (Calibration): 학습 시의 감독(supervision)과 배포 시의 현실 사이의 간극을 메우기 위해, 프로토콜은 두 가지 척도의 교정 계수($\kappa_{final}$)를 사용합니다.
  • 오프라인 교정: 최소 제곱법(least squares fitting)을 통해 데모니스트레이션 에피소드로부터 과업별 계수($\kappa_{task}$)를 도출합니다.
  • 온라인 적응:
    • 에피소드 내 (Intra-episode): 지수 이동 평균(EMA)을 사용하여 단일 에피소드 내의 드리프트(drift)를 추적합니다.
    • 에피소드 간 (Inter-episode): 목표 성공률($s^*$) 대비 성공률에 따라 스케일링 계수($\delta'$)를 조정합니다. 성공률이 목표보다 낮으면 프로토콜을 엄격하게 적용하고(더 빨리 재계획), 높으면 완화하여(재계획을 덜 함) 효율성을 높입니다.

결정 규칙은 다음과 같습니다: 만약 교정된 비율 $r_t \ge 1$이면 실행을 계속하고, 그렇지 않으면 청크를 폐기하고 WAM을 호출하여 새로운 예측을 수행합니다.

주요 기여

1. 기준의 전환: 저자들은 액션의 합리성(rationality)만을 평가하는 것이 적응형 실행에 불충분함을 입증했습니다. 그들은 **과업 진전(task progress)**이 재계획 시점을 결정하는 자연스럽고 필수적인 기준이라고 주장합니다.
2. 플러그 앤 플레이 아키텍처: TempoWAM은 경량화된 애드온(add-on)으로 설계되었습니다. 이는 백본 WAM을 수정하거나 재학습할 필요가 없습니다. 이는 완전히 실행 계층에서 작동하므로 다양한 WAM 아키텍처(FastWAM 및 Motus에서 입증됨)와 호환됩니다.
3. 효율성-성공 트레이드오프: 이 방법은 쉬운 단계에서는 청크 재사용을 동적으로 연장하고, 어려운 단계에서는 조기 재계획을 트리거함으로써 계산 비용(추론 호출)과 과업 성공 사이의 우수한 균형을 달ient합니다.

실험 결과

저자들은 시뮬레이션 벤치마크(LIBERO, RoboTwin 2.0)와 실제 로봇 과업에서 TempoWAM을 평가했습니다.

• RoboTwin 2.0:

  • 단기 지평 과업: TempoWAM은 고정된 지평(12 또는 24 단계)보다 WAM 추론 호출을 줄이면서 성공률을 유지하거나 약간 향상시켰습니다.
  • 장기 지평 과업: 실행 단계를 줄이면서도 성공률을 1.54 포인트(clean) 및 0.87 포인트(randomized) 개선하여 고정 지평 모델을 능가했습니다.
  • 비교: 자동 지평(Auto-Horizon, 어텐션 기반) 및 AAC(엔트로피 기반)와 같은 적응형 베이스라인들과 비교했을 때, 이들은 성공률을 개선하지 못하거나 과도한 계산 비용을 초래한 반면, TempoWAM은 이를 크게 앞질렀습니다.

• LIBERO 벤치마크:

  • TempoWAM은 네 가지 모든 제품군(Long, Spatial, Object, Goal)에서 성공률을 유지하면서 평균 WAM 호출 횟수를 14.88회에서 12.46회로 줄였습니다.
  • LIBERO-10 제품군에서 호출 횟수를 줄이면서 성공률을 95.00%에서 **95.60%**로 높였습니다.

• 실제 로봇:

  • 세 가지 과업(음료 가져오기, 집어서 놓기, 핸드크림 채우기)에서, Tempo와는 가장 쉬운 과업("take drinks")에서 호출을 26.9% 줄였고, 어려운 과업 전반에서는 성공률을 13.3 퍼센트 포인트 향상시켰습니다(특히 평가된 과업 중 가장 어려운 "pack hand cream").
  • 크로스 백본 일반화: 재학습 없이 Motus WAM에 부착했을 때, TempoWAM은 특히 "move_can_pot" 과업에서 성공률을 59 포인트 향상시켜 그 아키텍처 불가지론적(architecture-agnostic) 특성을 확인시켜 주었습니다.

• 계산 오버헤드:

  • RPM은 무시할 만한 수준의 오버헤드를 가집니다. 비주얼 인코딩을 포함할 경우 최적화된 WAM 추론 호출 시간의 **3.54%**를 소비하며, 특징을 공유할 경우 **0.34%**까지 떨어집니다.

의의 및 주장

본 논문은 TempoWAM이 현재 WAM 배포의 결정적 한계인 고정된 실행 지평의 경직성을 해결한다고 주장합니다. 실행 결정을 간접적인 불확실성 대리 지표나 미리 정해진 단계 수에 의존하는 대신, 추정된 과업 진척도에 근거함으로써 시스템이 실제 환경 상태에 적응하도록 합니다.

저자들은 이 접근 방식이 **진전 인지적(progress-aware)**이며 효율적임을 강조합니다. 이는 값비싼 미래 상상이나 온라인 RL 학습을 요구하지 않습니다. 대신, 경량화된 순환 모니터와 교정된 프로토콜을 활용하여 실행 지평을 동적으로 조정합니다. 결과는 WAM의 경우, 남은 액션들이 여전히 과업을 진전시키고 있는지 여부가 재계획 여부를 결정하는 동력이 되어야 함을 시사하며, TempoWAM은 시뮬레이션과 실제 도메인 전반에서 일관되게 이 능력을 제공합니다.

결론적으로, 본 논문은 시간 기반 라벨이 비반복적이고 진전이 단조로운(progress-monotonic) 과업(평가된 벤치마크들이 이에 해당함)에 유효하지만, 관측값과 라벨의 매핑이 일대일이 아닌 주기적이거나 대칭적인 과업을 다루기 위해서는 향후 연구가 필요하다고 밝히고 있습니다.