When to Trust Imagination: Adaptive Action Execution for World Action Models

본 논문은 예측과 현실의 일관성에 따라 행동 청크 크기를 동적으로 조정하는 경량 미래 전향 역학 인과적 주의 검증기를 활용하여 로봇 조작 작업의 효율성과 성공률을 크게 향상시키는 월드 액션 모델을 위한 적응형 실행 프레임워크를 제안한다.

핵심

어둠 속에서 계단을 내려가고 있다고 상상해 보세요. 넘어지지 않기를 바라며 눈감고 한 걸음씩 무작정 앞으로 나아가는 것이 아닙니다. 대신 당신의 뇌는 끊임없이 빠른 정신적 점검을 수행합니다: "내 발이 이곳에 단단한 계단에 닿을 것으로 예상됩니다. 계단이 있나요? 네? 좋습니다, 계속 가세요. 잠깐, 내 발이 공중에 닿았나요? 즉시 멈추고 어디에 있는지 파악하세요!"

이 논문은 바로 그와 같은 일을 시도하는 로봇 시스템을 소개합니다. 이 시스템은 로봇이 움직이기 시작한 후 자신의 실수를 "눈멀게" 간과하는 문제를 해결합니다.

문제: "눈먼 도약"

현재의 첨단 로봇들은 **World Action Model(WAM)**이라는 것을 사용합니다. WAM 을 로봇의 "상상 엔진"이라고 생각하세요.

1. 로봇은 작업 (예: "바나나를 집어라") 을 봅니다.
2. WAM 은 미래를 상상합니다: "내가 바나나를 잡으면 1 초 후에는 이렇게 보일 것이고, 2 초 후에는 이렇게 보일 것이며, 내 팔은 이렇게 움직일 것이다."
3. 이 상상을 바탕으로 로봇은 행동 덩어리 (예: 16 단계) 를 선택하고 뒤돌아보지 않은 채 한 번에 모두 실행합니다.

결함: 로봇은 그 16 단계 동안 "눈멀게" 됩니다.

• 시나리오 A (쉬운 경우): 로봇이 매끄러운 테이블 위를 따라 컵을 이동시키고 있습니다. 상상이 완벽합니다. 로봇은 몇 걸음마다 멈춰서 확인하는 시간을 낭비하며 스스로를 늦춥니다.
• 시나리오 B (어려운 경우): 로봇이 후크에 머그잔을 걸려고 시도하고 있습니다. 16 단계의 절반쯤 지났을 때 머그잔이 미끄러집니다. 로봇이 "눈멀게" 되어 16 단계 계획에 매여 있기 때문에, 머그잔을 후크로 밀어 넣으려 계속 시도하다가 충돌을 일으킵니다.

해결책: "현실 점검" (FFDC)

저자들은 FFDC(Future Forward Dynamics Causal Attention) 라는 새로운 시스템을 제안합니다. FFDC 를 로봇 옆에 서 있는 스마트 감독자나 스포트러로 생각할 수 있습니다.

일상적인 용어로 작동 방식을 설명하면 다음과 같습니다:

1. 계획: WAM(상상 엔진) 이 미래의 영화와 행동 대본을 작성합니다.
2. 실행: 로봇이 대본을 연기하기 시작합니다.
3. 점검: 로봇이 움직이는 동안 FFDC 감독자는 세 가지를 끊임없이 비교합니다:
   • 대본: 로봇이 계획한 행동.
   • 영화: 로봇이 상상한 시각적 결과.
   • 현실: 로봇의 카메라가 실제로 지금 보는 것.

결정:

• 현실이 영화와 일치할 때: 감독자는 *"모든 것이 좋습니다! 로봇의 상상이 여전히 정확합니다. 계속 가세요!"*라고 말합니다. 로봇은 멈추지 않고 긴 걸음을 이어갑니다.
• 현실이 영화와 불일치할 때: 감독자는 문제 (예: 물체가 미끄러지거나 조명이 변함) 를 발견합니다. 즉시 *"멈추세요! 계획이 깨졌습니다!"*라고 외칩니다. 로봇은 멈추고, 다시 살펴본 뒤 새로운 계획을 세웁니다.

비유: 자동차 운전

• 구식 방식 (고정된 덩어리): 고속도로를 운전하고 있습니다. "10 분 동안 도로를 보지 않고 정확히 10 분간 운전하겠다"고 결정합니다.
  • 결과: 도로가 직선이라면 효율적입니다. 하지만 3 분째에 사슴이 튀어나오면 10 분까지 보지 못하도록 허용되지 않기 때문에 충돌합니다.
• 새로운 방식 (FFDC 를 통한 적응형): 운전은 하지만 도로와 내비게이션을 지켜보는 조종사 (FFDC) 가 있습니다.
  • 결과: 직선 고속도로에서는 조종사가 "도로가 안전하니 계속 운전하세요"라고 말합니다. 당신은 오랫동안 효율적으로 운전합니다. 곡선이나 포트홀을 만나면 조종사가 "이봐, 도로가 변했습니다! 멈추고 다시 계산하세요"라고 말합니다. 당신은 일찍 멈추고 경로를 수정하여 충돌을 피합니다.

논문이 주장하는 것 (결과)

저자들은 이 시스템을 로봇 시뮬레이터 (RoboTwin) 와 실제 로봇 팔로 테스트했습니다. 그들은 이 "스마트 점검" 시스템이 완벽한 균형을 만든다는 것을 발견했습니다:

1. 더 빠릅니다: 컵을 옮기는 것과 같은 쉬운 작업에서 로봇은 자신의 상상을 신뢰하고 점검을 덜 자주 합니다. 이로 인해 엄청난 양의 컴퓨터 처리 자원이 절약됩니다 (그들은 "생각" 주기를 거의 70% 줄였습니다).
2. 더 안전합니다: 머그잔을 걸거나 미끄러운 과일을 집는 것과 같은 어려운 작업에서 로봇은 더 자주 점검합니다. 일이 잘못되면 충돌 대신 즉시 멈춥니다.
3. 결과:
   • 시뮬레이터에서 로봇은 고정된 단계만 사용한 로봇에 비해 성공률이 약 2.5% 높아졌고, 작업 완료 시간도 34% 빨라졌습니다.
   • 실제 세계에서는 로봇이 상상대로 가지 않을 때 마침내 반응할 수 있게 되어 성공률이 극적으로 상승했습니다 (45% 에서 80% 로).

요약

이 논문은 로봇이 단순히 "더 많이 생각"하게 만드는 것이 아니라, 로봇이 상상이 정확할 때만 자신의 상상을 신뢰하도록 만듭니다. 이는 경직되고 눈먼 실행을 유연하고 자기 수정이 가능한 과정으로 바꾸어, 로봇이 쉬운 작업에서는 빠르고 어려운 작업에서는 신중하게 행동할 수 있게 합니다.

기술 요약

기술 요약: 상상력을 언제 신뢰할 것인가: 세계 행동 모델 (WAM) 을 위한 적응형 행동 실행

문제 정의

세계 행동 모델 (WAM) 은 미래 시각적 관측과 미래 행동을 공동으로 예측함으로써 로봇 조작 분야에서 중요한 발전을 이루었습니다. 그러나 현재 WAM 구현체들은 실행 전략에서 근본적인 한계를 겪고 있습니다: 즉, 고정된 행동 청크 크기로 작동한다는 점입니다. 단일 모델 추론 후 로봇은 모델을 다시 조회하기 전에 미리 정해진 수의 행동을 실행합니다.

이러한 "맹목적인" 실행 방식은 다양한 작업 단계에서 WAM 의 상상력 신뢰도가 달라진다는 점을 고려하지 못합니다. 예측 가능한 시나리오 (예: 강체 물체에 접근하는 경우) 에서는 모델의 예측이 긴 시간 범위에서도 정확하므로, 빈번한 재추론은 계산적으로 낭비입니다. 반면, 복잡하고 접촉이 많거나 확률적인 시나리오 (예: 천 개기거나 정밀 조작) 에서는 예측된 미래가 물리적 현실과 급격히 달라질 수 있습니다. 이러한 불확실한 단계에서 긴 고정 청크를 실행하면 오차가 누적되어 작업 실패로 이어집니다. 다른 정책 유형 (예: 확산 모델 또는 VLA 모델) 에 대한 기존 적응형 실행 방법은 행동 불확실성이나 엔트로피에 의존하지만, WAM 고유의 미래 시각적 역학을 예측하는 능력을 활용하지는 못합니다. 이는 자기 검증을 위한 직접적인 메커니즘을 제공합니다.

방법론: FFDC-WAM

저자들은 FFDC-WAM을 제안합니다. 이는 적응형 실행을 미래 - 현실 검증 문제로 재정의하는 프레임워크입니다. 맹목적으로 고정된 청크를 실행하는 대신, 시스템은 WAM 이 상상한 미래가 실제 물리적 전개와 일관성을 유지하는지 지속적으로 검증합니다.

핵심 구성 요소: 미래 전방향 역학 인과적 어텐션 (FFDC)

핵심 혁신은 FFDC라는 경량 검증자 모듈입니다. 무거운 WAM 백본과 달리 FFDC 는 고빈도 실행을 위해 설계되었습니다.

• 입력: 검증자는 다음 네 가지 모달리티를 입력으로 받습니다:
  1. 예측된 미래 행동: WAM 이 생성한 행동 청크.
  2. 예측된 시각적 역학: WAM 이 예측한 잠재적 미래 시각 토큰.
  3. 실제 관측: 로봇 센서로부터의 현재 실제 관측치.
  4. 언어 지시: 모델에 제공된 작업 의미.
• 아키텍처: FFDC 는 구조화된 인과적 어텐션 메커니즘을 활용합니다. 이는 시간적 정렬을 강제하여, 미래 시각 토큰이 과거 및 현재 정렬된 행동 토큰과 시각 토큰에만 어텐션하도록 하여 정보 누출을 방지합니다. 학습 가능한 [CLS] 토큰이 이러한 상호작용을 집계하여 신뢰도 점수 ($e_t \in [0, 1]$) 를 생성합니다.
• 실행 논리:
  • $e_t \geq \tau$ (임계값, 0.5 로 설정) 인 경우, 시스템은 상상력을 신뢰하고 재추론 없이 현재 청크의 나머지 행동을 계속 실행합니다.
  • $e_t < \tau$ 인 경우, 시스템은 상상력과 현실 간의 불일치를 감지하고 현재 전개를 중단한 뒤, 최신 관측치에서 재계획을 트리거합니다.
• 효율성: WAM 의 예측 토큰은 키 - 값 (KV) 캐시로 캐시됩니다. 실행 중 FFDC 는 새로운 실제 관측치만 인코딩하고 캐시된 예측치에 어텐션하므로, 모든 검증 단계마다 전체 WAM 을 다시 실행하는 계산 비용을 회피합니다.

훈련 전략

• 혼합 시간 범위 훈련: WAM 이 긴 시간 범위 추론을 처리할 수 있도록 보장하기 위해, 저자들은 에피소드 전반에 걸쳐 조건부 시간 단계를 균일하게 샘플링하는 샘플링 전략을 사용합니다. 이는 초기 단계 접두사에 대한 편향을 줄입니다.
• 검증자 훈련: FFDC 검증자는 다음으로 구성된 데이터셋에서 이진 분류기로 훈련됩니다:
  • 양성 샘플: 성공적인 데모 및 전개에서 유효한 세그먼트.
  • 음성 샘플: 실패한 전개 및 합성 행동 손상 (예: 시간적 스왑, 그리퍼 뒤집기, 가우스 노이즈, 꼬리 스케일링) 에서의 세그먼트.
    목표는 검증자가 실행 가능한 미래 세그먼트와 실패할 가능성이 높은 세그먼트를 구별하도록 가르치는 것입니다.

주요 기여

1. 문제 정의: 이 논문은 적응형 WAM 실행을 미래 - 현실 검증 작업으로 정의하여, 정적 청크 크기를 선택하는 데서 상상된 미래의 신뢰성을 동적으로 평가하는 것으로 초점을 이동시켰습니다.
2. FFDC 아키텍처: 예측된 행동, 예측된 시각, 실제 관측, 지시를 공동으로 추론하여 실행 드리프트를 감지하는 경량 검증자인 미래 전방향 역학 인과적 어텐션을 제안했습니다.
3. 적응형 신뢰 메커니즘: 이 시스템은 탄생하는 행동 청크 크기를 가능하게 합니다. 로봇은 예측 가능한 단계에서는 긴 시퀀스를 실행하여 (추론 비용 감소) 어렵고 불확실한 단계에서는 짧은 시퀀스를 실행하여 (강건성 향상) 효율성과 신뢰성을 균형 있게 유지합니다.
4. 실증적 검증: RoboTwin 벤치마크와 실제 세계 환경에서의 포괄적인 실험을 통해 방법의 유효성을 입증했습니다.

실험 결과

시뮬레이션 (RoboTwin 벤치마크)

• 강건성: "어려운" 작업 (예: 머그컵 걸기, 블록 순위 매기기) 에서 FFDC-WAM 은 베이스라인 (Base-Motus) 및 고정 긴 청크 베이스라인을 크게 능가합니다. 무작위 어려운 작업의 성공률을 **54.20%**에서 **76.40%**로 향상시켰습니다.
• 효율성: "쉬운" 작업에서 FFDC-WAM 은 성공률을 유사하게 유지하면서 평균 작업 완료 시간을 34.02% 줄였습니다 (Rand.easy 에서 23.5 초에서 15.7 초로).
• 추론 감소: 이 방법은 짧은 청크 베이스라인 대비 WAM 순전파 횟수를 69.10% 감소시켜, 강건성과 효율성 사이의 우수한 균형을 달성했습니다.

실제 세계 실험

• Astribot S1 로봇을 사용하여 피크 앤 플레이스 작업 (바나나와 당근) 에서 테스트되었습니다.
• 성공률: FFDC-WAM 은 평균 성공률을 45% (LC-16 베이스라인) 에서 **80%**로 향상시켰습니다.
• 메커니즘: 노이즈와 접촉 불확실성이 있는 실제 세계 시나리오에서, 시스템은 실제 장면이 예측과 달라질 때 빈번히 재계획을 트리거하여 베이스라인이 실패하게 만든 오차 누적을 방지했습니다.

중요성과 주장

이 논문은 효과적인 WAM 배포의 핵심이 단일 실행 길이를 선택하는 것이 아니라, 시스템에 온라인으로 자신의 상상된 미래를 검증할 수 있는 능력을 부여하는 것이라고 주장합니다.

• 인간 영감 제어: 이 접근법은 인간의 물리적 상호작용을 반영합니다. 즉, 에이전트는 내부 예측과 감각 피드백을 지속적으로 비교하여 불일치가 발생할 때만 속도를 늦추거나 재계획합니다.
• 고정 시간 범위를 넘어: 이 연구는 미래 - 현실 일관성에 의해 주도되는 적응형 실행이 로봇이 모델이 옳을 때는 신뢰하여 계산적으로 효율적으로, 그리고 모델이 틀릴 때는 개입하여 강건하게 만들 수 있음을 보여줍니다.
• 한계: 저자들은 현재 검증자가 성공, 실패, 합성적으로 손상된 세그먼트에서 파생된 이진 감독에 의존한다고 겸손하게 지적합니다. 그들은 검증자가 더 풍부하고 다양한 실제 세계 실패 모드에서 학습하도록 확장하는 것을 향후 연구의 중요한 방향으로 꼽았습니다.

요약하자면, FFDC-WAM 은 WAM 을 정적, 개방 루프 계획자에서 적응형, 자기 수정 에이전트로 변환하여 재계획 비용과 실행 오류 위험을 동적으로 균형 잡습니다.