💻 computer science

Faster-WAM: Efficient Inference-Time Future Conditioning for Robust World Action Models

Faster-WAM은 희소 미래 조건화(sparse future-conditioning) 프레임워크를 도입하여 사전 계산된 미래 표현을 선택적으로 재사용함으로써 추론 속도와 강건성 사이의 절충 관계를 해결하고, 기존 방식들과 비교하여 최첨단 성능과 현저히 빠른 추론 속도를 달성하는 효율적인 세계 행동 모델(World Action Model)입니다.

원저자: Weiheng Zhao, Haoyi Jiang, Xin Shi, Liu Liu, Fan Huang, Zhizhong Su, Wei Sui, Xinggang Wang

게시일 2026-08-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weiheng Zhao, Haoyi Jiang, Xin Shi, Liu Liu, Fan Huang, Zhizhong Su, Wei Sui, Xinggang Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 저녁 요리하는 법을 가르치고 있다고 상상해 보세요. 당신은 누군가 채소를 써는 영상을 로봇에게 보여줍니다. 그리고 당신은 로봇이 지금 당장 칼이 어떻게 보이는지뿐만 아니라, 1초 후에 장면이 어떻게 변할지도 배우기를 원합니다. 당근이 공중으로 날아갈까요? 김이 피어오를까요? 이것이 바로 "월드 액션 모델(World Action Models)"이라 불리는 분야의 핵심입니다. 이들은 단순히 현재의 순간에 반응하는 것이 아니라, 더 나은 결정을 내리기 위해 미래를 "상상"하려고 노력하는 로봇을 위한 특별한 AI 두뇌입니다. 비디오 게임을 하는 것처럼 생각해 보세요. 똑똑한 플레이어는 단순히 지금 화면을 보는 것이 아니라, 적이 언제 점프할지 예측하여 제때 피할 수 있도록 합니다.

오랫동안 과학자들은 이러한 로봇의 두뇌를 구축할 때 까다로운 선택에 직면했습니다. 움직이는 동안 끊임없이 미래를 시뮬레이션하는 "슈퍼 싱커(Super-Thinker)"를 만들 수 있는데, 이는 로봇을 매우 똑똑하게 만들지만 엄청나게 느리고 컴퓨터 자원을 많이 소모하게 만듭니다. 또는 학습할 때만 미래를 생각하고, 로봇이 실제로 작업을 시작하면 그것을 잊어버리는 "경량화된(Lightweight)" 버전을 만들 수도 있습니다. 이 경량화된 버전은 빠르지만, 실제 세상이 지저질해지거나 학습 영상과 다르게 보일 때 종종 혼란을 겪습니다. 큰 질문은 이것입니다. 그 "미래를 생각하는 것"이 로봇에게 유용한 숙제일 뿐일까요, 아니면 로봇이 실제로 일을 하는 동안에도 그 미래의 비전을 머릿속에 계속 유지해야 할까요?

이 논문은 이 수수께끼를 해결하는 Faster-WAM이라는 새로운 로봇 두뇌를 소개합니다. 연구진은 로봇이 견고함을 유지하기 위해 작업하는 동안에도 "미래의 비전"을 활성화된 상태로 유지해야 하지만, 미래를 반복해서 시뮬레이션하는 무거운 작업까지 할 필요는 없다는 것을 발견했습니다. 미래 시뮬레이션을 계속 다시 실행하는 대신, Faster-WAM은 작업 시작 시점에 미래의 "스냅샷"을 한 번 찍고서 전체 작업 과정 동안 그 스냅샷을 영리하게 재사용합니다.

바쁜 주방에 있는 요리사처럼 생각해 보세요. "Joint-WAM"(기존의 느린 방식)은 요리하는 도중 몇 초마다 멈춰 서서 부주방장에게 "5분 뒤에 수프가 어떤 모습일까요?"라고 묻고 다음 단계를 밟기 전에 대답을 기다리는 요리사와 같습니다. 정확하지만 주방의 움직임이 너무 느려집니다. "Fast-WAM"(기존의 빠른 방식)은 레시피 북을 공부할 때만 질문을 던지고, 그 후에는 대답을 버린 채 순전히 본능에 의지해 요리하는 요리사와 같습니다. 빠르긴 하지만, 가스레인지 색깔이 다르거나 재료가 약간만 달라져도 계획을 잊어버려 수프를 태워버릴 수 있습니다.

Faster-WAM은 똑똑한 새로운 요리사입니다. 이들은 맨 처음에 질문을 던지고, 그 답을 포스트잇(미래 표현, future representation)에 적어 벽에 붙여둡니다. 요리하는 동안, 이들은 리마인더가 필요할 때마다 그 포스트잇을 슬쩍 봅니다. 하지만 질문을 다시 하기 위해 멈추지는 않습니다. 이를 통해 느린 요리사만큼 신중하면서도 훨씬 빠르게 작업할 수 있습니다.

논문은 이 접근 방식이 놀라울 정도로 잘 작동한다는 것을 보여줍니다. 로봇이 새로운 상황이나 혼란스러운 상황(다른 조명이나 카메라 각도 등)에 직면하는 LIBERO-Plus라는 까다로운 과제 세트에서 테스트했을 때, 기존의 빠른 방식은 약 절반의 경우에 실패하여 **49.14%**의 성공률을 보였습니다. 그러나 새로운 Faster-WAM은 **73.57%**의 성공률을 기록했습니다. 더욱 인상적인 것은, 이 방식이 끊임없이 시뮬레이션하는 느린 방식보다 2.21배 더 빠르게 실행되었다는 점입니다.

연구진은 두 가지 영리한 기술을 사용하여 이 시스템을 구축했습니다. 첫째, 이들은 SparseMoT를 사용하는데, 이는 매 초마다 포스트잇을 뚫어지게 쳐다보는 것이 아니라 특정하고 중요한 순간에만 슬쩍 훑어보는 것과 같습니다. 둘째, Interval KV-Fusion을 사용하는데, 이는 한 페이지 분량의 노트를 하나의 읽기 쉬운 불렛 포인트로 요약하여 로봇이 너무 많은 정보에 압도되지 않도록 하는 것과 같습니다.

결국, 이 논문은 똑똑함과 빠름 사이에서 하나를 선택할 필요가 없다는 것을 증명합니다. "미래의 스냅샷"을 효율적으로 유지함으로써, 로봇은 이전보다 실제 세상의 혼돈을 훨씬 더 잘 다룰 수 있게 되었으며, 실험실 밖의 무질서하고 예측 불가능한 세상을 향해 나아갈 준비를 마쳤습니다.

기술 요약: Faster-WAM

문제 정의

World Action Models (WAMs)는 현재의 관측을 넘어 환경이 어떻게 진화하는지 학습함으로써 로봇 조작 능력을 향age시키고자 합니다. 그러나 기존 방식들은 강건성(robustness)과 효율성(efficiency) 사이의 근본적인 트레이드오프에 직면해 있습니다:

Joint-WAMs: 이 모델들은 공유된 디노이징(denoising)을 통해 미래 비디오 생성과 액션 예측을 결합합니다. 이는 추론 시 미래를 인지하는 표현(future-aware representations)을 보존하지만, 반복적인 비디오 브랜치 실행과 밀집된 비디오-액션 상호작용으로 인해 과도한 계산 비용이 발생합니다.
효율적인 대안 (예: Fast-WAM): 이 모델들은 속도를 높이기 위해 추론 시 미래 모델링을 완전히 제거합니다. 효율적이지만, 분포 변화(Out-of-Distribution 또는 OOD 시나리오) 상황에서 성능이 크게 저하됩니다. 이는 미래 표현이 단순히 보조적인 학습 신호가 아니라, 강건한 시간적 추론을 위한 필수 요소임을 시사합니다.

핵심적인 미결 과제는 일반화를 보장하기 위해 미래 표현을 추론 시에도 명시적으로 보존하고 상호작용해야 하는지 여부이며, 만약 그렇다면 Joint-WAMs의 계산 부하 없이 이를 어떻게 달성할 수 있는가 하는 점입니다.

방법론: Faster-WAM

저자들은 미래 표현을 추론 시에 보존하면서도 비용이 많이 드는 비디오-액션 상호작용은 피하도록 설계된 효율적인 미래 조건화(future-conditioning) 프레임워크인 Faster-WAM을 제안합니다. 이 아키텍처는 사전 학습된 비디오 생성기에서 초기화된 비디오 전문가(video expert)와 Mixture-of-Transformers (MoT) 구조를 통한 액션 전문가(action expert)를 결합합니다.

이 방법은 두 가지 핵심 메커리즘에 의존합니다:

1. 원패스 미래 조건화 (One-Pass Future Conditioning)

비디오와 액션 상태를 반복적으로 업데이트하는 대신, Faster-WAM은 단 한 번의 비디오 패스를 통해 고정된 미래 인지 시각 인터페이스를 계산합니다.

비디오 전문가는 특정 플로우 타임( $\tau_v = 1$ )에서 현재 프레임 앵커와 언어 지침과 함께 가우시안 미래 슬롯(Gaussian future slots)을 처리합니다.
이 과정은 전체 비디오 롤아웃 재구성을 요구하지 않으면서도 미래 인지 큐를 인코딩하는 계층적 어텐션 Key/Value (K/V) 프로젝션( $C^v_{t, \tau_v}$ )을 생성합니다.
이 계층 구조는 캐싱되어 액션 디노이징 과정 전반에 걸쳐 재사용되며, 이를 통해 비디오 계산을 반복적인 액션 생성 단계로부터 분리합니다.

2. SparseMoT (Sparse Mixture-of-Transformers)

이러한 미래 표현을 액션 정책에 통합하는 비용을 줄이기 위해, Faster-WAM은 무분별한 계층별 융합 대신 선택적 상호작용을 사용합니다.

선택적 상호작용 (Selective Interaction): 비디오-액션 상호작용을 모든 레이어가 아닌 압축된 네트워크 스테이지의 부분 집합( $J = \{j_1, \dots, j_M\}$ )으로 제한합니다.
액션 전용 정제 (Action-Only Refinement): 이러한 상호작용 스테이지 사이에서 액션 경로는 비디오 특징을 다시 읽지 않고 가벼운 셀프 어텐션과 정제 과정을 수행합니다.
이 접근 방식은 액션 네트워크의 전체 깊이를 유지하면서도 교차 브랜치 통신 오버헤드를 크게 줄입니다.

3. Interval KV-Fusion

Sparse한 상호작용에도 불구하고 액션 경로가 풍부한 시간적 정보를 받을 수 있도록, 이 방법은 다중 깊이의 미래 표현을 집계합니다.

각 선택된 상호작용 스테이지 $j_m$ 에 대해, 메서드는 이전 비디오 레이어 구간( $I_m$ )의 K/V 쌍을 집계합니다.
소프트맥스 정규화된 융합 가중치를 사용하여, 이 K/V 쌍들의 가중 합을 계산함으로써 하나의 압축된 요약 쌍 $(\hat{K}^v_{j_m}, \hat{V}^v_{j_m})$ 을 생성합니다.
이를 통해 액션 전문가는 어텐션 복잡성이나 시퀀스 길이를 증가시키지 않고도 특정 단계에서 다단계 미래 컨텍스트에 접근할 수 있습니다.

학습 및 추론

결합 학습 (Joint Training): 비디오와 액션 브랜치는 플로우 매칭(flow matching)을 사용하여 공동으로 학습됩니다. 비디오 브랜치는 미래 역학을 예측하고, 액션 브랜치는 SparseMoT를 통해 융합된 미래 컨텍스트에 의해 조건화됩니다.
효율적 추론 (Efficient Inference): 배포 시, 비디오 전문가는 캐싱될 미래 컨텍스트를 생성하기 위해 한 번 실행됩니다. 그 후 액션 전문가는 SparseMoT를 통해 이 캐싱된 컨텍스트를 사용하여 $N$ 번의 디노이징 단계를 수행하며, 이를 통해 반복적인 비디오 브랜치 업데이트를 제거합니다.

주요 기여

추론 시 조건화의 식별: 본 논문은 미래 표현이 단순한 학습 목표가 아니라, 분포 변화 하에서의 일반화에 결정적인 역할을 한다는 점을 입증했습니다. 추론 시 이를 제거하는 것(Fast-WAM의 경우)은 강건성을 크게 해칩니다.
Faster-WAM 프레임워크: 단일 패스 비디오 컨텍스트와 희소 상호작용을 통해 추론 시 미래 조건화를 보존하는 새로운 아키텍처를 제안하여, 우수한 성능-효율성 트레이드오프를 달성했습니다.
SparseMoT 및 Interval KV-Fusion: 다단계 미래 표현에 대한 선택적 접근을 가능하게 하여 계산 비용을 줄이면서도 풍부한 시간적 정보를 유지하는 두 가지 상호 보완적인 메커리즘을 제공합니다.
실험적 검증: In-distribution 벤치마크에서 최첨단 성능과 강력한 OOD 일반화 능력을 보여주는 광범적인 실험을 통해 성능을 입증했습니다.

실험 결과

저자들은 여러 벤치마크에서 Faster-WAM을 Joint-WAM 및 Fast-WAM 베이스라인과 비교 평가했습니다.

LIBERO-Plus (OOD 벤치마크): 까다로운 OOD 벤치마크에서 Faster-WAM은 **73.57%**의 성공률을 기록하며, Fast-WAM(49.14%)과 Joint-WAM(66.3%)보다 실질적인 개선을 이루었습니다. 이는 (카메라 변화, 조명 변화 등) 미지의 조건을 처리하는 데 있어 보존된 미래 표현의 결정적인 역할을 강조합니다.
In-Distribution 벤치마크 (LIBERO & RoboTwin 2.0): Faster-WAM은 LIBERO에서 99.0%, RoboTwin 2.0에서 **92.6%**의 평균 성공률을 기록하며 베이스라인 및 사전 학습된 모델들을 능가하는 최첨단 성능을 달了했습니다.
실제 환경 조작: 듀얼 암(dual-arm) 실제 작업에서 Faster-WAM은 분포 변화(예: 새로운 배경, 변경된 조명)에 대해 뛰어난 강건성을 보였으며, Fast-WAM의 45.6% 대비 **71.1%**의 OOD 성공률을 달성했습니다.
효율성: Faster-WAM은 추론 지연 시간을 252.95 ms로 줄여, Joint-WAM(559.84 ms) 대비 2.21배의 속도 향상을 달성했습니다. 주목할 점은, 미래 조건화를 유지함에도 불구하고 반복적인 액션 디노이징 지연 시간의 감소가 초기 비디오 패스 비용보다 컸기 때문에 Fast-WAM(320.97 ms)보다도 빨랐다는 것입니다.

의의 및 주장

본 논문의 주요 의의는 World Action Models에서 강건성과 효율성 사이의 딜레마를 해결했다는 점에 있습니다. 추론 시 미래 조건화가 강건성에 필수적임을 입증함으로써, 본 연구는 계산량을 줄이기 위해 미래 모델링을 제거하려는 추세를 반박합니다.

저자들은 자신들의 접근 방식이 미래 표현을 밀집하고 반복적인 결합 없이도 효과적으로 활용할 수 있음을 증명한다고 주장합니다. 제안된 "희소하고 효율적인" 상호작용 전략은 로봇이 장면의 진화를 예측하고 분포 변화를 효과적으로 처리할 수 있게 함으로써, 고성능 결합 모델과 효율적인 단일 패스 모델 사이의 간극을 메워줍니다. 이 연구는 향후 WAM이 추론 시 미래 컨텍스트를 보존하는 것을 우선시하되, 이 컨텍스트가 액션 생성을 조건화하는 '방법'과 '시기'를 최적화해야 함을 시사합니다.