💻 computer science

Flash-WAM: Modality-Aware Distillation for World Action Models

Flash-WAM은 비디오와 액션 스트림의 서로 다른 노이즈 레짐에 맞춤화된 별도의 일관성 파라미터화를 채택함으로써 월드 액션 모델(World Action Model)을 위한 실시간 단일 단계 추론을 가능하게 하여, 높은 작업 성공률을 유지하면서도 23배의 속도 향상을 달성하는 모달리티 인식 단계 증류 프레임워크이다.

원저자: Arman Akbari, Ci Zhang, Arash Akbari, Lin Zhao, Yixiao Chen, Weiwei Chen, Xuan Zhang, Geng Yuan, Yanzhi Wang

게시일 2026-06-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Arman Akbari, Ci Zhang, Arash Akbari, Lin Zhao, Yixiao Chen, Weiwei Chen, Xuan Zhang, Geng Yuan, Yanzhi Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 병을 집어 컵에 넣는 것과 같은 복잡한 작업을 가르치려 한다고 상상해 보세요. 이를 위해 로봇은 '세계-행동 모델(World-Action Model, WAM)'을 사용합니다. 이 모델은 마치 두 가지 일을 동시에 수행해야 하는 매우 숙련된 감독관과 같습니다:

미래의 영화를 예측하기: 장면의 다음 몇 초 동안 비디오가 어떻게 보일지 상상합니다.
대본 쓰기: 그 비디오를 만들기 위해 로봇의 팔이 정확히 어떤 물리적 움직임(행동)을 취해야 하는지 결정합니다.

문제점: 로봇이 너무 느리다

현재 이 '감독관'은 매우 철저하지만 고통스러울 정도로 느립니다. 단 1초의 비디오와 하나의 움직임을 생성하기 위해, 모델은 '디노이징(denoising)'이라는 복잡한 수학적 과정을 약 75번 실행해야 합니다 (비디오에 25번, 행동에 50번).

비유: 마치 엉망진창인 낙서에서 시작하여 실수를 조금씩 지워나가며 완벽한 그림을 그리려는 것과 같습니다. 매 프레임마다 이를 75번 반복하는 것은, 단 하나의 작은 순간을 계획하는 데 무려 8.1초가 걸린다는 것을 의미합니다.
결과: 실시간 제어는 약 0.5초 내에 이루어져야 합니다. 8.1초가 걸린다면, 로봇은 세상이 움직이는 동안 반응하지 못한 채 사실상 얼어붙어 있는 상태가 됩니다.

실패한 지름길: "일률적인 방식"

과학자들은 '증류(distillation)'라는 기술을 사용하여 속도를 높이려 시도했습니다. 이는 스승의 최종 답안을 단 한 번의 단계만으로 모방하도록 학생을 훈련시키는 것과 같습니다.

하지만 비디오와 행동 모두에 표준적인 "일률적인 방식"의 지름길을 적용했을 때, 이는 완전히 실패했습니다.

이유: 비디오와 행동은 근본적으로 다릅니다.
- 비디오는 흐릿하고 해상도가 높은 그림과 같습니다. 디테일이 많지만 관대합니다. 약간의 실수가 있어도 그림을 알아볼 수 있습니다.
- 행동은 외과의사의 손놀림과 같습니다. 매우 작고 정밀하며 결정적입니다. 만약 1밀리미터라도 어긋나면 작업은 실패합니다.
실수: 표준적인 지름길은 외과의사의 손을 흐릿한 그림과 똑같이 취급했습니다. 이 방식은 '그림(비디오)'에는 잘 작동하는 수학 공식을 사용했지만, '외과의사(행동)'는 완전히 무시했습니다. 그 결과, 로봇은 무언가가 일어나는 아름다운 영상을 만들어내는 법은 배웠지만, 실제로 팔을 움직이는 법은 잊어버렸습니다. 성공률이 91%에서 24%로 급락했습니다.

해결책: Flash-WAM (특화된 코치)

저자들은 비디오와 행동이 서로 다른 교육 방식이 필요하다는 것을 아는 특화된 코치 역할을 하는 새로운 훈련법인 Flash-WAM을 만들었습니다.

하나의 규칙을 모두에게 적용하는 대신, Flash-WAM은 두 가지 서로 다른 규칙을 사용합니다:

비디오를 위해 (그림): 노이즈가 많고 복잡한 데이터에 적합한 방식을 사용합니다. 이를 통해 비디오가 좋고 안정적으로 보이게 유지합니다.
행동을 위해 (수술): 저노이즈, 고정밀 데이터에 설계된 완전히 다른 수학 공식을 사용합니다. 이를 통해 로봇이 움직임의 미세하고 결정적인 디테일을 놓치지 않고 학습하도록 보장합니다.

각 '스트림'의 필요에 맞춰 훈련을 최적화함으로써, Flash-WAM은 로봇이 비디오와 행동 모두에 대해 단 한 단계만으로 스승의 기술을 배울 수 있게 해줍니다.

결과: 정지 상태에서 실시간으로

이 변화의 영향은 엄청납니다:

속도: 동작을 계획하는 데 걸리는 시간이 8.1초에서 0.35초(348밀리초)로 줄었습니다. 이는 23배의 속도 향상이며, 마침내 로봇이 실시간으로 움직일 수 있게 되었습니다.
성능:
- 컴퓨터 시뮬레이션에서, "일률적인 방식"이 24%로 추락한 반면, 로봇은 높은 성공률(85-95%)을 유지했습니다.
- 실제 사람 크기의 로봇(Unitree G1)에서, Flash-WAM은 실제 작업에서 60%의 성공률을 달em했습니다. 반면, 이 특수 훈련 없이 기존 모델의 속도만 높였을 때는 성공률이 23%였고, 표준 지름길을 사용했을 때는 43%였습니다.

요약

Flash-WAM을 이해하려면, 마라톤 선수와 줄타기 선수를 똑같은 방식으로 가르칠 수 없다는 점을 깨달은 것에 비유할 수 있습니다. 비록 둘 다 운동선수일지라도 말입니다. 각자에게 필요한 특정 훈련을 제공함으로써, 로봇은 마침내 자신의 능력을 잃지 않으면서도 실시간으로 세상과 상호작용할 수 있을 만큼 빠르게 생각하고 움직일 수 있게 되었습니다.

기술 요약: Flash-WAM

문제 정의

World Action Models (WAMs)는 반복적인 확산 프로세스(diffusion processes)를 통해 미래의 비디오 프레임과 로봇 동작을 공동으로 생성함으로써 Embodied AI의 유망한 방향을 제시합니다. 이러한 모델들은 조작 벤치마크에서 강력한 성능을 달성하지만, 비디오와 액션 스트림 모두에 수십 단계의 디노이징(denoising) 단계를 요구하여 과도한 계산 비용을 발생시킵니다. 예를 들어, 최첨단 모델인 LingBot-VA는 NVIDIA L40S GPU에서 청크당 8.1초가 소요되어 실시간 폐루프 제어(closed-loop control)를 불가능하게 만듭니다.

단계 증류(step distillation)는 확산 모델을 가속화하기 위한 자연스러운 해결책이지만, 기존의 "기성(off-the-shelf)" 방법들은 결합된 비디오-액션 설정에 적용될 때 실패합니다. 핵심 문제는 WAMs가 채택하고 있는 **비대칭적 노이즈 스케줄(asymmetric noise schedules)**에 있습니다:

비디오 스트림은 높은 신호 대 잡음비(SNR) 변화를 활용하여, 높은 노이즈 수준( $\sigma$ )에 훈련 질량을 집중시킵니다.
액션 스트림은 더 낮은 SNR 변화를 활용하여, 전체 범위에 걸쳐 훈련 질량을 분산시키며 낮은 $\sigma$ 영역에서도 상당한 밀도를 가집니다.

표준 일관성 증류 방법(예: LCM)은 단일 일관성 함수에 의존합니다. 저자들은 이러한 함수들이 $\sigma \to 0$ 일 때 이차적 그래디언트 소실(quadratic gradient vanishing, $|b(\sigma)| \propto \sigma^2$ ) 현상을 보인다는 것을 입증했습니다. 결과적으로, 이를 결합 모델에 균일하게 적용하면 액션 스트래임(낮은 $\sigma$ 에서 훈련되는)에 대한 그래디언트 신호가 사라져, 비디오 재구성은 유지되더라도 액션 정확도와 작업 성공률이 급락(실험에서 90% 이상에서 약 24%로 하락)하는 붕괴가 발생합니다.

방법론: Flash-WAM

저자들은 이러한 구조적 부적합성을 해결하기 위해 설계된 모달리티 인식 단계 증류 프레임워크인 Flash-WAM을 제안합니다. Flash-WAM은 두 모달리티에 단일 일관성 함수를 적용하는 대신, 각 스트림의 특정 노이즈 영역에 맞춤화된 서로 다른 일관성 함수 패밀리의 멤버를 선택합니다.

1. 그래디언트 스케일링의 구조적 분석

본 논문은 그래디언트 신호 강도가 일관성 함수 $f(x_\sigma, \sigma) = a(\sigma)x_\sigma + b(\sigma)v_\theta$ 의 $|b(\sigma)|$ 에 비례한다는 점을 규명합니다.

명제 1: 모든 유효한 일관성 함수에 대해, $\sigma=0$ 근처에서의 최적의 그래디언트 스케일링은 선형( $O(\sigma)$ )이며, 이는 $b'(0) \neq 0$ 인 경우에만 달성 가능합니다.
표준 LCM의 실패: 표준 LCM 파라미터화는 $b'(0)=0$ 을 만족하여 이차적 스케일링( $O(\sigma^2)$ )을 초래합니다. 이는 높은 $\sigma$ 의 비디오 훈련에는 충분하지만, 낮은 $\sigma$ 의 액션 훈련에는 치명적입니다.

2. 모달리티 인식 파라미터화

Flash-WAM은 다음과 같이 서로 다른 파라미터화를 할당함으로써 이를 해결합니다:

액션 스트림 (낮은 $\sigma$ 영역): 저자들은 $a(\sigma) = 1$ 이고 $b(\sigma) = -\sigma$ 인 선형 그래디언트 스케일링 파라미터화를 도출했습니다. 이를 통해 $|b(\sigma)| = \sigma$ 를 보장하며, 액션 스트림의 전체 저노이즈 훈련 분포에 걸쳐 강력한 선형 그래디언트 신호를 제공합니다.
비디오 스트림 (높은 $\sigma$ 영역): 높은 $\sigma$ 에 집중되는 비디오 스트림의 경우, 저자들은 (LCM에서 사용되는) 표준 분산 보존 Karras 파라미터화를 유지합니다. 이 선택은 고노이즈 수준에서의 분산 보존 및 출력 범위 제한의 필요성에 근거하며, 이는 저차원이고 경계가 정해진 액션 타겟에는 덜 중요한 특성입니다.

3. 결합 훈련 목적 함수

학생 모델은 결합된 손실 함수를 사용하여 두 모달리티에 대해 동시에 일관성 속성을 만족하도록 훈련됩니다:
$\mathcal{L} = \mathcal{L}_v + \lambda_a \mathcal{L}_a$
여기서 $\mathcal{L}_v$ 와 $\mathcal{L}_a$ 는 각각의 모달리티별 일관성 함수를 사용합니다. 아키텍처는 공유 트랜스포머 백본을 유지하며, 모달리티 인식 파라미터화는 오직 손실 헤드(loss heads)에만 영향을 미치므로, 티처(teacher) 모델로부터의 단계당 계산 비용은 변하지 않습니다.

주요 결과

이 프레임워크는 LingBot-VA에 구현되었으며, 두 모달리티 모두에 대해 1단계(1v/1a) 또는 1단계 비디오와 2단계 액션(1v/2a)으로 추론을 압축했습니다.

속도 향상: Flash-WAM은 23배의 속도 향상을 달amer하며, NVIDIA L40S에서 청크당 지연 시간을 8.1초에서 348ms로 단축하여 실시간 추론(500ms 예산 미만)을 가능하게 했습니다.
시뮬레이션 벤치마크:
- RoboTwin 2.0: 1v/2a 설정에서 Flash-WAM은 85.5%의 성공률(티처 91.2% 대비)을 달성했으며, 이는 나이브한 결합 LCM의 23.9%와 대조적입니다. 1v/1a 설정에서도 81.4%의 성공률을 유지합니다.
- LIBERO: 1v/2a 설정에서 평균 95.7%의 성공률(티처 98.6% 대비)을 달성하여, 비디오 전용 증류 베이스라인을 능가했습니다.
실세계 배포: 세 가지 조작 작업을 수행하는 Unitree G1 휴머노이드 로봇에서 평가되었습니다.
- 가속되지 않은 티처(3v/10a)는 66.7%를 달성했습니다.
- 증류 없이 단계만 줄인 경우(1v/2a) 성능이 40.0%로 떨어졌습니다.
- 나이브한 비디오 전용 LCM(1v/2a)은 43.3%를 달성했습니다.
- **Flash-WAM (1v/2a)**은 **60.0%**를 달성하여, 가속되지 않은 성능을 상당 부분 회복했습니다.
정성적 분석: 시각화 결과, 나이브한 증류는 물체의 사라짐이나 흐릿함을 유발하는 반면, Flash-WAM은 장면 구조와 물체의 정체성을 보존함을 보여줍니다.

의의 및 주장

본 논문은 Flash-WAM이 비대칭 멀티모달 시스템에 단일 모달리티 증류를 적용할 때 발생하는 구조적 실패 모드를 해결함으로써, 결합 비디오-액션 확산 모델의 실시간 추론을 성공적으로 가능하게 한 첫 번째 프레임워크라고 주장합니다.

진단: 본 연구는 표준 일관성 증류와 결합 확산 모델 사이의 부적합성이 단순한 하이퍼파라미터 튜닝 문제가 아니라, 비대칭적 노이즈 스케줄로 인해 발생하는 그래디언트 신호 가용성의 근본적인 불일치임을 식별했습니다.
해결책: 그래디언트 스케일링의 구조적 분석에 기반하여 일관성 함수를 선택함으로써, Flash-WAM은 모달리티별로 단계를 1단계로 축소하면서도 작업 성공률을 보존하는 원칙적인 방법을 제공합니다.
영향: 결과는 WAM의 우월한 생성 능력을 희생하지 않으면서도, 일반적인 엣지 하드웨어에서 WAM을 이용한 실시간 로봇 제어가 가능하다는 것을 입증합니다. 저자들은 자신들의 방식이 비디오 생성을 완전히 제거하는 방법들과 달리, 원래의 WAM 추론 구조를 보존한다는 점을 강조합니다.