기술 요약: QuantWAMs

문제 정의

World Action Models (WAMs)는 미래의 관측값과 이를 실현하기 위해 필요한 행동을 동시에 예측함으로써 범용 로봇 조작을 위한 유망한 패러다임을 제시합니다. 그러나 WAMs를 실제 로봇에 배포하는 것은 반복적인 디노이징(denoising) 과정과, 생성된 모든 행동이 다음 예측을 위한 관측값을 변화시키는 폐쇄 루프(closed-loop) 실행으로 인한 높은 계산 비용 때문에 어려움을 겪고 있습니다.

기존의 사후 학습 양자화(Post-Training Quantization, PTQ) 방법들은 다음과 같은 세 가지 근본적인 불일치로 인해 WAMs에 적용하기 부적합합니다:

1. 목적 불일치 (Objective Mismatch): 표준 PTQ는 순방향 패스(forward pass)가 독립적으로 점수화되는 개방 루프(open-loop) 목적 함수(예: 퍼플렉서티, 단일 이미지 재구성)를 최적화합니다. 반면 WAMs는 상태 전이를 통해 초기 양자화 오류가 전파되고 누적되는 폐쇄 루프 환경에서 작동합니다.
2. 구조적 불일치 (Structural Mismatch): 표준 방식은 흔히 균질한 트랜스포머 아키텍처를 가정합니다. 그러나 WAMs는 계산이 이질적인 스트림 간에 분산되는 결합된 경로(예: dual-stream Mixture-of-Transformers 또는 공유 백본 설계)를 사용하는 경우가 많습니다.
3. 분포 불일치 (Distributional Mismatch): 표준 PTQ의 캘리브레이션 분포는 폐쇄 루프 설정에서 도달할 수 없는 상태에서 민감도를 프로파일링하는 경우가 많으며, 이는 정밀도 예산을 잘못 유도하는 "환상(phantom)" 디노이징 단계 피크를 생성합니다.

방법론: QuantWAMs

QuantWAMs는 모델 구조, 롤아웃 분포, 태스크 목적에 의해 정의되는 WAMs의 특정 캘리브레이션 컨텍스트에 양자화 결정을 정렬하도록 설계된 PTQ 프레임워크입니다. 이 프레임워크는 세 가지 핵심 전략을 도입합니다:

1. 공유 기반 아웃라이어 캘리브레이션 (Shared-Basis Outlier Calibration)

표준 아웃라이어 보존 방식은 모든 모듈에 걸쳐 무차별적으로 활성화 통계량을 풀링(pooling)합니다. QuantWAMs는 풀링을 **좌표 호환 모듈(coordinate-compatible modules)**로 제한합니다.

• 메커니즘: 공통된 순서 기반(ordered basis)을 공유하는 모듈(예: Fast-WAM의 공유 가치 경로 또는 LingBot-VA의 공유 입력 열) 사이에서만 활성화 증거를 풀링합니다.
• 이론적 근거: 이 방법은 채널 통계를 교차 멤버 이질성($\tau^2_c$)과 멤버 내 샘플링 변동성($\sigma^2_c$)의 혼합으로 모델링합니다. 또한, 모듈 간 데이터를 풀링하는 것이 개별 컨텍스트 추정보다 추정 위험을 낮추는 시점인 "풀링 크로스오버(pooling crossover)" 지점($N^*$)을 도출합니다.
• 결과: 이를 통해 캘리브레이션 궤적의 수($N$)가 적을 때 발생하는 샘플링 노이즈로 인한 불안정한 마스크를 방지하는 동시에, 중요한 아웃라이어 채널의 에너지를 보존합니다.

2. 공동 학습 목적론적 돌출성 (Co-Training-Objective Saliency)

단일 스트림을 기준으로 레이어를 스코어링하거나 사후에 그래디언트를 융합하는 대신, QuantWAMs는 **공동 비디오-행동 그래디언트(joint video–action gradient)**를 사용하여 가중치 정밀도를 할당합니다.

• 메커니즘: 사전 학습된 WAM의 결합 손실($\ell_{co} = \lambda_v \ell_v + \lambda_a \ell_a$)로부터 경험적 피셔 점수(empirical-Fisher scores)를 계산합니다.
• 차별점: 외적(outer product) 이후에 한계 목적 함수들을 결합하는 "사후 융합(post-hoc fusion)" 방식과 달리, 이 방법은 결합 그래디언트에 존재하는 좌표별 상호작용 항($\Xi_L$)을 유지합니다.
• 세밀도: 캘리브레이션 안정성을 보장하기 위해 정밀도는 요소(element)나 열(column) 단위가 아닌 **레이어 단위(layer granularity)**로 할당됩니다. 상위 20%의 후보 선형 레이어(Linear layers)는 이러한 공동 점수를 바탕으로 더 높은 정밀도(예: W8)로 업그레이드됩니다.

3. 고정 개입 롤아웃 감사 (Fixed-Intervention Rollout Auditing)

WAMs의 폐쇄 루프 특성을 해결하기 위해, 이 방법은 도달 가능한 폐쇄 루프 상태를 사용하여 디노이징 단계 보호 스케줄을 수정합니다.

• 메커니즘: 기록된 FP16 롤아웃에 대해 "고정 개입(fixed-intervention)" 감사를 수행합니다. 각 궤적의 상태마다, 보호되지 않은(저정밀도) 개입 하에서 단계를 재현하여 FP16 베이스라인과의 국소적 불일치($\ell_t$)를 측정합니다.
• 장점: 이는 관측 프로파일의 "자기 마스킹(self-masked)" 문제(보호 기능이 활성화되어 있어 보호된 단계가 민감하지 않은 것처럼 보이는 현상)와 합성 입력의 "도달 불가능한 상태" 문제를 모두 방지합니다.
• 적용: 이 프로파일은 전체 정밀도 예산을 변경하지 않으면서, 실제 폐쇄 루프 궤적에서의 민감도를 더 잘 반영하는 새로운 보호 디노이징 단계 집합($T_{replay}$)으로 기존의 보호된 단계 집합($T_q$)을 감사하고 교체하는 데 사용됩니다.

주요 기여

1. 컨텍스트 인식 정식화: 본 논문은 배포 시의 정밀도 결정을 결정짓는 세 가지 특정 컨텍스트(구조적, 분포적, 목적론적)를 중심으로 WAM을 위한 PTQ를 정식화합니다.
2. 이론적 도출: 활성화 증거를 모듈 간에 풀링할 수 있는 조건(샘플 이질성 및 궤적 수에 의해 제어됨)을 도출하고, Top-K 마스크 복구를 위한 샘플 이질성 크로스오버를 규명합니다.
3. 공동 학습 돌출성 및 감사: 비디오-행동 그래디언트를 캘리브레이션 안정성이 있는 레이어 단위로 공동 스코어링하는 방법을 제안하며, 실제 롤아웃에 대한 고정 개입 재현을 활용하여 스케줄을 수정합니다.

실험 결과

본 프레임워크는 RoboTwin 2.0, LIBERO, 그리고 AgiBot G2를 이용한 실로봇 조작 환경에서 두 가지 WAM 구현체(Fast-WAM 및 LingBot-VA)를 대상으로 평가되었습니다.

• 시뮬레이션 성능: 지배적인 W4A4(4비트 가중치, 4비트 활성화) 설정 하에서, QuantWAMs는 FP16과 비교하여 시뮬레이션 성공률 차이를 단 0.2~0.7 퍼센티지 포인트 이내로 유지했습니다.
  • Fast-WAM (RoboTwin 2.0): 91.7% vs. 91.9% (FP16).
  • LingBot-VA (LIBERO-Long): 98.0% vs. 98.5% (FP16).
• 효율성: 타겟 비디오 및 행동 블록에 대해, QuantWAMs는 피크 가중치 및 활성화 메모리를 FP16 베이스라인의 약 29% 수준으로 줄였으며, 블록 수준에서 1.4–1.6배의 속도 향상을 제공했습니다.
• 실로봇 검증: 세 가지 작업(사과 집기, 블록 쌓기, 수건 접기)을 수행하는 AgiBot G2에서, 양자화된 정책(QuantWAMs)은 **56.7%*의 성공률(30회 시행 중 17회 성공)을 기록하여, FP16(63.3%) 및 베이스라인 양자화 방법(Atom, 40.0%)보다 우수한 성능을 보였습니다.
• 절제 연구(Ablation Studies): 통제된 실험을 통해 다음을 확인했습니다:
  • 공유 기반 풀링이 마스크 복구 및 폐쇄 루프 성공률을 개선함.
  • 공동 학습 돌출성이 사후 융합 및 단일 스트림 목적 함수보다 우수함.
  • 고정 개입 롤아웃 감사가 합성 또는 관측 프로파일보다 더 나은 스케줄 배치를 제공함.

의의 및 주장

본 논문은 Quant-WAMs가 폐쇄 루프 제어의 특정 구조적 및 동적 과제를 해결함으로써, 자원이 제한된 실제 로봇에 고성능 WAM을 배포하는 것이 가능하다는 것을 입증한다고 주장합니다.

• 신중한 주장: 저자들은 특히 샘플 크기가 적은(태스크당 10회 시행) 실로봇 실험에서, 자신들의 결과가 FP16에 대한 공식적인 비열등성(non-inferiority)이나 동등성을 확립하는 것은 아니라고 명시적으로 밝히고 있습니다.
• 범위 제한: 본 연구는 두 가지 특정 WAM 아키텍처, 벤치마크 특정 캘리브레이션, 블록 수준의 효율성 측정에 국한됩니다. 엔드 투 엔드 제어 루프 지연 시간 해결이나 미학습 태스크로의 전이를 주장하지 않습니다.
• 핵식 통찰: 주요 기여는 양자화 결정이 일반적인 개방 루프 휴리스틱에 의존하는 것이 아니라, 모델의 배포와 관련된 특정 "캘리브레이션 컨텍스트"(구조, 분포, 목적) 내에서 이루어져야 함을 보여준 데 있습니다.