기술 요약: Ω-QVLA

문제 제기

비전 - 언어 - 행동 (VLA) 모델은 지각, 추론, 제어를 단일 정책으로 통합하며, 일반적으로 대규모 언어 모델 (LLM) 백본과 확산 기반 행동 헤드 (DiT) 를 활용합니다. 범용 로봇 제어에 유망하지만, 수십억 개의 파라미터와 메모리 요구 사항으로 인해 온디바이스 배포에는 과도한 비용이 듭니다.

기존의 사후 학습 양자화 (PTQ) 노력은 VLA 모델에 대한 완전한 해결책을 제공하지 못했습니다. 이전 연구들은 주로 LLM 백본을 압축하면서 DiT 행동 헤드는 FP16(반정밀도) 상태로 두거나 혼합 정밀도 방식을 사용했습니다. 이러한 주저함은 DiT 행동 헤드가 균일한 저비트 양자화에 본질적으로 너무 민감하다는 신념에서 비롯되었습니다. 언어 생성에서는 양자화 오차가 감지되지 않을 수 있지만, 행동 헤드의 오차는 물리적 작동기와 직접 연결되는 연속 제어 신호를 생성합니다. 폐루프 설정에서 양자화로 인한 교란은 접촉 힘과 물리적 역학에 의해 증폭되어 누적 오차 전파와 작업 실패로 이어집니다. 결과적으로, 기존 방법 중 어느 것도 VLA 모델의 전체 DiT 행동 헤드를 균일한 저비트 정밀도로 성공적으로 양자화한 사례는 없습니다.

방법론: Ω-QVLA

저자들은 VLA 모델의 언어 백본과 전체 DiT 행동 헤드를 균일한 W4A4(4 비트 가중치, 4 비트 활성화) 정밀도로 압축할 수 있는 최초의 학습 없는 PTQ 프레임워크인 Ω-QVLA를 제안합니다. 이 프레임워크는 두 가지 핵심 혁신을 통해 혼합 정밀도 할당의 필요성을 제거합니다:

1. 복합 SVD·하드마드 회전

채널별 에너지 불균형과 활성화 이상치를 해결하기 위해, 저자들은 양자화 전에 적용되는 2 단계 회전 전략을 도입합니다:

• SVD 회전: 가중치 행렬 $W = U\Sigma V^\top$에 대해 특이값 분해 (SVD) 를 계산합니다. 회전 행렬 $R_{SVD} = U$를 적용하여 가중치의 행별 에너지를 균등화합니다. 이는 가중치 공간을 변환하여 각 행의 에너지를 특이 스펙트럼에 의해 직접 제어되도록 함으로써 좌표로 인한 에너지 집중을 제거합니다.
• 하드마드 회전: SVD 회전은 오직 가중치에서 유도되므로 활성화 공간의 균일성을 보장하지는 않습니다. 이를 해결하기 위해 저자들은 SVD 회전을 정규화된 하드마드 행렬 $H$와 결합합니다. 복합 회전 $R = R_{SVD} \cdot H$는 어떤 지배적인 채널의 에너지를 모든 출력 채널에 균일하게 재분배하는 균일 혼합 행렬로 작용합니다.
• 블록 단위 구현: 밀집된 $C_{in} \times C_{in}$ 회전 행렬의 계산 및 메모리 오버헤드를 피하기 위해, 이 방법은 블록 단위로 회전을 근사화합니다. 가중치 열 노름을 기반으로 한 지그재그 치환을 통해 채널을 재배열하여 고노름 및 저노름 채널이 블록 전체에 고르게 분포되도록 하여, 단일 파티션 내에서의 이상치 집중을 방지합니다.

2. 단계별 DiT 활성화 스케일링

표준 정적 스케일링은 다단계 탈노이즈 과정에서 활성화 크기가 크게 변동하기 때문에 DiT 모델에는 최적이지 않습니다.

• 동적 범위 드리프트: 저자들은 탈노이즈 단계 전반에 걸쳐 활성화 통계가 드리프트하는 것을 관찰했습니다. 특히 시간 조건 입력을 받는 계층 (예: AdaLayerNorm 뒤의 QKV 프로젝션) 에서 두드러집니다.
• 단계별 보정: 단일 정적 스케일 대신, Ω-QVLA 는 사전 계산된 단계별, 계층별, 채널별 스케일 테이블을 사용합니다. 이 테이블은 보정 궤적에서 파생되어 추론 중 검색되어 동적 범위 드리프트를 흡수합니다. 이를 통해 양자화기는 각 특정 시간 단계에서 변화하는 활성화 범위에 적응할 수 있습니다.

주요 기여

1. 통합 W4A4 양자화: Ω-QVLA 는 전체 VLA 스택 (LLM 백본 + DiT 행동 헤드) 을 균일하게 W4A4 로 양자화하는 최초의 학습 없는 프레임워크로, 행동 헤드가 균일한 저비트 양자화를 견딜 수 없다는 가정에 도전합니다.
2. 복합 회전 메커니즘: 채널별 가중치 에너지를 동시에 균등화하고 잔여 활성화 이상치를 확산시키는 복합 SVD·하드마드 회전 도입으로, SVD 또는 하드마드 변환을 단독으로 사용할 때의 한계를 해결합니다.
3. 단계별 보정: 반복적 탈노이즈 과정의 안정성 유지에 필수적인 시간 단계 의존적 동적 범위 드리프트를 처리하기 위해 DiT 모델 전용으로 개발된 단계별 활성화 스케일링 메커니즘.

실험 결과

이 프레임워크는 Pi 0.5와 GR00T N1.5라는 두 가지 최첨단 VLA 정책을 사용하여 LIBERO 벤치마크에서 평가되었습니다.

• 시뮬레이션 성능:

  • Pi 0.5: W4A4 양자화 하에서 **98.0%**의 평균 작업 성공률을 달성하여 FP16 기준 (97.1%) 을 약간 상회했습니다.
  • GR00T N1.5: **87.8%**의 평균 성공률을 달성하여 FP16 기준 (87.0%) 과 일치했습니다.
  • 비교: 이러한 결과는 DiT 어텐션 레이어를 양자화할 때 성능 유지를 실패한 경우가 많았던 기존 W4A4 전체 양자화 베이스라인 (예: SmoothQuant, DuQuant, QuantVLA) 보다 훨씬 뛰어납니다. 예를 들어, Pi 0.5 에서 QuantVLA 는 82.0% 의 성공률만 달성한 반면, Ω-QVLA 는 98.0% 에 도달했습니다.
  • 메모리 효율성: 이 프레임워크는 FP16 대비 정적 메모리 풋프린트를 71.3% 줄였으며, 메타데이터 오버헤드는 미미했습니다 (Pi 0.5 의 경우 약 90MB).

• 실세계 조작:

  • 실험은 5 가지 양손 조작 작업 (예: 컵 집기, 수건 접기) 을 수행하는 듀얼 암 ARX R5 플랫폼에서 진행되었습니다.
  • 성능: Ω-QVLA 는 평균 진행 점수 51.0을 달성하여 FP16 베이스라인 (49.6) 을 능가했습니다. 반면, 베이스라인 QuantVLA 는 25.0 으로 붕괴되었습니다.
  • 정성적 분석: 실세계 테스트는 Ω-QVLA 가 매끄럽고 정확한 조작 궤적을 생성함을 확인했습니다. 베이스라인 방법들은 뻑뻑한 엔드 이펙터 움직임과 행동 차원의 빈번한 스파이크를 보였으며, 이로 인해 장기 작업에서 실패가 발생했습니다.

중요성과 주장

이 논문은 Ω-QVLA 가 DiT 행동 헤드가 균일하게 양자화되기에는 너무 민감하다는 지배적인 신념을 뒤집었다고 주장합니다. 채널별 에너지 불균형과 탈노이즈 단계 동적 범위 드리프트라는 불안정성의 근원을 직접 해결함으로써, 저자들은 통합된 W4A4 정밀도가 고성능 VLA 배포에 충분함을 입증했습니다.

저자들은 그들의 접근 방식이 재학습이 필요 없으며 혼합 정밀도 할당의 복잡성을 제거한다고 강조합니다. 결과는 효과적인 VLA 압축을 위해서는 언어 중심 양자화 기술의 직접적인 전수가 아닌, 전체적이고 행동 인식적인 최적화가 필요함을 시사합니다. 현재 평가는 DiT 기반 백본과 특정 벤치마크로 제한되어 있지만, 이 연구는 엄격한 메모리 및 지연 시간 제약을 가진 하드웨어에서 대규모 VLA 정책의 배포를 가능하게 하는 온디바이스 로봇 제어에 대한 새로운 기준을 수립했습니다.