Mix-QVLA: Task-Evidence-Aware Mixed-Precision Quantization of Vision-Language-Action Models

기술 요약: Mix-QVLA

문제 정의
시각-언어-행동(VLA) 모델은 인지, 언어 추론, 로봇 제어를 하나의 단일 정책으로 통합하여 언어 조건부 조작을 가능하게 합니다. 그러나 이러한 모델의 상당한 메모리 및 계산 요구 사항은 자원이 제한된 로봇 플랫폼에 배포하는 것을 저해합니다. 저비트 혼합 정밀도 사후 훈련 양자화(PTQ)가 압축을 위한 경로를 제공하지만, 기존의 VLA 양자화 방법들은 결정적인 한계점을 가집니다. 즉, 이들은 주로 최종 동작 편차(final action deviation)를 기반으로 레이어 민감도를 추정한다는 점입니다.

저자들은 최종 동작 명령에서의 작은 편차가 양자화된 모델이 전체 정밀도(full-precision) 정책 결정을 뒷받ing하는 내부의 "증거 구조(evidence structure)"를 보존했음을 보장하지는 않는다고 주장합니다. 반대로, 큰 편차가 발생하더라도 어디에서 계산이 실패했는지는 밝혀내지 못합니다. 기존 방법들은 양자화가 시각적 접지(visual grounding), 언어 추석(language reasoning)과 같은 내부 정책 단계 전반에 걸친 작업 관련 증거를 방해하는지 여부를 검사하지 못하며, 이는 결과적인 움직임이 부드럽게 보이더라도 잘못된 작업 접지로 이어질 가능성이 있습니다.

방법론
본 논문은 VLA 모델의 내부 결정 경로를 보존하도록 설계된 작업-증거 인식 혼합 정밀도 PTQ 프레임워크인 Mix-QVLA를 제안합니다. 방법론은 다음 세 가지 주요 단계로 진행됩니다.

1. 작업-증거 레이어 민감도(Task-Evidence Layer Sensitivity):

   • 참조 결정(Reference Decision): 프레임워크는 양자화 평가를 전체 정밀도 모델($\theta_{FP}$)에 의해 생성된 고정된 전체 정밀도 액션 토큰 시퀀스($y^*$)에 고정합니다.
   • 경계 분석(Boundary Analysis): 비전 인코더 출력, 프로젝터 출력, 언어-정책 표현, 액션 헤드 표현의 네 가지 기능적 경계에서 증거 보존을 평가합니다.
   • 증거 매핑(Evidence Mapping): 각 경계에 대해, 정규화된 경계 활성화와 교사 강제 로그 확률(teacher-forced log-probability) 목적 함수의 그래디언트를 결합하여 그래디언트 가중 작업-증거 맵($E$)을 계산합니다. 이는 참조 결정에 대해 활성화되어 있으면서 동시에 영향력이 있는 특징들을 식별합니다.
   • 왜곡 측정(Distortion Measurement): 전체 정밀도 및 양자화된 증거 맵을 두 가지 지표를 사용하여 비교합니다:
     • 증거 질량(Evidence Mass): 결정 지원 증거의 총 강도.
     • 속성 분포(Attribution Distribution): 토큰/채널 전반의 증거 공간 할당(Jensen–Shannon 발산을 통해 측정).
   • 집계(Aggregation): 이러한 왜곡은 "소프트-보틀넥(soft-bottleneck)" 목적 함수를 사용하여 레이어별 민감도 점수로 집계되며, 이는 강력하게 저하된 경계가 다른 경계에 의해 희석되지 않고 최종 점수에 유의미한 영향을 미치도록 보장합니다.

2. 시간적 작업-증거 민감도(Temporal Task-Evidence Sensitivity):

   • VLA 정책이 궤적(trajectory)에 따라 전개된다는 점을 인식하여, Mix-QVLA는 민감도를 시간 의존적으로 취급합니다. 이는 캘리브레이션 샘플을 정규화된 궤적 진행도($\rho \in [0, 1]$)에 매핑하고 단계별 민감도 점수를 계산합니다.
   • 레이어의 최종 시간적 민감도 점수는 특정 실행 단계에서만 중요해지는 레이어를 포착하기 위해, 모든 궤적 단계에서 관찰된 최대 저하를 기반으로 도출됩니다.

3. 혼합 정밀도 비트 할당(Mixed-Precision Bit Allocation):

   • 프레임워크는 비트 할당을 제약 조건이 있는 최적화 문제로 정식화합니다. 모델 크기 및 BitOps 예산 제약 하에서 작업-증거 및 시간적 민감도 저하를 최소화합니다.
   • 이진 할당 변수는 각 레이어의 비트 너비를 결정하며, 분기 한정법(branch-and-bound) 솔버를 통해 해결됩니다. 결과적인 할당은 캘리브레이션 후 고정되며 추론 중에 적용됩니다.

주요 기여

• Mix-QVLA 프레임워크: 최종 동작 편차에만 의존하는 대신, 기능적 경계와 궤적 타임스텝 전반에 걸친 작업 관련 증거의 보존을 기반으로 레이어 민감도를 추정하는 새로운 PTQ 프레임워크입니다.
• 경계 수준의 작업-증거 분석: 양자화가 VLA 내부 결정 경로를 어떻게 방해하는지 측정하는 진단적 접근 방식으로, 증거 질량 손실과 속성 재분포를 구분하는 레이어별 민감도 추정치를 제공합니다.
• 시간 인식 민감도 분석: 일관되게 취약한 레이어와 특정 실행 단계에서만 민감한 레이어를 구분하는 단계 의존적 레이어 중요성을 포착하는 메커즘입니다.
• 실증적 검증: OpenVLA 스타일의 정책에 대한 광범위한 평가를 통해, 동작 전용 양자화 기준보다 개선된 민감도 추정 및 더 나은 정확도-효율성 트레이드오프를 입증했습니다.

실험 결과
저자들은 OpenVLA 및 OpenVLA-OFT 정책을 사용하여 LIBERO 벤치마크에서 Mix-QVLA를 평가했습니다.

• 성능: OpenVLA-OFT에서 Mix-QVLA는 W4A4 양자화 하에서 메모리 사용량을 15.4 GB(BF16)에서 4.1 GB로 줄이면서 평균 성공률 96.3%를 유지했습니다(전체 정밀도 모델의 97.1% 대비).
• 비교: Mix-QVLA는 평균 성공률 측면에서 SOTA 방법들(SmoothQuant, OmniQuant, QVLA, DyQ-VLA 포함)과 대등하거나 이를 능가하면서도, 더 낮은 메모리 풋프린트와 더 높은 추론 속도 향상(최대 1.52배)을 달상했습니다.
• 절제 연구(Ablation): 실험을 통해 작업-증거 민감도와 시간적 민감도를 결적으로 결합하는 것이 최상의 결과(OpenVLA에서 76.3% 평균 성공)를 낸다는 것을 확인했으며, 두 신호 중 하나에만 의존할 경우 성능이 낮아짐을 확인했습니다.

의의 및 주장
본 논문은 Mix-QVLA가 VLA 양자화의 근본적인 간극인 최종 동작 정확도와 내부 의사결정 과정의 무결성 사이의 단절을 해결한다고 주장합니다. 전체 정밀도 결정(decision)을 뒷받침하는 "증거"를 명시적으로 측정하고 보존함으로써, Mix-QVLA는 더 견고한 저비트 배포를 가능하게 합니다. 저자들은 이 방법이 작업 성공률을 저해하지 않으면서도 상당한 메모리 감소와 속도 향상을 허용하여, 저비트 VLA 배포를 위한 정확도-효율성 트레이드오프를 개선한다고 밝히고 있습니다.

한계점
저자들은 현재의 평가가 OpenVLA 스타일의 정책 및 LIBERO 시뮬레이션 작업에 국한되어 있어, 실제 로봇 배포 및 다른 아키텍처에 대한 추가 검증이 필요함을 겸허히 언급했습니다. 또한, 작업-증거 점수는 추가적인 오프라인 캘리브레이션 패스를 요구하며, 현재 구현은 동적인 타임스텝별 스위칭이 아닌 고정된 비트 할당을 사용합니다. 마지막으로, 증거 맵은 진단 신호로서의 역할을 수행하며 작업 성공의 인과적 보장을 제공하는 것은 아닙니다.