기술 요약: TARQ – 희귀 단어 강인성을 위한 꼬리 인식 재구성 양자화

1. 문제 제기

Transformer 아키텍처 기반의 대규모 엔드투엔드 자동 음성 인식 (ASR) 모델은 메모리 대역폭 및 장치 용량 제약으로 인해 배포에 어려움을 겪고 있습니다. 가중치 전용 학습 후 양자화 (PTQ) 는 주요 압축 전략으로, 활성화는 부동 소수점 형태로 유지하면서 정밀 가중치 행렬을 저비트 근사치 (예: 4 비트) 로 대체합니다.

그러나 기존 데이터 인식 PTQ 방법은 주로 대규모 언어 모델 (LLM) 을 위해 개발되었으며, 보정 토큰 위치에서 평균화된 재구성 손실을 최소화합니다. 이 평균화는 보정 말뭉치에서의 경험적 빈도에 따라 위치를 암시적으로 가중치합니다. 결과적으로 빈번한 어휘 패턴이 최적화를 지배하는 반면, 이름, 숫자, 도메인 특화 용어와 같은 드문 패턴 ("어휘 꼬리") 은 불균형적으로 적은 보정 질량을 받습니다.

ASR 에서 이러한 빈도 가중 불일치는 치명적입니다. 드문 단어는 양자화 교란 하에서 가장 취약한 경우가 많지만, 집계 단어 오류율 (WER) 이 일반 단어에 의해 지배되기 때문에 표준 PTQ 지표는 이러한 열화를 가립니다. 해당 논문은 재구성 목적을 더 공격적으로 최적화하는 것 (예: 반복 예산 증가) 이 이 격차를 해결하지 못한다고 지적합니다. 비대칭성은 솔버의 엄격함이 아니라 보정 지표 자체에 있습니다.

2. 방법론: TARQ

저자들은 엔티티 레이블, 큐레이션된 데이터셋, 추가 학습 없이도 어휘 꼬리로의 보정을 전환하는 레이블 없는 PTQ 프레임워크인 꼬리 인식 재구성 양자화 (TARQ) 를 제안합니다. TARQ 는 단일 보정 통과 동안 누적된 2 차 모멘트 통계를 재사용하는 두 가지 폐형 (closed-form) 구성 요소를 통해 작동합니다:

A. RAREBAL (희귀 균형 보정 지표)

RAREBAL 은 표준 빈도 가중 보정 지표를 일반/꼬리 균형 지표로 대체합니다.

• 메커니즘: 어휘 희귀성 (단어 빈도 Zipf 점수 < 3, 즉 백만 단어당 1 회 미만 발생으로 정의됨) 을 기반으로 보정 토큰을 "일반" 및 "꼬리" 그룹으로 분할합니다.
• 추적 평준화: 각 선형 계층 $\ell$에 대해 일반 및 꼬리 그룹의 추적 질량을 평준화하는 스칼라 계수 $\lambda_\ell$를 계산합니다:
  $$\lambda_\ell = \frac{\text{tr}(H_{\text{common}}^\ell)}{\text{tr}(H_{\text{tail}}^\ell) + \epsilon}$$
  여기서 $H$는 그룹별 2 차 모멘트 행렬을 나타냅니다. 새로운 지표는 $H_{\text{RB}}^\ell = H_{\text{common}}^\ell + \lambda_\ell H_{\text{tail}}^\ell$입니다.
• 효과: 이는 재구성 목적을 말뭉치 빈도와 관계없이 드문 토큰과 일반 토큰을 동등한 중요도 (추적 질량 기준 50/50 분할) 로 처리하도록 강제합니다.

B. 지표 일관성 잔차 보정

표준 PTQ 솔버 (GPTQ 등) 는 계층을 순차적으로 방문하여 입력 활성화가 정밀 궤적에서 벗어나게 만듭니다. RAREBAL 로 인해 재구성 지표가 변경되면, 이 편차는 동일한 기하학적 프레임워크 내에서 보정되어야 합니다.

• 메커니즘: TARQ 는 입력 오류 교차 모멘트와 새로운 지표 $H_{\text{RB}}^\ell$를 기반으로 전파 방향 $D_\ell$을 계산합니다.
• 보정: 1 차원 최소 제곱법을 통해 스칼라 잔차 $\alpha_\ell$를 피팅하여 순차적 계층 스윕을 재균형화된 목적에 정렬합니다. 목표 가중치는 동일한 RAREBAL 지표 하에서 저비트 격자로 다시 투영되어, 솔버가 원래 빈도 가중 기하학으로 되돌아가지 않도록 보장합니다.

3. 주요 기여

1. 빈도 상속 진단: 저자들은 재구성 기반 PTQ 가 말뭉치 토큰 빈도 분포를 상속받아 꼬리 민감 ASR 위험과 불일치하는 설계 선택을 만든다고 명시적으로 지적합니다. 집계 WER 이 드문 단어 인식의 심각한 열화를 가린다는 것을 입증합니다.
2. TARQ 프레임워크: 엔티티 레이블이나 검증 디코딩이 필요 없는 PTQ 프레임워크를 도입합니다. 이는 선형 계층별 폐형 추적 평준화 (RAREBAL) 와 지표 일관성 잔차 보정을 활용합니다.
3. 실증적 검증: Whisper, Qwen3-ASR, Voxtral 등 8 개의 ASR 백본, 6 개의 데이터셋, 6 개의 보정 말뭉치에 걸쳐 광범위한 실험을 수행했습니다.

4. 실험 결과

W4G128 (4 비트 가중치, 그룹 크기 128) 양자화 하에서 평가:

• 희귀-WER 개선: TARQ 는 기준선 (GPTQ, AWQ, OmniQuant, GenPTQ) 에 비해 대부분의 백본에서 평균 희귀 단어 오류율 (희귀-WER) 을 개선했습니다. 예를 들어, Whisper-base 에서 TARQ 는 희귀-WER 을 GPTQ 의 47.57% 에서 43.96% 로 감소시켰습니다.
• 집계 WER: TARQ 는 경쟁력 있거나 우수한 일반 WER 을 유지하며, 모든 8 개 백본에서 순위 1 평균 일반 WER 을 달성했습니다. 일반 WER 의 트레이드오프 없이 어휘 꼬리 격차를 해소합니다.
• 보정 안정성: TARQ 는 비교된 방법 중 가장 낮은 교차 말뭉치 희귀-WER 변동 (0.63 퍼센트 포인트) 을 보여 보정 말뭉치 선택에 대한 강인성을 입증합니다.
• 전이성: 희귀성 기반 보정은 엔티티 감독 없이 엔티티가 풍부한 벤치마크 (ProfASR, ContextASR-Speech-En) 로 효과적으로 전이되어 이러한 전문 작업에서 기준선을 능가합니다.
• 정성적 복구: 사례 연구는 TARQ 가 다른 W4G128 기준선이 대체하거나 열화시키는 드문 참조 단어 ("marmalades", "dandan", "pewter" 등) 를 성공적으로 보존함을 보여줍니다.

5. 중요성 및 주장

이 논문은 TARQ 가 현재 ASR 양자화의 근본적인 한계인 빈번한 토큰에 대한 암시적 편향을 해결한다고 주장합니다. 보정 지표 자체를 재균형함으로써 TARQ 는 이전 방법들이 간과한 희귀 엔티티 오류를 직접 최적화합니다.

• 배포 영향: TARQ 는 희귀 단어 정확성을 유지하면서 CPU 및 저 VRAM GPU 와 같은 리소스 제약 장치를 위한 대규모 ASR 모델의 INT4 정밀도 배포를 가능하게 합니다. 이는 이름, 기술 용어, 고유 명사와 관련된 도메인에서 중요합니다.
• 방법론적 전환: 이 연구는 솔버뿐만 아니라 보정 지표가 일반 및 드문 토큰 보존 간의 트레이드오프를 결정한다고 주장합니다. 복잡한 데이터 큐레이션이 많은 접근법보다 단순하고 레이블 없는 추적 평준화가 더 우수할 수 있음을 입증합니다.
• 한계점: 저자들은 TARQ 가 데이터 인식 재구성 PTQ 를 대상으로 하며 데이터 프리 또는 활성화 양자화 설정에는 직접 적용되지 않을 수 있다고 지적합니다. 또한 단일 드문 고유 명사로 지배되는 매우 짧은 발화에서 계층 수준 재균형이 드문 토큰을 음운론적으로 유사한 고빈도 이웃으로 대체할 수 있는 특정 실패 모드를 인정합니다. 이는 이 작업에서 결합되지 않은 보완 기술인 추론 시 문맥 편향으로 완화될 수 있다고 제안합니다.

결론적으로 TARQ 는 양자화된 ASR 의 "드문 단어 문제"에 대한 견고하고 효율적이며 레이블 없는 솔루션을 제공하며, 엣지 장치에서 고충실도 음성 인식을 배포하는 데 중요한 단계를 제시합니다.