技術概要：TARQ – 稀語に強健な ASR のための尾部感知再構成量子化

1. 問題定義

Transformer アーキテクチャに基づく大規模エンドツーエンド自動音声認識（ASR）モデルは、メモリ帯域幅とデバイスの容量制約により、展開上の課題に直面している。重み専用の学習後量子化（PTQ）は主要な圧縮戦略であり、フル精度の重み行列を低ビット近似（例：4 ビット）に置き換えつつ、アクティベーションを浮動小数点のまま保持する。

しかし、既存のデータ感知型 PTQ 手法は主に大規模言語モデル（LLM）向けに開発されており、較正トークン位置全体で平均化された再構成誤差を最小化する。この平均化は、較正コーパスにおける経験的頻度によって位置を暗黙的に重み付けする。その結果、頻出する語彙パターンが最適化を支配し、名前、数値、ドメイン固有の用語などの「語彙尾部」に属する稀なパターンは、不釣り合いに少ない較正重みしか受けられない。

ASR において、この頻度重み付けされたミスマッチは決定的である。稀な語彙は量子化の摂動に対して最も脆弱であることが多いが、集約的な単語誤り率（WER）が共通語に支配されているため、標準的な PTQ 指標はそれらの劣化を隠蔽してしまう。本論文は、再構成目的関数の最適化をより攻撃的に行うこと（例：反復予算の増大）ではこのギャップが解消されないことを指摘している。非対称性はソルバーの厳密さではなく、較正指標そのものにある。

2. 手法：TARQ

著者は、エンティティラベル、キュレーションされたデータセット、追加の学習を必要とせず、語彙尾部へ較正をシフトさせるラベルフリーの PTQ フレームワークである「尾部感知再構成量子化（TARQ）」を提案する。TARQ は、単一の較正パス中に蓄積された 2 次モーメント統計を再利用する 2 つの閉形式コンポーネントによって動作する。

A. RAREBAL（稀語バランス較正指標）

RAREBAL は、標準的な頻度重み付け較正指標を、共通語と尾部をバランスさせた指標に置き換える。

• メカニズム: 語彙の希少性（語頻 Zipf スコアが 3 未満、すなわち 100 万語あたり 1 回未満の出現）に基づき、較正トークンを「共通」グループと「尾部」グループに分割する。
• トレース等化: 各線形層 $\ell$ に対して、共通グループと尾部グループのトレース質量を等化するためのスカラー係数 $\lambda_\ell$ を計算する。
  $$\lambda_\ell = \frac{\text{tr}(H_{\text{common}}^\ell)}{\text{tr}(H_{\text{tail}}^\ell) + \epsilon}$$
  ここで、$H$ はグループごとの 2 次モーメント行列を表す。新しい指標は $H_{\text{RB}}^\ell = H_{\text{common}}^\ell + \lambda_\ell H_{\text{tail}}^\ell$ となる。
• 効果: これにより、再構成目的関数がコーパス頻度に関わらず、稀なトークンと共通のトークンを等しく重要視する（トレース質量の 50/50 分割）ように強制される。

B. 指標一貫性残差補正

標準的な PTQ ソルバー（GPTQ など）は層を逐次的に訪問するため、入力アクティベーションがフル精度の軌道からずれる。再構成指標が RAREBAL によって変更された場合、このずれは同じ幾何学的フレームワーク内で補正されなければならない。

• メカニズム: TARQ は、入力誤差の交差モーメントと新しい指標 $H_{\text{RB}}^\ell$ に基づいて伝播方向 $D_\ell$ を計算する。
• 補正: 1 次元最小二乗法を用いてスカラー残差 $\alpha_\ell$ をフィットし、逐次的な層掃引を再バランスされた目的関数に整合させる。目標重みは、同じ RAREBAL 指標の下で低ビット格子へ投影され、ソルバーが元の頻度重み付け幾何学に戻らないことを保証する。

3. 主要な貢献

1. 頻度継承の診断: 著者は、再構成ベースの PTQ がコーパスのトークン頻度分布を継承し、尾部に敏感な ASR のリスクと整合しない設計選択を生み出していることを明示的に特定した。集約的な WER が稀な語彙認識における重大な劣化を隠蔽することを示した。
2. TARQ フレームワーク: エンティティラベルや検証デコーディングを必要としない PTQ フレームワークの導入。各線形層ごとの閉形式トレース等化（RAREBAL）と、指標一貫性残差補正を利用する。
3. 実証的検証: Whisper、Qwen3-ASR、Voxtral の 8 つの ASR バックボーン、6 つのデータセット、6 つの較正コーパスにわたる広範な実験。

4. 実験結果

W4G128（4 ビット重み、グループサイズ 128）量子化条件下で評価：

• 稀語 WER の改善: 基線（GPTQ、AWQ、OmniQuant、GenPTQ）と比較して、TARQ は大半のバックボーンで平均稀語単語誤り率（rare-WER）を改善した。例えば、Whisper-base において、TARQ は rare-WER を GPTQ の 47.57% から 43.96% に削減した。
• 集約 WER: TARQ は競争力のある、あるいは優れた汎用 WER を維持し、すべての 8 つのバックボーンでランク 1 の平均汎用 WER を達成した。汎用 WER とのトレードオフなしに語彙尾部のギャップを埋めた。
• 較正安定性: 比較された手法の中で、TARQ は最も低いコーパス間 rare-WER の変動（0.63 パーセントポイント）を示し、較正コーパスの選択に対する頑健性を証明した。
• 転移性: 希少性に基づく補正は、エンティティラベルなしでエンティティ豊富なベンチマーク（ProfASR、ContextASR-Speech-En）へ効果的に転移し、これらの専門タスクにおいて基線を上回った。
• 定性的回復: ケーススタディは、他の W4G128 基線が置換または劣化させる稀な参照語（例："marmalades"、"dandan"、"pewter"）を TARQ が成功裡に保持することを示した。

5. 意義と主張

本論文は、TARQ が現在の ASR 量子化における根本的な限界、すなわち頻出トークンへの暗黙的なバイアスを解決すると主張する。較正指標そのものを再バランスすることで、TARQ は従来の手法が見落としていた稀なエンティティ誤りを直接最適化する。

• 展開への影響: TARQ は、稀な語彙の精度を維持したまま、INT4 精度でリソース制約のあるデバイス（CPU および低 VRAM GPU）上大規模 ASR モデルを展開可能にする。これは名前、技術用語、固有名詞を含むドメインにおいて決定的に重要である。
• 方法論的転換: 本作業は、ソルバーだけでなく較正指標自体が共通語と稀なトークンの保持間のトレードオフを決定づけることを論じる。複雑でデータキュレーションに依存するアプローチよりも、単純なラベルフリーのトレース等化が優れていることを実証した。
• 限界: 著者は、TARQ はデータ感知型再構成 PTQ を対象としており、データフリーまたはアクティベーション量子化の環境には直接適用できない可能性があると指摘している。また、単一の稀な固有名詞に支配された非常に短い発話において、層レベルの再バランスが、音響的に類似した高頻度の隣接語に稀なトークンを置換してしまう特定の失敗モードを認めている。これは本作業では組み合わせていない補完的な技術である推論時の文脈バイアスによって緩和可能であると提案している。

結論として、TARQ は量子化された ASR における「稀な語彙問題」に対する堅牢で効率的かつラベルフリーの解決策を提供し、エッジデバイスでの高忠実度音声認識の展開に向けた重要な一歩となる。