Resumen Técnico: TARQ – Cuantización de Reconstrucción Consciente de la Cola para ASR Robusto ante Palabras Raras

1. Enunciado del Problema

Los modelos de Reconocimiento Automático del Habla (ASR) de extremo a extremo a gran escala basados en arquitecturas Transformer enfrentan restricciones de despliegue debido al ancho de banda de memoria y la capacidad de los dispositivos. La Cuantización Post-Entrenamiento (PTQ) solo de pesos es una estrategia de compresión principal, que reemplaza las matrices de pesos de precisión completa con aproximaciones de bajo número de bits (por ejemplo, 4 bits) mientras mantiene las activaciones en punto flotante.

Sin embargo, los métodos existentes de PTQ conscientes de los datos, desarrollados en gran medida para Modelos de Lenguaje Grande (LLM), minimizan una pérdida de reconstrucción promediada sobre las posiciones de los tokens de calibración. Este promediado pondera implícitamente las posiciones según su frecuencia empírica en el corpus de calibración. En consecuencia, los patrones léxicos frecuentes dominan la optimización, mientras que los patrones infrecuentes (la "cola léxica") —como nombres, numerales y términos específicos del dominio— reciben una masa de calibración desproporcionadamente baja.

En ASR, este desalineamiento ponderado por frecuencia es crítico. Las palabras raras suelen ser las más frágiles bajo perturbación de cuantización, pero las métricas estándar de PTQ ocultan su degradación porque la Tasa de Error de Palabra (WER) agregada está dominada por palabras comunes. El artículo identifica que optimizar el objetivo de reconstrucción de manera más agresiva (por ejemplo, aumentando los presupuestos de iteración) no resuelve esta brecha; la asimetría reside en la propia métrica de calibración, no en la rigurosidad del solucionador.

2. Metodología: TARQ

Los autores proponen Cuantización de Reconstrucción Consciente de la Cola (TARQ), un marco de PTQ sin etiquetas que desplaza la calibración hacia la cola léxica sin requerir etiquetas de entidades, conjuntos de datos curados o entrenamiento adicional. TARQ opera mediante dos componentes de forma cerrada que reutilizan las estadísticas de segundo momento acumuladas durante un único paso de calibración:

A. RAREBAL (Métrica de Calibración Equilibrada para Raras)

RAREBAL reemplaza la métrica de calibración estándar ponderada por frecuencia con una equilibrada entre comunes y colas.

• Mecanismo: Particiona los tokens de calibración en grupos "comunes" y "cola" basándose en la rareza léxica (definida por una puntuación Zipf de wordfreq < 3, es decir, <1 ocurrencia por millón de palabras).
• Equalización de la Trazas: Para cada capa Lineal $\ell$, se calcula un coeficiente escalar $\lambda_\ell$ para igualar la masa de la traza de los grupos comunes y de cola:
  $$\lambda_\ell = \frac{\text{tr}(H_{\text{común}}^\ell)}{\text{tr}(H_{\text{cola}}^\ell) + \epsilon}$$
  donde $H$ representa las matrices de segundo momento por grupo. La nueva métrica es $H_{\text{RB}}^\ell = H_{\text{común}}^\ell + \lambda_\ell H_{\text{cola}}^\ell$.
• Efecto: Esto obliga al objetivo de reconstrucción a tratar los tokens raros y comunes con igual importancia (una división 50/50 en la masa de la traza), independientemente de su frecuencia en el corpus.

B. Corrección de Residuos Consistente con la Métrica

Los solucionadores estándar de PTQ (como GPTQ) visitan las capas secuencialmente, provocando que las activaciones de entrada se desvíen de la trayectoria de precisión completa. Cuando la métrica de reconstrucción se altera mediante RAREBAL, esta desviación debe corregirse dentro del mismo marco geométrico.

• Mecanismo: TARQ calcula una dirección de propagación $D_\ell$ basada en el momento cruzado del error de entrada y la nueva métrica $H_{\text{RB}}^\ell$.
• Corrección: Se ajusta un residuo escalar $\alpha_\ell$ mediante mínimos cuadrados unidimensionales para alinear el barrido secuencial de capas con el objetivo reequilibrado. El peso objetivo se proyecta de nuevo en la retícula de bajo número de bits bajo la misma métrica RAREBAL, asegurando que el solucionador no retroceda a la geometría original ponderada por frecuencia.

3. Contribuciones Clave

1. Diagnóstico de la Herencia de Frecuencia: Los autores identifican explícitamente que la PTQ basada en reconstrucción hereda la distribución de frecuencia de tokens del corpus, creando una opción de diseño que no se alinea con los riesgos de ASR sensibles a la cola. Demuestran que la WER agregada enmascara una degradación significativa en el reconocimiento de palabras raras.
2. Marco TARQ: Introducción de un marco de PTQ que no requiere etiquetas de entidades ni decodificación de validación. Utiliza una equalización de trazas por capa Lineal de forma cerrada (RAREBAL) y una corrección de residuos consistente con la métrica.
3. Validación Empírica: Experimentos extensos en ocho arquitecturas base de ASR (Whisper, Qwen3-ASR, Voxtral), seis conjuntos de datos y seis corpus de calibración.

4. Resultados Experimentales

Evaluado bajo cuantización W4G128 (pesos de 4 bits, tamaño de grupo 128):

• Mejora en Rare-WER: TARQ mejora la Tasa de Error de Palabra Rara media (rare-WER) en la mayoría de las arquitecturas base en comparación con las líneas base (GPTQ, AWQ, OmniQuant, GenPTQ). Por ejemplo, en Whisper-base, TARQ reduce el rare-WER del 47.57% (GPTQ) al 43.96%.
• WER Agregada: TARQ mantiene una WER plana competitiva o superior, logrando la WER plana media de rango 1 en las ocho arquitecturas base. Cierra la brecha de la cola léxica sin un compromiso en la WER plana.
• Estabilidad de Calibración: TARQ exhibe la menor oscilación de rare-WER entre corpus (0.63 puntos porcentuales) entre los métodos comparados, demostrando robustez frente a la elección del corpus de calibración.
• Transferibilidad: La corrección basada en rareza se transfiere efectivamente a benchmarks ricos en entidades (ProfASR, ContextASR-Speech-En) sin supervisión de entidades, superando a las líneas base en estas tareas especializadas.
• Recuperación Cualitativa: Los estudios de casos muestran que TARQ preserva con éxito palabras de referencia raras (por ejemplo, "marmalades", "dandan", "pewter") que otras líneas base W4G128 sustituyen o degradan.

5. Significado y Afirmaciones

El artículo afirma que TARQ aborda una limitación fundamental en la cuantización actual de ASR: el sesgo implícito hacia los tokens frecuentes. Al reequilibrar la propia métrica de calibración, TARQ optimiza directamente los errores de entidades raras que los métodos anteriores pasan por alto.

• Impacto en el Despliegue: TARQ permite el despliegue de modelos grandes de ASR en dispositivos con recursos limitados (CPU y GPUs con poca VRAM) con precisión INT4, preservando la precisión de palabras raras, lo cual es crítico para dominios que involucran nombres, términos técnicos y nombres propios.
• Cambio Metodológico: El trabajo argumenta que la métrica de calibración, no solo el solucionador, dicta el compromiso entre la preservación de tokens comunes y raros. Demuestra que una simple equalización de trazas sin etiquetas puede superar enfoques complejos y pesados en la curación de datos.
• Limitaciones: Los autores señalan que TARQ apunta a la PTQ de reconstrucción consciente de datos y puede no aplicarse directamente a configuraciones sin datos o con cuantización de activaciones. También reconocen un modo de fallo específico en enunciados muy cortos dominados por un único nombre propio raro, donde el reequilibrio a nivel de capa puede sustituir el token raro por un vecino de alta frecuencia fonéticamente similar. Sugieren que esto puede mitigarse mediante un sesgo contextual en tiempo de inferencia, una técnica complementaria no combinada en este trabajo.

En conclusión, TARQ proporciona una solución robusta, eficiente y sin etiquetas al "problema de las palabras raras" en ASR cuantizado, ofreciendo un paso significativo hacia el despliegue de reconocimiento de voz de alta fidelidad en dispositivos periféricos.