Resumen Técnico: Escalamiento de Cómputo en Tiempo de Prueba para ASR con Transformers de Bucle Condicionados por Profundidad

Declaración del Problema

Los sistemas de Reconocimiento Automático del Habla (ASR) de extremo a extremo suelen depender de codificadores acústicos de profundidad fija. En la inferencia, la profundidad computacional está rígidamente determinada por la arquitectura, lo que impide que los modelos intercambien cómputo adicional en tiempo de prueba por una mayor precisión de reconocimiento sin necesidad de reentrenar un modelo más grande. Si bien el escalamiento de cómputo en tiempo de prueba ha ganado tracción en el modelado de lenguaje autorregresivo (donde la generación iterativa permite el razonamiento y la autocorrección), aplicar este paradigma a las tareas de ASR continuas y no autorregresivas es no trivial. Los codificadores estándar de profundidad fija carecen de un mecanismo para refinar progresivamente las representaciones acústicas durante la inferencia, y los intentos ingenuos de reutilizar bloques Transformer compartidos recurrentemente suelen fallar al no explotar plenamente el cómputo adicional, resultando en un rendimiento subóptimo en comparación con las líneas base de parámetros no compartidos más profundas.

Metodología: La Arquitectura LARM

Para abordar estas limitaciones, los autores proponen el Modelo de Audio Recurrente de Bucle (LARM), un Transformer de bucle condicionado por profundidad que desacopla el recuento de parámetros de la profundidad de inferencia. LARM aplica un bloque Transformer compartido recurrentemente a una secuencia acústica latente, tratando la profundidad computacional como un eje dinámico y controlable. La arquitectura integra cuatro mecanismos clave para estructurar el bucle y permitir la especialización por etapas:

1. Supervisión Dispersa y Estructura de Puntos de Control (Checkpoints):
   En lugar de aplicar la pérdida en cada bucle o solo en el paso final, LARM emplea un esquema de supervisión dispersa. El proceso recurrente se estructura en una secuencia de puntos de control de reconocimiento supervisados, separados por fases intermedias de refinamiento no supervisado. Un embebido de reloj de supervisión ($e^{(k)}_{clock}$) codifica la posición del bucle dentro del intervalo del punto de control ($c$), permitiendo que el modelo distinga entre etapas de reconocimiento supervisado y pasos de refinamiento latente.

2. Condicionamiento de Profundidad mediante FiLM:
   Para evitar que los pesos compartidos realicen computaciones redundantes a través de las iteraciones, LARM utiliza Modulación Lineal por Características (FiLM). Este mecanismo modula explícitamente el estado oculto basándose en la profundidad de iteración normalizada ($\bar{d}^{(k)}$). Pequeños MLP generan términos de escala y sesgo que condicionan el codificador compartido, permitiendo que este implemente transformaciones especializadas en diferentes etapas de la recurrencia sin desvincular los parámetros.

3. Retroalimentación de Predicción Retrasada:
   LARM introduce un mecanismo recurrente específico para ASR donde los posteriors CTC suaves de la iteración anterior se proyectan de nuevo al espacio oculto, desplazados por un cuadro (frame), y se reinyectan en la red. Esta "retroalimentación de predicción retrasada" propaga la continuidad a nivel de token de izquierda a derecha a través de la profundidad del modelo, guiando la trayectoria del refinamiento acústico y permitiendo que los bucles posteriores construyan sobre hipótesis en evolución.

4. Agregación de Estado:
   El estado recurrente $h^{(k)}$ se forma agregando la salida actual del codificador, la representación acústica inicial (mediante una conexión de salto/skip connection) y la retroalimentación de predicción retrasada. Escalares aprendibles ($\alpha, \beta$) controlan la contribución de la señal de retroalimentación, asegurando que cada bucle se condicione tanto en las características acústicas originales como en el historial de tokens suaves refinados.

Contribuciones Clave

• Escalamiento de Cómputo a Nivel de Codificador: LARM introduce un marco donde los modelos de ASR pueden escalar dinámicamente el cómputo de inferencia aumentando el número de bucles recurrentes sin aumentar el número de parámetros aprendidos.
• Entrenamiento Recurrente Especializado por Etapas: El artículo propone un novedoso mecanismo de estructuración de bucles que combina la supervisión CTC intermedia dispersa, los embebidos de reloj periódicos y el condicionamiento de profundidad FiLM. Esto permite que un único conjunto de pesos compartidos se especialice para distintas funciones (reconocimiento vs. refinamiento) a través de las iteraciones recurrentes.
• Retroalimentación de Predicción Retrasada: Los autores introducen un mecanismo de retroalimentación que reinyecta los posteriors de tokens suaves desplazados, propagando explícitamente la continuidad a nivel de token a través de la profundidad recurrente para mejorar el reconocimiento acústico iterativo.
• Validación Empírica: El trabajo demuestra que LARM mejora la Tasa de Error de Palabra (WER) a medida que aumenta el número de bucles de inferencia, logrando un rendimiento competitivo con líneas base significativamente más profundas y de parámetros no compartidos.

Resultados Experimentales

Los experimentos se realizaron en el benchmark LibriSpeech (conjuntos de entrenamiento de 100h y 960h).

• Desempeño vs. Recuento de Parámetros: En el conjunto de datos de 100h, un modelo LARM con 4 bloques compartidos y 12 bucles (7.7M de parámetros) logró un WER de 11.34% (greedy CTC), superando a un codificador estándar de 4 bloques con recuento de parámetros similar (26.78%) y superando a un codificador de 16 bloques no compartido (14.43%) que tiene casi cuatro veces más parámetros (28.9M).
• Escalamiento de Cómputo en Tiempo de Prueba: Para un modelo entrenado fijo, aumentar el número de bucles ejecutados ($K$) mejoró consistentemente el WER. El modelo de 960h mostró una trayectoria de mejora suave, mientras que el de 100h exhibió un refinamiento intermedio no monotónico pero aun así mostró ganancias en los puntos de control supervisados.
• Escalamiento con Ancho y Datos: Aumentar la dimensión del modelo ($d$) de 384 a 1024 mejoró aún más el desempeño. La configuración más grande de LARM ($d=1024$, 85.7M de parámetros) logró resultados competitivos (3.39% WER en test-clean para 960h) contra un codificador estándar de 48 bloques de equivalente recuento de parámetros.
• Estudios de Ablación:
  • Bucle Ingenuo (Naive Looping): La recurrencia simple mejoró respecto a los codificadores no con bucles, pero fue inferior al LARM completo, confirmando la necesidad de los mecanismos de condicionamiento y retroalimentación propuestos.
  • Esquema de Supervisión: Una supervisión moderadamente dispersa (intervalos de punto de control $c > 1$) superó tanto a la supervisión densa ($c=1$) como a la supervisión solo al final, validando la hipótesis de "refinamiento entre puntos de control".
  • Condicionamiento: El condicionamiento de profundidad FiLM demostró ser superior a los embebidos aditivos simples o a la ausencia de condicionamiento.
  • Retroalimentación: Eliminar la retroalimentación de predicción degradó significativamente el desempeño, y el uso de retroalimentación de cuadro anterior (retrasada) con escalares de mezcla aprendidos produjo los mejores resultados.

Significado y Reivindicaciones

El artículo afirma que LARM extiende con éxito el concepto de escalamiento de cómputo en tiempo de prueba —previamente dominante en el modelado de lenguaje autorregresivo— a la el reconocimiento de voz continuo y no autorregresivo. Al convertir la profundidad del codificador recurrente en un eje de cómputo controlable, LARM permite que los sistemas de ASR intercambien tiempo de inferencia adicional por una mayor precisión sin el costo de entrenar modelos más grandes. Los resultados sugieren que las arquitecturas de parámetros compartidos, cuando se condicionan y estructuran adecuadamente con supervisión dispersa y retroalimentación, pueden alcanzar un rendimiento comparable al de modelos mucho más profundos y de parámetros no compartidos. Los autores señalan que, si bien la configuración actual muestra signos de saturación con anchos muy grandes, el enfoque ofrece una vía eficiente en términos de parámetros para el escalamiento dinámico de la inferencia en ASR.