Resumo Técnico: Escalonamento de Computação em Tempo de Teste para ASR com Transformers em Loop Condicionados por Profundidade

Declaração do Problema

Sistemas de Reconhecimento Automático de Fala (ASR) de ponta a ponta dependem tipicamente de codificadores acústicos de profundidade fixa. Na inferência, a profundidade computacional é rigidamente determinada pela arquitetura, impedindo que os modelos troquem computação adicional em tempo de teste por uma melhor precisão de reconhecimento sem a necessidade de retreinar um modelo maior. Embora o escalonamento de computação em tempo de teste tenha ganhado tração na modelagem de linguagem autorregressiva (onde a geração iterativa permite raciocínio e autocorreção), aplicar esse paradigma a tarefas de ASR contínuas e não autorregressivas é não trivial. Codificadores padrão de profundidade fixa carecem de um mecanismo para refinar progressivamente as representações acústicas durante a inferência, e tentativas ingênuas de reutilizar blocos Transformer compartilhados recorrentemente frequentemente falham em explorar totalmente a computação adicional, resultando em desempenho subótimo em comparação com baselines de parâmetros não compartilhados mais profundos.

Metodologia: A Arquitetura LARM

Para abordar essas limitações, os autores propõem o Loop Audio Recurrent Model (LARM), um Transformer em loop condicionado por profundidade que desacopla a contagem de parâmetros da profundidade de inferência. O LARM aplica um bloco Transformer compartilhado recorrentemente a uma sequência acústica latente, tratando a profundidade computacional como um eixo dinâmico e controlável. A arquitetura integra quatro mecanismos chave para estruturar o loop e permitir a especialização por estágio:

1. Supervisão Esparsa e Estrutura de Checkpoint:
   Em vez de aplicar a perda em cada loop ou apenas no passo final, o LARM emprega um cronograma de supervisão esparsa. O processo recorrente é estruturado em uma sequência de checkpoints de reconhecimento supervisionados, separados por fases intermediárias de refinamento não supervisionado. Um embedding de relógio de supervisão ($e^{(k)}_{clock}$) codifica a posição do loop dentro do intervalo do checkpoint ($c$), permitindo que o modelo distinga entre estágios de reconhecimento supervisionado e passos de refinamento latente.

2. Condicionamento de Profundidade via FiLM:
   Para evitar que os pesos compartilhados realizem computações redundantes através das iterações, o LARM utiliza Modulação Linear por Características (FiLM). Este mecanismo modula explicitamente o estado oculto com base na profundidade de iteração normalizada ($\bar{d}^{(k)}$). MLPs pequenos geram termos de escala e viés que condicionam o codificador compartilhado, permitindo que ele implemente transformações especializadas em diferentes estágios da recorrência sem desvincular os parâmetros.

3. Feedback de Predição Atrasada:
   O LARM introduz um mecanismo recorrente específico para ASR onde posteriors CTC suaves da iteração anterior são projetados de volta para o espaço oculto, deslocados por um frame, e reinjetados na rede. Este "feedback de predição atrasada" propaga a continuidade de nível de token da esquerda para a direita através da profundidade do modelo, guiando a trajetória do refinamento acústico e permitindo que loops posteriores construam sobre hipóteses em evolução.

4. Agregação de Estado:
   O estado recorrente $h^{(k)}$ é formado pela agregação da saída atual do codificador, da representação acústica inicial (via conexão de salto/skip connection) e do feedback de predição atrasada. Escalares aprendíveis ($\alpha, \beta$) controlam a contribuição do sinal de feedback, garantindo que cada loop condicione tanto nas características acústicas originais quanto no histórico de soft-tokens refinado.

Principais Contribuições

• Escalonamento de Computação ao Nível do Codificador: O LARM introduz um framework onde modelos de ASR podem escalar dinamicamente a computação de inferência aumentando o número de loops recorrentes sem aumentar o número de parâmetros aprendidos.
• Treinamento Recorrente Especializado por Estágio: O artigo propõe um mecanismo de estruturação de loop inovador combinando supervisão CTC intermediária esparsa, embeddings de relógio periódicos e condicionamento de profundidade FiLM. Isso permite que um único conjunto de pesos compartilhados se especialize para funções distintas (reconhecimento vs. refinamento) através de iterações recorrentes.
• Feedback de Predição Atrasada: Os autores introduzem um mecanismo de feedback que reinjeta posteriors de soft-tokens deslocados, propagando explicitamente a continuidade de nível de token através da profundidade recorrente para melhorar o reconhecimento acústico iterativo.
• Validação Empírica: O trabalho demonstra que o LARM melhora a Taxa de Erro de Palavra (WER) conforme o número de loops de inferência aumenta, alcançando um desempenho competitivo com baselines de parâmetros não compartilhados significativamente mais profundos, utilizando uma fração da contagem de parâmetros.

Resultados Experimentais

Experimentos foram conduzidos no benchmark LibriSpeech (conjuntos de treinamento de 100h e 960h).

• Desempenho vs. Contagem de Parâmetros: No conjunto de dados de 100h, um modelo LARM com 4 blocos compartilhados e 12 loops (7,7M parâmetros) alcançou um WER de 11,34% (greedy CTC), superando um codificador padrão de 4 blocos correspondente em parâmetros (26,78%) e ultrapassando um codificador não compartilhado de 16 blocos (14,43%) que possui quase quatro vezes mais parâmetros (28,9M).
• Escalonamento de Computação em Tempo de Teste: Para um modelo treinado fixo, aumentar o número de loops executados ($K$) melhorou consistentemente o WER. O modelo de 960h mostrou uma trajetória de melhoria suave, enquanto o modelo de 100h exibiu um refinamento intermediário não monotônico, mas ainda apresentou ganhos nos checkpoints supervisionados.
• Escalonamento com Largura e Dados: Aumentar a dimensão do modelo ($d$) de 384 para 1024 melhorou ainda mais o desempenho. A maior configuração LARM ($d=1024$, 85,7M parâmetros) alcançou resultados competitivos (3,39% WER no test-clean para 960h) contra um codificador padrão de 48 blocos de contagem de parâmetros equivalente.
• Estudos de Ablação:
  • Looping Ingênuo: A recorrência simples melhorou em relação aos codificadores não em loop, mas foi inferior ao LARM completo, confirmando a necessidade dos mecanismos de condicionamento e feedback propostos.
  • Cronograma de Supervisão: A supervisão moderadamente esparsa (intervalos de checkpoint $c > 1$) superou tanto a supervisão densa ($c=1$) quanto a supervisão apenas no passo final, validando a hipótese de "refinamento entre checkpoints".
  • Condicionamento: O condicionamento de profundidade FiLM provou ser superior aos embeddings aditivos simples ou à ausência de condicionamento.
  • Feedback: Remover o feedback de predição degradou significativamente o desempenho, e o uso de feedback de frame anterior (atrasado) com escalares de mistura aprendidos produziu os melhores resultados.

Significância e Alegações

O artigo afirma que o LARM estende com sucesso o conceito de escalonamento de computação em tempo de teste — anteriormente dominante na modelagem de linguagem autorregressiva — para o reconhecimento de fala contínuo e não autorregressivo. Ao transformar a profundidade do codificador recorrente em um eixo de computação controlável, o LARM permite que sistemas de ASR troquem tempo de inferência adicional por maior precisão sem o custo de treinar modelos maiores. Os resultados sugerem que arquiteturas de parâmetros compartilhados, quando devidamente condicionadas e estruturadas com supervisão esparsa e feedback, podem alcançar desempenho comparável a modelos muito mais profundos e não compartilhados. Os autores observam que, embora a configuração atual mostre sinais de saturação em larguras muito grandes, a abordagem oferece um caminho eficiente em termos de parâmetros para o escalonamento dinâmico de inferência em ASR.