In-Sync: Adaptation of Speech Aware Large Language Models for ASR with Word Level Timestamp Predictions

Resumo Técnico: In-Sync

1. O Problema

O reconhecimento automático de fala (ASR) tradicional foca na transcrição de texto. No entanto, aplicações modernas (como legendagem automática, busca em mídia e sincronização multimodal) exigem timestamps (marcas de tempo) ao nível da palavra.

Atualmente, a obtenção desses timestamps geralmente depende de ferramentas externas de alinhamento forçado (como o Montreal Forced Aligner ou o WhisperX), que operam em uma segunda etapa, exigindo modelos acústicos adicionais ou dicionários de pronúncia. O desafio central abordado pelo artigo é integrar a previsão de timestamps diretamente no processo de reconhecimento (abordagem end-to-end), sem que isso prejudique a precisão da transcrição textual ou aumente excessivamente a complexidade do modelo.

2. Metodologia

Os autores utilizam o framework Granite-speech-8B como base, que é um Modelo de Linguagem de Grande Escala (LLM) consciente de fala. A arquitetura consiste em um codificador de áudio (Conformer), um adaptador de tarefas (task-aware projector) e o LLM (Granite-3.3-8B-Instruct).

A abordagem proposta, chamada In-Sync, transforma o problema em um aprendizado multitarefa:

• ASR (Automatic Speech Recognition): Transcrição pura.
• SRWT (Speech Recognition With Timestamps): Transcrição intercalada com tokens de tempo (um novo token para cada intervalo de 10ms).

Para estabilizar esse treinamento conjunto, o modelo utiliza um adaptador consciente de tarefa, que recebe um token indicador para distinguir se deve realizar apenas a transcrição ou a transcrição com timestamps.

3. Principais Contribuições (Estratégias de Treinamento)

Para resolver o conflito entre a precisão do texto e a precisão do tempo, os autores introduziram três técnicas inovadoras:

1. Speech Length Augmentation (Aumento de Comprimento de Fala): Como os timestamps seguem uma distribuição de "cauda longa" (timestamps curtos são muito mais comuns que longos), os autores concatenam sequências de áudio durante o treino. Isso força o modelo a aprender a prever valores de tempo maiores e mais variados.
2. Timestamp Embedding Regularization (Regularização de Embedding de Timestamp): Para garantir que o modelo entenda a natureza temporal, eles aplicam uma perda auxiliar (auxiliary loss). Essa perda impõe uma estrutura geométrica aos embeddings de tempo, garantindo que tokens de tempo próximos no tempo real também sejam próximos no espaço vetorial (seguindo uma distribuição Gaussiana), promovendo a monotonicidade.
3. Reduced Teacher Forcing (Redução de Teacher Forcing): Em modelos autoregressivos, o erro de um timestamp pode causar um efeito cascata de erros nos seguintes. Os autores introduzem ruído durante o treino, corrompendo aleatoriamente alguns tokens de timestamp de entrada. Isso obriga o modelo a não depender apenas do "passado perfeito" e a aprender o alinhamento global do áudio.

4. Resultados

Os experimentos foram realizados em diversos datasets (LibriSpeech, CommonVoice, AMI, VoxPopuli, etc.) e comparados com baselines como CrisperWhisper e Qwen-Audio.

• Melhoria no ASR: Enquanto o treinamento multitarefa simples degradava a qualidade da transcrição (aumento do WER - Word Error Rate), a aplicação das três estratégias propostas conseguiu mitigar essa perda, mantendo um desempenho de ASR competitivo.
• Precisão de Timestamps: O modelo apresentou ganhos significativos na métrica AAS (Accumulated Averaging Shift), indicando que os timestamps estão mais próximos do tempo real, e reduziu a taxa de amostras malformadas (MAL).
• Robustez: O método superou o Qwen-Audio em termos de estabilidade em datasets mais ruidosos e diversos, onde o modelo concorrente falhava em seguir o prompt de timestamps.

5. Significância

O trabalho é significativo por demonstrar que é possível unificar o reconhecimento de fala e o alinhamento temporal em um único modelo de linguagem de grande escala de forma eficiente. Ao transformar a previsão de timestamps em um objetivo de "primeira classe" dentro do LLM, o In-Sync elimina a necessidade de pipelines complexos de pós-processamento e ferramentas de alinhamento externas, pavimentando o caminho para sistemas de IA de áudio mais holísticos, rápidos e integrados.