Resumo Técnico: Submissão da KIT ao IWSLT 2026 - Seguimento de Instruções de Fala de Longa Duração

Declaração do Problema

O artigo aborda a lacuna significativa nos atuais Modelos de Linguagem de Fala (SLMs) em relação ao processamento eficaz de áudio de longa duração (até 15 minutos). Embora arquiteturas recentes tenham integrado codificadores de áudio pré-treinados com Grandes Modelos de Linguagem (LLMs) ou desenvolvido verdadeiros modelos de fundação multimodais, a maioria depende de codificadores como o Whisper, que suportam nativamente apenas inferências de 30 segundos. Novos modelos (ex: Phi-4, Qwen2.5-Omni) removem restrições arquiteturais, mas carecem de exposição ao áudio de longa duração durante o treinamento, levando à degradação de desempenho mesmo em tarefas básicas de Reconhecimento Automático de Fala (ASR).

Além disso, a trilha de Seguimento de Instruções do IWSLT 2026 introduziu uma "tarefa surpresa" e requisitos de longa duração, desafiando os modelos a generalizarem sem sofrer overfitting para tarefas conhecidas ou enunciados curtos. Os conjuntos de dados existentes são predominantemente de curta duração (<30 segundos), criando uma escassez de dados para o seguimento de instruções de longa duração em múltiplas línguas (alemão, inglês, italiano, chinês) e tarefas (ASR, Tradução de Fala, SQA [Pergunta e Resposta Falada], Sumarização, Capitulagem de Áudio).

Metodologia

1. Estrutura de Aumento de Dados

Para preencher a lacuna entre corpora de curta duração e requisitos de longa duração, a KIT empregou um pipeline de aumento em três estágios, gerando mais de 1 milhão de instâncias de treinamento em seis tarefas e quatro idiomas:

• Concatenação de Segmentos: Enunciados curtos foram agrupados por locutor e sessão para construir áudios de longa duração (até 15 minutos). As fontes incluíram YTSeg, NUTSHELL (palestras da ACL), EuroParl e LibriSpeech.
• Geração de Rótulos Baseada em LLM: Modelos como gemma-3-12b-it e Qwen3.5-27B geraram rótulos de tarefas, perguntas e resumos para conjuntos de dados que careciam de anotações específicas de tarefa (ex: NUTSHELL para ASR ou SQA).
• Tradução Multilíngue: Referências apenas em inglês foram traduzidas para alemão, italiano e chinês usando o translategemma-12b-it, selecionado por sua qualidade superior de tradução sem referência.
• Pré-processamento: Aplicou-se normalização de texto (remoção de metadados não lexicais), truecasing e restauração de pontuação usando o modelo baseado em BERT da NVIDIA NeMo.

2. Arquiteturas de Modelo

A submissão avaliou dois sistemas distintos:

• Ponta a Ponta (Primário): Baseado no Qwen2.5-Omni-7B, treinado com LLamaFactory. Este modelo processa áudio e prompts de texto conjuntamente.
• Cascata (Contrastivo): Um pipeline de dois estágios usando parakeet-tdi-0.6b-v2 para ASR seguido pelo Qwen2.5-7B-Instruct para seguimento de instruções baseado em texto. O campo de áudio foi substituído por um prefixo de transcrição para simular uma entrada apenas de texto para o segundo estágio.

3. Estratégias de Treinamento

• Intercalação de Dados: Para abordar o desequilíbrio de classes (ex: SQA compreendendo ~45% dos dados), os autores compararam a amostragem de probabilidade fixa contra a amostragem escalonada por temperatura. Eles descobriram que T=2 (amostragem proporcional à raiz quadrada do tamanho do conjunto de dados) é a estratégia ideal para o seguimento de instrução de fala multimodal, equilibrando melhor a representação das tarefas do que heurísticas fixas.
• Engenharia de Prompt: Um prompt de sistema fixo foi usado para consistência global, enquanto as instruções específicas de tarefa foram variadas para evitar a memorização de templates.
• Condicionamento de Cadeia de Pensamento (CoT): Os autores experimentaram tokens de tarefa (ex: <|asr|>, <|ssum|>) para guiar o roteamento de tarefas, mas observaram um colapso na discriminação de tarefas, onde o modelo recorria ao comportamento padrão da tarefa de Sumarização de Fala, que é estruturalmente semelhante.

4. Estratégia de Re-ranking (Reclassificação)

Um componente crítico da metodologia foi abordar a restrição de "identidade de tarefa desconhecida" no tempo de inferência. Os autores geraram 17 candidatos por segmento (greedy, segmentado e amostrado) e avaliaram seis estratégias de re-ranking.

• Modo de Falha Identificado: O re-ranking baseado em verossimilhança (likelihood) mostrou-se sistematicamente degradante para tarefas semânticas (SQA, Sumarização) ao selecionar candidatas geradas por processamento de áudio segmentado (SHAS) em vez de inferência holística.
• Solução Proposta: Uma estratégia combinada de Verossimilhança + Risco Bayesiano Mínimo (MBR). O MBR atuou como um regularizador, suprimindo seleções espúrias impulsionadas pela verossimilhança, enquanto retinha os benefícios para ASR. Esta abordagem híbrida foi aplicada apenas aos tracks de inglês e chinês, onde produziu melhorias consistentes.

Principais Resultados

Desempenho no Track Longo (MCIF)

• Ponta a Ponta vs. Cascata: O sistema em cascata superou no ASR (5,88% de WER) e na Tradução de Fala (80,81% de COMET), mas ficou atrás em tarefas semânticas (SQA, Sumarização) devido à propagação de erros. O sistema de ponta a ponta superou a abordagem em cascata em tarefas semânticas, mas teve dificuldades com ASR bruto em áudio de longa duração sem ajuste fino específico.
• Impacto do Fine-Tuning: A amostragem escalonada por temperatura (T=2) superou consistentemente a amostragem de probabilidade fixa. A adaptação de domínio no NUTSHELL (palestras científicas) e dados específicos de italiano melhorou ainda mais o desempenho.
• Falha de CoT: A abordagem de condicionamento por token de tarefa resultou em uma degradação severa (ex: 79,24% de WER para ASR) devido à incapacidade do modelo de distinguir entre tarefas similares, colapsando em um único comportamento de fallback.

Resultados de Re-ranking

• Verossimilhança + MBR: Esta estratégia combinada alcançou o melhor equilíbrio geral. Ela manteve melhorias significativas no ASR (reduzindo o WER em ~19 pontos em comparação ao greedy) enquanto minimizava a degradação em SQA e Sumarização.
• Viés Posicional: Métodos de re-ranking pareados sequenciais exibiram forte viés posicional (preferindo o primeiro candidato), o qual os métodos Round-Robin e Bracket mitigaram, mas não resolveram totalmente sem o regularizador MBR.

Resultados Oficiais IWSLT 2026

• Track Longo: O sistema contrastivo (em cascata) alcançou os resultados mais fortes em Tradução de Fala, Estimativa de Qualidade (QE), a tarefa surpresa e ASR. O sistema primário (ponta a ponta) teve melhor desempenho em SQA, Sumarização e Capitulagem de Áudio.
• Track Curto: O sistema primário alcançou os melhores resultados em ST, SQA e ASR.
• Estimativa de Qualidade (QE): Uma disparidade notável surgiu onde a submissão primária (baseada em áudio) obteve 0,0 de precisão de QE, enquanto a submissão em cascata (baseada em transcrição) atingiu 0,722, destacando a dificuldade de pipelines baseados em áudio em tarefas de QE não vistas.

Significância e Alegações

O artigo reivindica cinco contribuições primárias para o campo do seguimento de instrução de fala de longa duração:

1. Estrutura de Dados: Um pipeline reproduzível para converter corpora de curta duração em mais de 1 milhão de instâncias de longa duração, demonstrando que recursos existentes podem ser reaproveitados via concatenação e normalização.
2. Estratégia de Amostragem: Evidência empírica de que a amostragem escalonada por temperatura (T=2) é um padrão robusto para equilibrar tarefas de fala multimodais, estendendo achados anteriores de apenas texto para a fala.
3. Resultado Negativo sobre CoT: Uma demonstração de que o roteamento de tarefas baseado em prefixos falha sob condições de similaridade e desequilíbrio de tarefas, levando a um colapso na discriminação de tarefas em vez de melhoria de desempenho.
4. Análise de Re-ranking: A identificação de um modo de falha específico onde o re-ranking baseado em verossimilhança prejudica tarefas semânticas ao favorecer candidatos segmentados, e a proposta de um híbrido Verossimilhança+MBR para resolver o conflito ASR-vs-semântica.
5. Comparação de Sistemas: Uma avaliação sistemática mostrando que, embora sistemas em cascata se destaquem em tarefas intensivas de transcrição, modelos de ponta a ponta são superiores para raciocínio semântico, sem que nenhum dos dois domine consistentemente todas as tarefas.

Os autores concluem que seu código de aumento de dados e checkpoints de modelos serão liberados para apoiar pesquisas futuras, enfatizando que o processamento eficaz de longa duração requer um equilíbrio cuidadoso entre distribuição de dados, roteamento de tarefas e estratégias de seleção de candidatos.