FBK's Long-form SpeechLLMs for IWSLT 2026 Instruction Following
Este artigo apresenta os SpeechLLMs da FBK para a tarefa compartilhada de Seguimento de Instruções do IWSLT 2026, demonstrando que a segmentação fixa de 30 segundos alcança o desempenho mais robusto em formatos longos com uma pontuação HIFS de 2,0663, ao mesmo tempo em que mantém fortes capacidades de formato curto, apesar dos desafios com alucinações repetitivas.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você tem um assistente robô multilíngue e brilhante, que é ótimo em ouvir frases curtas e seguir instruções, como "Traduza esta frase" ou "Qual é a capital da França?". Este é o robô na versão "Curta".
Os pesquisadores da FBK queriam ver se conseguiam atualizar este robô para lidar com histórias longas e complexas (como uma palestra de 30 minutos ou um podcast completo) sem que ele ficasse confuso, esquecesse as coisas ou começasse a inventar coisas. Este artigo é o boletim de notas de como eles tentaram fazer isso para uma competição chamada IWSLT 2026.
Aqui está a divisão da jornada deles, explicada de forma simples:
1. O Cérebro do Robô (A Arquitetura)
Pense no robô como tendo três partes principais:
- As Orelhas (Codificador de Fala): Elas ouvem as ondas sonoras brutas e as transformam em uma linguagem que o cérebro entende. Eles usaram uma "super-orelha" pré-treinada chamada SEAMLESSM4T.
- O Tradutor (Adaptador de Modalidade): Este é um ponte. Ele pega os dados sonoros e os comprime para que caibam perfeitamente no espaço de pensamento do robô. É como pegar um romance longo e resumir os capítulos para que o cérebro possa lê-los mais rápido.
- O Cérebro (Decodificador LLM): Esta é a parte que pensa, baseada em um modelo chamado Qwen3. Ele já é muito bom em seguir instruções de texto. Os pesquisadores apenas ensinaram como ele pode ouvir áudio em vez de apenas ler texto.
2. A Pista Curta: O "Sprint"
Primeiro, eles testaram o robô em tarefas curtas (como um clipe de 5 segundos).
- O Resultado: O robô correu o sprint perfeitamente. Ele obteve uma pontuação alta (2.07) para tradução, transcrição e resposta a perguntas. Ele provou que o robô já era um campeão em conversas curtas.
3. A Pista Longa: A "Maratona"
É aqui que as coisas ficam complicadas. Você não pode simplesmente dizer ao robô para "ouvir este áudio de 30 minutos" de uma só vez. Sua memória (janela de contexto) ficaria sobrecarregada e ele poderia começar a alucinar (inventar coisas).
Para resolver isso, eles tentaram três maneiras diferentes de cortar o áudio em partes gerenciáveis, como fatiar um longo pão de forma:
Estratégia A: O Fatiador Fixo (fatias de 30 segundos).
Imagine uma máquina que corta o áudio em pedaços iguais e perfeitos de 30 segundos, não importa o que esteja acontecendo no áudio.- Resultado: Este foi o vencedor. Foi o mais estável. O robô não ficou confuso e não inventou tantas palavras falsas.
Estratégia B: O Fatiador Inteligente (Detecção de Voz).
Isso usa uma ferramenta que tenta encontrar pausas naturais na fala (como quando um falante para de falar) para cortar o áudio.- Resultado: Foi ok, mas às vezes cortava o áudio em lugares estranhos ou tornava os pedaços muito curtos, fazendo o robô perder o fluxo da história.
Estratégia C: O Fatiador Híbrido.
Tenta combinar os dois: procura por pausas, mas também força um corte se um pedaço ficar muito longo.- Resultado: Foi melhor que o Fatiador Inteligente, mas ainda não conseguiu vencer o simples e constante Fatiador Fixo.
4. O Problema da "Alucinação"
Quando o robô tentava ouvir áudios longos, ele tinha um mau hábito: Inserções Repetitivas.
- A Analogia: Imagine um aluno fazendo um teste de ditado longo. Quando ficam cansados ou confusos, eles começam a repetir a última frase que escreveram repetidamente, ou inventam um parágrafo inteiro que não foi dito.
- O Impacto: Isso fazia com que a transcrição do robô (escrever o que foi dito) parecesse terrível porque estava cheia de repetições sem sentido. Os pesquisadores descobriram que essa "alucinação" era o principal motivo pelo qual o robô tinha dificuldades com áudios longos.
5. O Boletim de Notas Final
Eles criaram um novo sistema de pontuação chamado HIFS (Pontuação Penalizada por Alucinação). Esta pontuação não olha apenas para o quão bem o robô entendeu; ela deduz pontos se o robô começar a inventar coisas.
- O Vencedor: O robô usando a estratégia de fatiamento fixo de 30 segundos venceu a pista longa com a maior pontuação (2.06).
- A Lição: Mesmo que o robô tenha sido treinado principalmente em clipes curtos, ele ainda conseguia lidar com áudios longos muito bem se você fatiasse o áudio em pedaços constantes e previsíveis. Ele não perdeu sua capacidade de realizar tarefas curtas, mas precisou de ajuda para gerenciar a duração da entrada para evitar que começasse a inventar coisas.
Resumo
O artigo mostra que você pode transformar um robô de audição curta em um robô de audição longa, mas você deve ter cuidado ao alimentá-lo com o áudio. O fatiamento simples e constante (30 segundos de cada vez) funcionou melhor do que tentar ser inteligente demais com o corte das pausas naturais. O maior inimigo não era o comprimento do áudio, mas a tendência do robô de começar a se repetir ou inventar palavras quando ficava sobrecarregado.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.