Do What I Say: A Spoken Prompt Dataset for Instruction-Following

O artigo apresenta o conjunto de dados multilíngue "DoWhatISay" (DOWIS), composto por prompts falados e escritos para avaliar modelos de linguagem de fala, revelando que os prompts textuais superam consistentemente os falados, exceto em tarefas com saída de áudio, onde a diferença diminui.

O essencial

Imagine que você construiu um robô superinteligente, um "cérebro falante" capaz de entender o que você diz e fazer tarefas incríveis, como traduzir idiomas, resumir reuniões ou escrever textos. Você testou esse robô dando ordens por escrito (digitando no teclado) e ele parecia um gênio, acertando tudo.

Mas e se, na vida real, as pessoas não digitam para o robô? E se elas falam com ele? Será que o robô continua sendo um gênio quando ouve a voz humana, com seus sotaques, pausas e gírias?

É exatamente sobre isso que trata o artigo "Do What I Say" (Faça o que eu digo). Os pesquisadores criaram um novo "campo de provas" para testar esses robôs falantes de verdade.

Aqui está a explicação do que eles fizeram, usando analogias simples:

1. O Problema: O Teste de "Boca Fechada"

Até hoje, a maioria dos testes para esses robôs era feita como se fosse um teste de matemática escrito. Você escreve a pergunta, o robô responde.

• A Analogia: Imagine que você quer testar um piloto de avião. Você o coloca em uma cadeira de escritório, na frente de uma tela, e pergunta: "Como você pilotaria em uma tempestade?". Ele responde perfeitamente no papel. Mas, na vida real, ele precisa estar no cockpit, ouvindo o vento, sentindo a turbulência e falando com a torre de controle.
• O Erro: Os pesquisadores descobriram que os robôs atuais são ótimos quando recebem ordens escritas, mas muitas vezes "travam" ou fazem besteira quando recebem as mesmas ordens faladas. O teste escrito estava dando uma nota de 10, mas na vida real, a nota poderia ser 4.

2. A Solução: O "DOWIS" (O Kit de Instruções Faladas)

Para consertar isso, eles criaram o DOWIS (Do What I Say). Pense nele como um grande livro de receitas de voz gravado por humanos reais.

• O que tem nele? Eles gravaram pessoas reais falando em 11 idiomas diferentes (como português, alemão, russo, etc.).
• A Variedade: Eles não gravaram apenas uma frase. Para cada tarefa, eles gravaram 10 versões diferentes da mesma ordem, variando o "estilo":
  • Formal: "Por favor, poderia resumir este áudio?" (Como um chefe falando).
  • Informal: "Ei, resume esse áudio pra mim?" (Como um amigo falando).
  • Curto: "Resuma."
  • Detalhado: "Analise o áudio, pegue os pontos principais e faça um resumo de 3 linhas."
• O Objetivo: Eles queriam ver se o robô entende melhor quando você é educado, quando é rápido, ou quando fala com sotaque.

3. O Que Eles Descobriram (As Surpresas)

Quando eles testaram dois dos robôs mais modernos do mundo (chamados Qwen e Phi) usando esse novo kit de vozes, as descobertas foram interessantes:

• O "Choque de Realidade" para Tarefas de Texto:
  Quando a tarefa era escrever algo (como traduzir um texto ou resumir uma história), o robô funcionava muito bem com ordens escritas, mas desmoronava com ordens faladas.

  • Analogia: É como se o robô fosse um chef de cozinha que cozinha perfeitamente seguindo um livro de receitas, mas se você gritar as instruções para ele na cozinha barulhenta, ele esquece de colocar o sal ou queima o prato.

• O Sucesso para Tarefas de Voz:
  Quando a tarefa era falar (como transformar texto em voz ou traduzir uma voz para outra voz), o robô funcionou bem tanto com ordens escritas quanto faladas.

  • Analogia: Se você pede para o robô "cantar uma música", ele canta bem, seja você quem pede no papel ou gritando no microfone.

• O Estilo Importa:
  Eles descobriram que ordens muito informais ou muito curtas ("Ei, faz isso") tendiam a confundir mais o robô do que ordens claras e detalhadas.

  • Analogia: Se você der uma ordem vaga para um estagiário, ele pode errar. Se você der uma ordem clara e educada, ele acerta. Os robôs são parecidos: precisam de clareza.

• A Voz do Falante:
  Curiosamente, em alguns casos, o robô entendia melhor a voz de mulheres do que de homens, ou vice-versa, dependendo da tarefa. Isso mostra que os robôs ainda têm "vícios" ou preconceitos sobre como as vozes soam.

4. Por que isso é importante?

O artigo conclui que, se continuarmos testando esses robôs apenas com texto, estamos criando uma ilusão de competência. Estamos achando que eles são melhores do que realmente são.

O DOWIS é como um "espelho da realidade". Ele força os desenvolvedores a olharem para os robôs e dizerem: "Ok, você é ótimo no papel, mas consegue me entender quando eu estou falando rápido, com sotaque e usando gírias?".

Resumo da Ópera:
Os pesquisadores criaram um banco de dados de vozes humanas reais para testar se os robôs de IA conseguem entender o que as pessoas dizem de verdade. Eles descobriram que, embora os robôs sejam inteligentes, eles ainda têm dificuldade em seguir ordens faladas para tarefas que exigem escrita, e que o jeito como falamos (formal ou informal) faz toda a diferença. É um passo essencial para que, no futuro, possamos conversar com nossos assistentes de IA de forma natural, sem precisar digitar nada.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Do What I Say: A Spoken Prompt Dataset for Instruction-Following" (DOWIS), apresentado em português:

1. Problema Identificado

Os Modelos de Linguagem Grandes de Fala (SLLMs - Speech Large Language Models) têm avançado rapidamente, mas sua avaliação atual apresenta uma lacuna crítica:

• Viés de Modalidade: A maioria das benchmarks de seguimento de instruções (instruction-following) utiliza prompts de texto, não refletindo cenários do mundo real onde os usuários interagem via voz.
• Limitações de Benchmarks Existentes: As poucas benchmarks que usam instruções faladas (como SpeechInstructBench e Uro-Bench) possuem limitações severas:
  • Instruções geradas sinteticamente por sistemas de Texto-para-Fala (TTS), não capturando a naturalidade humana.
  • Cobertura linguística restrita (apenas inglês e chinês).
  • Instruções pré-concatenadas com os dados de entrada, impedindo a reutilização em outros conjuntos de dados.
  • Foco limitado em tarefas de raciocínio geral, ignorando tarefas específicas de processamento de fala (como tradução ou sumarização de áudio).

2. Metodologia e o Dataset DOWIS

Para preencher essa lacuna, os autores introduzem o DOWIS (Do What I Say), o primeiro dataset multilíngue de prompts falados e textuais gravados por humanos, com instruções desacopladas dos dados de entrada.

• Estrutura do Dataset:
  • Tarefas: 9 tarefas cobrindo os quatro pares de modalidades de entrada/saída: Fala-para-Texto (ASR, QA, Capítulos, Tradução, Sumarização), Texto-para-Texto (Tradução, Sumarização), Texto-para-Fala (Síntese) e Fala-para-Fala (Tradução).
  • Idiomas: 11 idiomas (alemão, inglês, italiano, tcheco, espanhol, francês, húngaro, holandês, português, russo, sueco).
  • Variação de Estilos: Para cada par tarefa-idioma, existem 10 variantes de prompt divididas em 5 estilos: básico, detalhado, curto, formal e informal (2 prompts por estilo).
  • Coleta:
    • Texto: Pesquisadores especializados criaram prompts base e reescritas para os diferentes estilos. Tradutores nativos adaptaram-nos para os 11 idiomas.
    • Áudio: 19 falantes nativos (ou proficientes) gravaram os prompts simulando cenários reais (ex: reuniões), usando dispositivos pessoais (celulares/laptops) para capturar ruído e variações naturais.
  • Estatísticas: Total de 3 horas e 17 minutos de áudio, com 990 prompts de texto únicos.

3. Experimentos e Avaliação

Os autores avaliaram dois modelos SLLMs de última geração: Phi-4 Multimodal e Qwen2.5-Omni.

• Configuração: Os modelos foram testados com os prompts do DOWIS em ambas as modalidades (texto e fala) e em todos os estilos.
• Datasets de Tarefa: Utilizaram-se datasets padrão como FLEURS (para ASR, MT, ST), MCIF (para QA e sumarização) e YTSeg (para geração de capítulos).
• Métricas:
  • ASR: Taxa de Erro de Palavra (WER).
  • Tradução (MT/ST) e QA: CometKiwi e BERTScore.
  • Síntese de Fala (TTS/S2ST): UTMOS (qualidade de fala) e WER/Comet (precisão do conteúdo).

4. Resultados Principais

A análise revelou disparidades significativas entre a avaliação baseada em texto e a baseada em fala:

• Desempenho por Modalidade:
  • Saída de Texto: Para tarefas que geram texto (ASR, MT, ST, Sumarização), os prompts de texto superam consistentemente os prompts falados. Em alguns casos (especialmente com o modelo Phi), prompts falados levaram a falhas catastróficas (WER > 100 para ASR).
  • Saída de Fala: Para tarefas que geram fala (TTS, S2ST), os prompts falados performaram de forma comparável ou ligeiramente melhor que os de texto, indicando que a modalidade de entrada é menos crítica quando a saída também é falada.
• Impacto do Estilo do Prompt:
  • Prompts informais e curtos consistentemente tiveram o pior desempenho em todas as tarefas.
  • Prompts formais e detalhados geralmente obtiveram melhores resultados, sugerindo que os modelos respondem melhor a instruções estruturadas e explícitas.
• Viés de Gênero e Idioma:
  • Houve variações de desempenho dependendo se o prompt foi gravado por um homem ou uma mulher, indicando possíveis vieses nos modelos em relação à voz do falante.
  • A queda de desempenho com prompts falados foi mais acentuada em idiomas de recursos mais baixos ou específicos (como tcheco, holandês, sueco), onde os modelos falharam em generalizar da instrução falada, mesmo que a inteligibilidade do áudio fosse alta.

5. Contribuições e Significância

• Recurso Inovador: O DOWIS é o primeiro dataset que permite a avaliação realista de instruções faladas em SLLMs, desacoplado de datasets específicos de tarefa.
• Mudança de Paradigma na Avaliação: O estudo demonstra que a avaliação baseada apenas em texto cria uma imagem excessivamente otimista das capacidades dos modelos. Modelos que parecem robustos em texto podem falhar drasticamente quando interagem por voz.
• Diretrizes para Desenvolvimento: Os resultados destacam a necessidade de treinar e avaliar modelos com diversidade de estilos de prompt (evitando apenas o formal) e considerar a modalidade de entrada (fala vs. texto) e o gênero do falante como fatores críticos.
• Acesso Aberto: O dataset está disponível sob licença CC-BY, permitindo que a comunidade científica combine o DOWIS com qualquer benchmark existente para realizar avaliações mais abrangentes e realistas.

Em suma, o paper argumenta que, para que os SLLMs sejam verdadeiramente úteis em interações humanas naturais, a comunidade deve abandonar a dependência exclusiva de prompts de texto e adotar benchmarks como o DOWIS que testam a robustez dos modelos sob condições de fala real.