StarDrinks: An English and Korean Test Set for SLU Evaluation in a Drink Ordering Scenario

1. Declaração do Problema

Apesar dos avanços rápidos nos Grandes Modelos de Linguagem (LLMs) e assistentes de voz, sua avaliação frequentemente depende de cenários controlados e simplificados que não capturam a complexidade das interações reais com usuários. Especificamente:

• Falta de Realismo: Benchmarks padrão utilizam entradas limpas e estruturadas com vocabulários limitados, ignorando fenômenos de fala espontânea como hesitações, autocorreções e disfluências.
• Complexidade do Domínio: Pedidos de bebidas envolvem entidades nomeadas diversas, combinações complexas de atributos (tamanho, temperatura, tipo de leite, coberturas) e terminologia específica de marcas que variam em ordem e expressão.
• Escassez de Dados: Há uma falta notável de conjuntos de dados publicamente disponíveis para pedidos de bebidas falados, particularmente em configurações multilíngues. Recursos existentes (por exemplo, SNIPS, ATIS, SLURP) cobrem outros domínios, mas carecem da variabilidade linguística específica e do suporte à língua coreana necessários para sistemas realistas de pedidos de bebidas.

2. Metodologia

Os autores introduziram o StarDrinks, um conjunto de testes projetado para avaliar capacidades de Fala para Slots (SLU), Transcrição para Slots (NLU) e Fala para Transcrição (ASR). A criação do conjunto de dados seguiu um pipeline de quatro etapas:

A. Geração de Dados Estruturados

• Fonte: Recibos reais de pedidos de bebidas de uma rede de cafés popular na Coreia do Sul.
• Síntese: Começando com 2.500 recibos reais, os autores usaram um esquema semântico para gerar variações sintéticas. Eles priorizaram estruturas de baixa frequência para garantir diversidade, criando até 83.974 estruturas potenciais.
• Seleção: Um subconjunto de 326 estruturas foi selecionado para garantir a cobertura de todos os pares atributo-valor (por exemplo, tipos de bebida, tamanhos, personalizações) para a fase de anotação.

B. Coleta de Dados

• Plataforma: Participantes foram recrutados via Prolific.
• Idiomas e Demografia:
  • Inglês: 32 falantes nativos (baseados no Reino Unido, idades 21–50).
  • Coreano: 29 falantes nativos (recrutados no Reino Unido/EUA, idades 21–50).
• Tarefa: Os participantes visualizaram um recibo digital e gravaram uma única fala natural pedindo os itens, incluindo todas as opções necessárias (quantidade, tamanho, personalizações, temperatura).
• Naturalismo: Os participantes foram instruídos a falar naturalmente; nenhuma disfluência específica foi incentivada, embora elas tenham surgido naturalmente durante a gravação.

C. Validação e Anotação

• Transcrição ASR: Transcrições iniciais foram geradas usando whisper-large-v3.
• Correção Humana: Os autores corrigiram manualmente as transcrições e anotações de slots para garantir alinhamento com os dados estruturados. Enunciados onde os participantes falharam na tarefa foram descartados.
• Conjunto de Dados Final:
  • Inglês: 255 amostras validadas (53 min no total).
  • Coreano: 295 amostras validadas (45,7 min no total).
  • Total de Slots: 15 tipos de slots distintos cobrindo 45 tipos de bebidas únicos e várias personalizações.

3. Principais Contribuições

1. Conjunto de Dados StarDrinks: O primeiro conjunto de dados publicamente disponível para pedidos de bebidas falados em Inglês e Coreano.
2. Benchmark Realista: Diferentemente de conjuntos de dados sintéticos, o StarDrinks captura fenômenos de fala espontânea (hesitações, repetições) e terminologia complexa e específica de marcas.
3. Avaliação Multi-tarefa: O conjunto de dados suporta três modos de avaliação distintos:
   • ASR: Fala para Transcrição.
   • NLU: Transcrição para Slots (baseado em texto).
   • SLU: Fala para Slots (End-to-End).
4. Foco em Generalização: O conjunto de dados foi projetado para testar a robustez do modelo contra entidades nomeadas previamente não vistas (novos itens do menu) e variações de vocabulário.

4. Resultados Experimentais

Os autores avaliaram um agente de base usando whisper-large-v3 para ASR e GPT-4o para preenchimento de slots NLU/SLU.

Desempenho ASR (whisper-large-v3)

• Taxa de Erro de Palavra (WER): 9,2% (Inglês) e 22,9% (Coreano).
• Observação: O modelo lutou significativamente com entidades nomeadas específicas do domínio (por exemplo, "youthberry" transcrito como "yuleberry", "cafe americano" como "caffi americanas"). Isso destaca a dificuldade de adaptar o ASR a vocabulário não visto sem ajuste fino.

Desempenho NLU/SLU (GPT-4o)

• Métricas: Correspondência Exata Não Ordenada (UEM) e F1 de Slot.
• Impacto do Ruído ASR:
  • Em configurações 0-shot, substituir transcrições de ouro pela saída ASR causou uma queda massiva na UEM: -11,76% para Inglês e -17,96% para Coreano.
  • Em configurações 3-shot, a lacuna diminuiu significativamente (apenas -2,75% para Inglês e -5,08% para Coreano), sugerindo que o prompting few-shot ajuda o modelo a corrigir erros de ASR.
• Comparação de Idiomas: Os resultados em coreano geralmente superaram os do inglês (por exemplo, 89,83% vs. 87,06% UEM para 3-shot com ouro), provavelmente porque o inglês permite uma ordem sintética mais flexível dos atributos do pedido, tornando a análise mais difícil.
• Melhor Desempenho:
  • Inglês: 87,06% UEM (Transcrições de Ouro + 3-shot).
  • Coreano: 89,83% UEM (Transcrições de Ouro + 3-shot).
• Limitação: Mesmo as melhores pontuações estão abaixo do limiar "quase perfeito" necessário para implantação no mundo real, indicando a necessidade de dados significativos de adaptação intra-domínio.

5. Significado e Direções Futuras

• Ponte da Lacuna: O StarDrinks fornece um recurso crítico para avaliar a robustez de LLMs e assistentes de voz em uma tarefa realista e linguisticamente rica.
• Direções de Pesquisa: Os resultados enfatizam a necessidade de:
  • Viés de Contexto e Adaptação de ASR em Tempo de Teste: Para lidar com mudanças no menu e novos itens sem retreinamento completo.
  • NLU Robusta: Desenvolver modelos que possam inferir slots corretos apesar da entrada ASR ruidosa.
• Disponibilidade: O conjunto de dados está aberto para download para facilitar o desenvolvimento de sistemas de linguagem falada mais conscientes do contexto e robustos.

Em conclusão, o StarDrinks expõe as limitações dos modelos atuais de última geração quando confrontados com fala espontânea e específica de domínio, servindo como um benchmark rigoroso para a próxima geração de sistemas de diálogo orientados a tarefas.