TaigiSpeech: A Low-Resource Real-World Speech Intent Dataset and Preliminary Results with Scalable Data Mining In-the-Wild

Resumo Técnico: TaigiSpeech

1. Problema e Motivação

As tecnologias de fala avançaram rapidamente, mas a maioria dos idiomas permanece sub-representada devido à escassez de recursos. O Taiwanês (Hokkien de Taiwan), falado por mais de 45 milhões de pessoas, é um idioma de baixa recursos (low-resource) e, em grande parte, não possui um sistema de escrita universalmente padronizado. Isso dificulta o desenvolvimento de sistemas de Reconhecimento Automático de Fala (ASR) e Compreensão de Linguagem Falada (SLU).

O problema é agravado pelo envelhecimento populacional. Em Taiwan, 64,9% dos idosos (acima de 65 anos) têm o Taiwanês como língua materna principal, enquanto apenas 27% usam o Mandarim. Idosos que vivem sozinhos enfrentam riscos significativos (como quedas, dificuldades respiratórias e dor aguda) e necessitam de sistemas de assistente doméstico e saúde que funcionem em sua língua nativa, sem dependência de dispositivos manuais. No entanto, não existem conjuntos de dados reais focados em intenções de fala de idosos em Taiwanês para cenários de emergência e assistência doméstica.

2. Metodologia

O trabalho propõe duas frentes principais: a criação de um novo conjunto de dados e estratégias de mineração de dados para superar a falta de dados rotulados.

A. Coleta do Dataset TaigiSpeech:

• Participantes: 21 falantes idosos (idade média de 67,9 anos, faixa de 54–78), com equilíbrio de gênero (13 mulheres, 8 homens).
• Cenários: O dataset cobre 8 categorias de intenção divididas em:
  • 4 Intenções de Emergência: SOS (chamada de emergência), Ajuda em Queda, Emergência Respiratória, Dor Geral.
  • 4 Intenções Funcionais (Não Emergência): Contatar Pessoa, Acender Luz, Apagar Luz, Cancelar Alerta.
• Protocolo de Gravação: Os participantes usaram uma aplicação web baseada em cenários imaginados (prompts gerados por IA) e estímulos visuais (vídeos curtos) para elicitar fala natural e espontânea, evitando a leitura de scripts.
• Estatísticas: Total de 3.079 enunciados (aproximadamente 6,1 horas de áudio), gravados em mono a 48kHz.

B. Estratégias de Mineração de Dados "In-the-Wild":
Para mitigar a escassez de dados rotulados, os autores exploraram duas estratégias para minerar segmentos de fala de vídeos de dramas taiwaneses (7.000 horas) usando o Mandarim como idioma pivô:

1. Mineração por Correspondência de Palavras-Chave (Keyword Match Mining):
   • Utiliza legendas em Mandarim para encontrar frases contendo palavras-chave específicas.
   • Emprega um Grande Modelo de Linguagem (LLM) para pseudo-rotulação do contexto semântico, filtrando se o segmento corresponde à intenção alvo.
2. Mineração Áudio-Visual (Audio-Visual Mining):
   • Uma abordagem supervisionada fracamente que utiliza representações multimodais pré-treinadas (modelo PE-AV).
   • Alinha descrições de intenções em Mandarim com segmentos de áudio e vídeo sem necessidade de transcrição textual no idioma alvo (Taiwanês).

3. Contribuições Principais

1. Dataset TaigiSpeech: O primeiro conjunto de dados realista de intenções de fala em Taiwanês focado em falantes idosos, cobrindo cenários críticos de saúde e assistência doméstica. Será lançado sob licença CC BY 4.0.
2. Exploração de Mineração de Dados: Demonstração de estratégias escaláveis (baseadas em LLM e multimodais) para construir dados de treinamento para idiomas sem escrita padronizada.
3. Benchmark Realista e Insights Empíricos: A criação de um benchmark que revela a lacuna entre dados minerados na internet e dados do mundo real de idosos, destacando a necessidade de dados específicos para esse domínio.

4. Resultados Experimentais

Os autores avaliaram modelos leves (MatchboxNet) e modelos de aprendizado auto-supervisionado (SSL) como HuBERT e WavLM.

• Desempenho e Mismatch de Domínio:
  • Modelos treinados apenas em dados minerados (de dramas) apresentaram uma queda drástica de desempenho ao serem testados no dataset TaigiSpeech real.
  • Exemplo: O modelo WavLM-large caiu de 92,36% de precisão no dataset de dramas para 70,00% no dataset TaigiSpeech (configuração de 5 classes).
  • Isso indica um mismatch de domínio significativo (diferenças acústicas, sotaque, estilo de fala e ruído ambiente entre atores de TV e idosos reais).
• Adaptação de Domínio (Taigi-adapt):
  • Quando os modelos pré-treinados com dados minerados foram fine-tuned com uma pequena quantidade de dados reais do TaigiSpeech (1.600 enunciados), o desempenho recuperou-se drasticamente.
  • O HuBERT-base atingiu 90,10% e o WavLM-base-plus atingiu 90,21% de precisão na configuração de 8 classes após a adaptação.
• Comparação com Sistemas Cascata (ASR + LLM):
  • Sistemas que tentam transcrever primeiro (usando Whisper ou Qwen3-ASR) e depois classificar a intenção com um LLM tiveram desempenho inferior (~63-74%) comparado aos modelos de classificação de fala end-to-end (SSL), além de exigirem muito mais recursos computacionais.
• Eficiência: Modelos leves (MatchboxNet) tiveram desempenho significativamente pior que os modelos SSL grandes, indicando que, para este domínio complexo, modelos maiores são necessários, mas o desafio de implantação em dispositivos de borda permanece.

5. Significado e Conclusão

O trabalho TaigiSpeech preenche uma lacuna crítica na tecnologia de fala para idiomas de baixa recursos e populações envelhecidas.

• Validação da Necessidade de Dados Reais: O estudo prova que dados minerados de fontes "selvagens" (in-the-wild), embora úteis para pré-treinamento, não substituem a necessidade de dados coletados especificamente do público-alvo (idosos em situações reais de estresse ou comando). A dependência exclusiva de dados minerados leva a falhas graves em cenários de implantação real.
• Direção Futura: Os resultados apontam para a necessidade de desenvolver arquiteturas mais eficientes para dispositivos de borda e continuar expandindo o dataset para incluir falantes de Hokkien de outras regiões do mundo, promovendo tecnologias de linguagem inclusivas.

Em suma, o TaigiSpeech serve não apenas como um recurso de dados, mas como um aviso crítico sobre os desafios de generalização de modelos de IA para idiomas e demografias sub-representadas.