Unadapted Multilingual ASR on a Garrusi Kurdish Evaluation Set: A Common-Reference Staged Normalization Analysis

A tecnologia de reconhecimento de fala fez progressos notáveis, permitindo que máquinas compreendam vozes humanas em muitas línguas. No entanto, para falantes de dialetos menos documentados, essa tecnologia frequentemente encontra um obstáculo. O desafio não é apenas que uma máquina possa falhar ao ouvir um som específico corretamente; às vezes, o problema é que a máquina e o humano estão falando "línguas" de escrita inteiramente diferentes. No mundo do curdo, uma língua falada ao longo do Irã, Iraque, Turquia e Síria, essa divisão é acentuada. Algumas variedades são escritas usando um sistema baseado em letras árabes, enquanto outras, ou até mesmo a mesma variedade em diferentes regiões, são escritas usando um alfabeto latino com marcas especiais para capturar sons únicos. Quando um computador treinado em um script tenta ler uma frase escrita em outro, ele frequentemente falha não porque não consegue ouvir as palavras, mas porque não consegue reconhecer os símbolos. Isso cria um problema de medição: se uma máquina acerta o som, mas o escreve no script errado, os testes padrão contam isso como uma falha total, ocultando o fato de que a máquina realmente entendeu a fala.

Este é o enigma específico que Hiwa Asadpour abordou ao estudar o Garrusi, uma variedade de curdo falada no Irã. Asadpour queria ver o quão bem um sistema de reconhecimento de fala poderoso e pré-existente poderia compreender falantes de Garrusi, embora o sistema nunca tivesse sido treinado para esse dialeto específico. O sistema utilizado, conhecido como MMS-1B-all, foi adaptado para o curdo central e produz texto no script árabe. Os pesquisadores, no entanto, haviam coletado gravações de cinco falantes de Garrusi e escrito as palavras corretas usando um alfabeto latino com marcas fonéticas. Para comparar os dois, eles tiveram que construir uma ponte entre o script árabe produzido pela máquina e o script latino que eles haviam escrito. Eles fizeram isso criando um processo passo a passo: primeiro, converteram a saída árabe da máquina em letras latinas e, em seguida, simplificaram essas letras para corresponder ao estilo específico do texto de referência. Este método permitiu que vissem exatamente quanto do erro vinha da diferença no sistema de escrita e quanto vinha do fato de a máquina realmente falhar em ouvir as palavras.

Os resultados revelaram uma realidade dura. Quando os pesquisadores compararam a saída bruta em árabe da máquina diretamente contra sua referência em latim sem qualquer conversão, o sistema pareceu ter falado completamente. Ele obteve uma taxa de erro de palavras superior a 111 por cento, com zero palavras correspondentes. Isso aconteceu porque os dois scripts não compartilham letras comuns; a máquina estava falando uma linguagem visual diferente da dos pesquisadores. No entanto, uma vez que os pesquisadores converteram a saída da máquina para letras latinas, o cenário mudou dramaticamente. A taxa de erro caiu significativamente, mostrando que a máquina tinha realmente reconhecido muitos dos sons corretamente, mas o descompasso de script havia mascarado esse sucesso. Quando aplicaram um passo final para simplificar as diferenças de ortografia, a taxa de erro caiu ainda mais, embora tenha permanecido alta. Mesmo após corrigir os problemas de sistema de escrita, o sistema ainda acertou apenas cerca de 14 por cento das palavras exatamente. Isso significa que, embora o sistema de escrita tenha sido um obstáculo massivo, a máquina ainda lutava para compreender os sons específicos e as estruturas de palavras do dialeto Garrusi.

O estudo também testou um sistema diferente que havia sido especificamente ajustado para o curdo do sul, uma categoria que alguns linguistas acreditam incluir o Garrusi. Surpreendentemente, este sistema especializado teve um desempenho pior do que o sistema de curdo central geral. Ele produziu muito mais palavras extras do que o texto de referência e falhou em corresponder às palavras reais dos falantes tão bem quanto o sistema mais simples. Isso sugere que simplesmente treinar um modelo em um dialeto relacionado não garante que ele funcionará bem em uma variedade específica e distinta como o Garrisi, especialmente quando os dados usados para o treinamento vêm de frases editadas e lidas, em vez de falas naturais registradas em campo. O sistema especializado parecia gerar texto em excesso, adicionando palavras que não estavam lá, enquanto o sistema geral tendia a perder palavras.

Uma descoberta fundamental deste trabalho é que a maneira como medimos o sucesso importa tanto quanto a própria tecnologia. Os pesquisadores mostraram que os testes padrão podem ser enganosos se não levarem em conta as diferenças nos sistemas de escrita. Ao manter o texto de referência constante e alterar apenas a forma como a saída da máquina era apresentada, eles puderam isolar o impacto da conversão de script. Eles descobriram que converter o script e simplificar a ortografia reduziu as taxas de erro em uma margem considerável, provando que uma parte significativa da "falha" era, na verdade, um problema de formatação. No entanto, uma grande quantidade de erro permaneceu mesmo após essas correções, indicando que a máquina ainda tem um longo caminho a percorrer para realmente entender este dialeto específico. O estudo conclui que, para línguas com múltiplos scripts ou dialetos, os pesquisadores devem ser cuidadosos sobre como pontuam os resultados. Eles precisam liberar o texto exato que usaram para a pontuação para que outros possam verificar os números, e devem reconhecer que uma alta taxa de erro pode ser parcialmente devida à forma como o texto é escrito, não apenas à capacidade de audição da máquina.

Esta pesquisa destaca um problema mais amplo na tecnologia de fala: o abismo entre modelos de alta tecnologia e as diversas línguas do mundo real que eles pretendem servir. Para os falantes de Garrusi, e para muitas outras comunidades com línguas de menos recursos, o caminho para o reconhecimento de fala preciso está bloqueado não apenas pela falta de dados, mas pela complexidade de como essas línguas são escritas e classificadas. O estudo não oferece uma solução perfeita, mas fornece um mapa mais claro dos obstáculos. Ele mostra que, antes de podermos afirmar que uma máquina entende uma língua, devemos primeiro garantir que a máquina e o humano estejam falando a mesma linguagem visual, e que nossos testes sejam justos o suficiente para distinguir entre uma máquina que não consegue ouvir e uma que simplesmente escreve de forma diferente.