Automatically Detecting Code-Switching Between Nigerian Pidgin English and English

Nas paisagens multilingues e movimentadas da Nigéria, a língua raramente é um fluxo único e estático. Em vez disso, é uma corrente dinâmica onde duas línguas frequentemente fluem juntas na mesma frase. Essa prática, conhecida como alternância de código (code-switching), ocorre quando um falante transita fluidamente entre o Inglês Padrão e o Inglês Pidgin Nigeriano, um crioulo vibrante usado por milhões como uma ponte entre diversos grupos étnicos. Para os computadores, que dependem de regras rígidas e categorias claras para compreender o texto, essa fluidez apresenta um enigma significativo. As ferramentas tradicionais muitas vezes têm dificuldade em determinar onde uma língua termina e a outra começa, especialmente quando a segunda língua, o Pidgin, carece de uma ortografia única padronizada e varia amplamente por região. Sem uma forma de identificar essas alternâncias com precisão, os computadores não conseguem processar efetivamente as ricas conversas de línguas mistas que definem a vida cotidiana de milhões de pessoas, deixando uma vasta parcela da comunicação humana invisível para a tecnologia digital.

Para resolver este problema, investigadores da Universidade de Bangor decidiram construir um novo tipo de mapa para estes textos de línguas mistas. Começaram por reunir uma coleção massiva de escrita real, juntando histórias de trinta livros diferentes, milhares de comentários de um fórum online e centenas de artigos de notícias. Esta mistura diversificada garantiu que capturassem toda a gama de como as pessoas realmente falam e escrevem, desde a estrutura formal de relatórios de notícias até às trocas casuais e rápidas de utilizadores da internet. A equipa criou então um conjunto de dados de "verdade fundamental" (ground truth), um guia de referência cuidadosamente verificado onde especialistas humanos marcaram manualmente cada ponto onde a língua mudou do Inglês para o Pidgin ou vice-versa. Este mapa verificado por humanos serviu como o padrão de ouro contra o qual todos os modelos de computador seriam testados.

Os investigadores treinaram vários tipos diferentes de programas de computador para aprenderem a detetar estas alternâncias por conta própria. Testaram os suspeitos habituais no campo da inteligência artificial, tais como modelos de aprendizagem profunda (deep learning) que tentam imitar a forma como os cérebios humanos processam sequências de palavras. Também testaram classificadores estatísticos tradicionais que procuram padrões em grupos de letras. No entanto, a ferramenta mais surpreendente e eficaz revelou-se algo bastante diferente: um modelo baseado em compressão. Em termos simples, este tipo de programa funciona ao aprender os padrões estatísticos de como as letras se seguem numa língua específica, tal como uma pessoa que leu um livro tantas vezes que consegue prever a próxima palavra sem pensar. Os investigadores utilizaram um método específico chamado Previsão por Correspondência Parcial (Prediction by Partial Matching), que permite ao computador analisar o texto caractere a caractere, construindo um mapa de probabilidade do que vem a seguir com base no contexto imediato.

Quando a equipa testou estes diferentes programas contra o seu mapa verificado por humanos, os resultados foram reveladores. Os modelos de aprendizagem profunda, que muitas vezes requerem quantidades enormes de dados para funcionar bem, tiveram dificuldade em acompanhar, alcançando pontuações de precisão inferiores ao esperado. Os modelos estatísticos tradicionais tiveram um desempenho melhor, com um tipo específico de classificador de floresta aleatória (random forest) a atingir uma precisão de 89 por cento. No entanto, os modelos baseados em compressão, que não precisam de conjuntos de dados massivos para aprender, tiveram um desempenho tão bom quanto os melhores modelos tradicionais, atingindo também uma precisão de 89 por cento. O que tornou estes modelos de compressão particularmente impressionantes foi a sua velocidade e eficiência. Enquanto outros modelos demoravam mais tempo a treinar e a processar, os modelos de compressão conseguiam aprender os padrões da língua e analisar novo texto em apenas alguns segundos, exigindo muito pouca capacidade de computação.

O estudo também descobriu detalhes interessantes sobre as línguas. Ao analisar o texto, os investigadores descobriram que o Pidgin Nigeriano tende a usar um vocabulário mais comprimido, dependendo fortemente de um conjunto menor de palavras de alta frequência em comparação com o vocabulário mais amplo e diversificado do Inglês Padrão. Esta diferença de estrutura ajudou os modelos de computador a distinguir entre os dois, uma vez que os padrões estatísticos das sequências de letras no Pidgin eram distintos o suficiente para serem reconhecidos mesmo sem um dicionário massivo. As matrizes de confusão, que mostram exatamente onde os modelos cometeram erros, revelaram que os modelos de compressão eram particularmente bons a identificar o Pidgin, sinalizando corretamente quase 93 por cento dos segmentos de Pidgin, embora ocasionalmente confundissem algum Inglês com Pidgin.

Em última análise, esta investigação demonstra que nem sempre é necessária a inteligência artificial mais complexa e faminta por dados para resolver problemas linguísticos difíceis. Para línguas de baixos recursos como o Pidgin Nigeriano, que carecem dos vastos arquivos digitais disponíveis para as principais línguas mundiais, abordagens estatísticas mais simples podem ser tão eficazes como as redes neurais mais avançadas. Os modelos baseados em compressão provaram ser uma alternativa poderosa, rápida e eficiente, capazes de segmentar texto de línguas mistas com alta precisão. Ao fornecer um novo conjunto de dados verificado manualmente e provar a viabilidade destes modelos leves, os investigadores abriram uma porta para ferramentas futuras que possam finalmente compreender e processar as ricas conversas de alternância de código de milhões de pessoas, tornando a tecnologia digital mais inclusiva para falantes de línguas diversas e em evolução.