Sentiment Analysis of Government Mobile App Reviews: Validating Zero-Shot Classification with a Large Language Model

Todos os dias, milhões de pessoas interagem com seus governos através das pequenas telas de seus smartphones. Elas usam aplicativos para pagar prescrições, renovar documentos de identidade ou acessar registros públicos. Embora essas ferramentas tenham o objetivo de facilitar a vida, elas também geram um fluxo constante de feedback na forma de avaliações de usuários. Esses textos curtos e informais são uma mina de ouro para entender como os cidadãos se sentem em relação aos serviços públicos digitais, mas também representam um desafio para pesquisadores. Diferente de uma simples classificação por estrelas, que oferece um número único, uma avaliação contém palavras que carregam nuances, ironia e emoções complexas. Em países onde o idioma primário não é o inglês, analisar esse feedback torna-se ainda mais difícil porque os programas de computador sofisticados geralmente usados para essa tarefa são frequentemente treinados em dados de inglês e têm dificuldade com a gramática e o vocabulário específicos de outras línguas.

Por muito tempo, a solução para este problema tem sido traduzir as avaliações para o inglês ou construir um software personalizado para cada idioma específico, um processo que exige vastas quantidades de dados rotulados e expertise técnica. No entanto, um novo tipo de inteligência artificial, conhecido como modelo de linguagem de grande escala (large language model), surgiu. Esses modelos são treinados em quantidades enormes de texto de toda a internet e podem compreender contexto e instruções sem a necessidade de serem retreinados para cada nova tarefa. A questão que os pesquisadores enfrentam é se essas ferramentas poderosas podem ler e categorizar com precisão os sentimentos em avaliações curtas e não inglesas de aplicativos governamentais sem qualquer ajuste especial, e se podem fazê-lo de forma consistente o suficiente para serem confiáveis pelos administradores públicos.

Uma equipe de pesquisadores da Universidade Jan Evangelista Purkyně, em Ústí nad Labem, partiu para responder a essa pergunta usando a língua tcheca como seu caso de teste. Eles reuniram uma coleção massiva de mais de dez mil avaliações de seis aplicativos móveis governamentais diferentes usados por cidadãos na República Tcheca. Esses aplicativos cobrem uma ampla gama de serviços, desde prescrições eletrônicas até cartões de identidade digitais. Os pesquisadores queriam ver se um processo padronizado usando um modelo de linguagem de grande escala poderia classificar essas avaliações em três categorias simples: positivo, negativo ou neutro. Para garantir que os resultados fossem confiáveis, eles não apenas confiaram na saída do computador. Em vez disso, criaram uma "verdade fundamental" (ground truth) fazendo com que especialistas humanos lessem e concordassem sobre o sentimento de uma amostra cuidadosamente selecionada de quinhentas avaliações. Essa amostra verificada por humanos serviu como o parâmetro contra o qual o desempenho do computador foi medido.

O estudo comparou o modelo de linguagem de grande escala com vários outros métodos, incluindo ferramentas simples de contagem de palavras e tipos mais antigos de IA que são comumente usados para análise de texto. As ferramentas de contagem de palavras, que dependem de dicionários de palavras positivas e negativas, tiveram um desempenho ruim. Elas frequentemente falharam em entender o contexto de uma frase, perdendo o fato de que uma palavra como "mas" poderia inverter completamente o significado de uma avaliação. Os modelos de IA mais antigos, embora melhores que os dicionários, ainda lutavam para alcançar alta precisidade sem um treinamento específico em dados governamentais tchecos. Em contraste, o modelo de linguagem de grande escala, quando recebeu instruções claras sobre como classificar o texto, demonstrou uma habilidade notável de compreender as nuances da língua tcheca. Ele identificou corretamente o sentimento na vasta maioria dos casos de teste, correspondendo aos julgamentos dos especialistas humanos com um alto grau de concordância.

Uma das descobertas mais críticas da pesquisa foi a estabilidade dos resultados. Como os modelos de linguagem de grande escala são sistemas complexos, havia a preocupação de que executar a mesma análise duas vezes pudesse produzir respostas diferentes. Os pesquisadores testaram isso executando o processo de classificação cinco vezes separadas sob condições idênticas. Eles descobriram que a versão mais recente do modelo era incrivelmente consistente, produzindo resultados quase idênticos todas as vezes. Essa consistência é vital para o uso no mundo real, pois significa que a ferramenta pode ser confiada para dar a mesma resposta ao mesmo problema, independentemente de quando é usada. A versão anterior do modelo, no entanto, mostrou muito mais variação entre as execuções, sugerindo que a versão específica do software importa muito.

Quando os pesquisadores aplicaram o modelo mais estável e preciso a toda a coleção de dez mil avaliações, um quadro claro do sentimento dos cidadãos emergiu. A análise revelou que o feedback negativo era o mais comum, com quase dois terços de todas as avaliações expressando insatisfação. As avaliações positivas representavam cerca de um quarto do total, enquanto os comentários verdadeiramente neutros eram os mais raros, representando menos de oito por cento. Curiosamente, o texto das avaliações nem sempre correspondia perfeitamente às classificações por estrelas que os usuários davam aos aplicativos. Embora uma classificação de uma estrela quase sempre correspondesse a um texto negativo, e uma classificação de cinco estrelas geralmente correspondia a um texto positivo, o meio-termo era confuso. Muitas avaliações de três estrelas continham textos negativos, e algumas avaliações de cinco estrelas incluíam reclamações, mostrando que os usuários frequentemente misturam seus sentimentos de formas que uma simples classificação por estrelas não consegue capturar.

O estudo também destacou onde a tecnologia ainda enfrenta desafios. A categoria mais difícil para o computador acertar foi o sentimento "neutro". Esta categoria inclui descrições fatuais, perguntas ou sentimentos mistos onde não há uma emoção forte presente. O modelo às vezes teve dificuldade em distinguir entre um comentário neutro e um levemente negativo ou positivo. No entanto, mesmo com essa dificuldade, o modelo superou todos os outros métodos disponíveis que não exigiam treinamento personalizado. Os pesquisadores concluíram que um procedimento padronizado usando um modelo de linguagem de grande escala pode analisar efetivamente feedbacks curtos e não ingleses de cidadãos, desde que o processo seja cuidadosamente documentado e validado contra o julgamento humano.

Este trabalho não sugere que a tecnologia seja perfeita ou que possa substituir totalmente a percepção humana. Os pesquisadores enfatizaram que o desempenho do modelo depende das instruções específicas dadas a ele e da qualidade do processo de validação. Eles também observaram que os resultados são específicos para este conjunto particular de aplicativos governamentais e para a língua tcheca, e que diferentes aplicações ou idiomas podem gerar resultados distintos. No entanto, o estudo fornece evidências sólidas de que os administradores públicos podem agora usar essas ferramentas para ouvir seus cidadãos em escala, mesmo em idiomas onde softwares especializados não estavam anteriormente disponíveis. Ao transformar milhares de comentários não estruturados em dados claros e categorizados, essas ferramentas oferecem uma nova maneira de entender as experiências diárias das pessoas que utilizam serviços públicos digitais, ajudando governos a melhorar as ferramentas que os servem.