Trilingual Topic Modeling of Sri Lankan Parliamentary Debates

Na vasta paisagem da computação moderna, um campo conhecido como processamento de linguagem natural esforça-se para ensinar as máquinas a ler, compreender e organizar a fala humana. Durante décadas, este trabalho concentrou-se fortemente em línguas como o inglês, onde as regras gramaticais são relativamente simples e as ferramentas digitais são abundantes. No entanto, o mundo é repleto de línguas que se comportam de forma muito diferente. Algumas, como o cingalês e o tâmil, falados amplamente no Sri Lanka, são aglutinantes, o que significa que constroem palavras complexas unindo muitas pequenas partes de significado, tornando difícil para programas de computador padrão reconhecerem que duas palavras com aparências diferentes partilham, na verdade, a mesma raiz. Além disso, em muitas partes do mundo, as pessoas não falam apenas uma língua de cada vez; elas misturam-nas livremente dentro de uma única frase, um fenômeno conhecido como mistura de códigos (code-mixing). Quando estas complexidades linguísticas encontram a realidade desordenada dos registos oficiais do governo, que frequentemente chegam como documentos digitais mal formatados, o resultado é uma montanha de texto que o software padrão simplesmente não consegue escalar. Compreender o que está sendo dito nestes registos é crucial, pois eles detêm as chaves das prioridades políticas, dificuldades económicas e preocupações sociais de uma nação, mas permaneceram largamente trancados para análise sistemática.

Uma equipa de investigadores da Universidade de Moratuwa, no Sri Lanka, construiu agora uma nova forma de desbloquear este tesouro de informação. Eles voltaram a sua atenção para os Hansards, as transcrições oficiais do Parlamento do Sri Lanka, que contêm milhares de discursos proferidos em cingalês, tâmil e inglês, frequentemente misturados dentro de um único discurso. Estes documentos são notoriamente difíceis de processar porque existem como PDFs digitalizados com layouts de duas colunas confusos e formatação inconsistente que quebra o software de leitura tradicional. Para resolver isto, os investigadores utilizaram primeiro uma poderosa ferramenta de inteligência artificial capaz de ler estes documentos desordenados e extrair as palavras efetivamente faladas, ignorando o ruído visual da página. Em seguida, alimentaram este texto limpo num sistema concebido para compreender o significado das palavras através de diferentes línguas, em vez de apenas contar a frequência com que elas aparecem. Ao mapear os discursos num espaço digital onde ideias semelhantes se situam próximas, independentemente da língua utilizada, foram capazes de agrupar milhares de discursos individuais em temas coerentes.

O resultado deste esforço é um mapa claro da conversa política da nação ao longo de quase uma década, de 2017 a 2026. Os investigadores analisaram 19.553 discursos e organizaram-nos com sucesso em 30 grandes tópicos, que variam desde a segurança energética e crises económicas até à segurança nacional e cuidados de saúde. O que torna esta conquista significativa é que o computador o fez sem ser instruído sobre o que procurar; ele descobriu os temas por conta própria. O sistema descobriu que os discursos sobre a economia aumentaram dramaticamente durante a crise financeira de 2022 e o período subsequente de agitação civil, enquanto as discussões sobre segurança nacional dispararam após os ataques de Páscoa de 2019. Crucialmente, o modelo tratou as três línguas como um fluxo de conversa único e unificado. Um discurso em tâmil sobre uma questão política específica foi agrupado com um discurso em cingalês sobre o mesmo assunto, provando que o significado subjacente importava mais do que a língua usada para o expressar.

Os investigadores também testaram se métodos mais antigos e tradicionais de análise de texto poderiam lidar com esta tarefa. Descobriram que as abordagens padrão, que dependem da contagem de combinações de palavras, falharam completamente. Estes métodos mais antigos não conseguiram colmatar a lacuna entre as diferentes línguas ou lidar com as estruturas de palavras complexas do cingalês e do tâmil, resultando em grupos fragmentados e sem sentido. Em contraste, a nova abordagem, que utiliza aprendizagem profunda para compreender o contexto, identificou com sucesso a estrutura dos debates. A equipa também explorou um método híbrido que combinou a compreensão profunda do significado com o foco em palavras-chave específicas para ver se conseguiria tornar os grupos ainda mais nítidos. Embora este método tenha tornado os limites entre os tópicos mais claros, também significou que alguns discursos ficaram de fora dos grupos, sugerindo uma troca entre precisão e cobertura.

Em última análise, este trabalho demonstra que é possível dar sentido ao complexo discurso político multilingue sem intervenção humana. Ao tratar as diversas línguas do Sri Lanka como um conjunto de dados único e rico, os investigadores foram capazes de revelar como a atenção da nação muda em resposta aos eventos do mundo real. As descobertas mostram que os tópicos discutidos no parlamento não são aleatórios; eles sobem e descem em resposta direta aos desafios do país, desde a gestão da dívida pública até ao cuidado dos enfermos. Este novo quadro fornece uma base sólida para estudos futuros, permitindo que investigadores e o público acompanhem a evolução das prioridades políticas com uma clareza que era anteriormente impossível, transformando um arquivo caótico de discursos numa história estruturada da jornada de uma nação.