A Multilingual Dataset of Lexical, Syntactic, and Semantic Features from Wikipedia across Five Languages
Este artigo apresenta um conjunto de dados multilíngue disponível publicamente, composto por características lexicais, sintáticas e semânticas de 1.860 artigos da Wikipédia em cinco idiomas, demonstrando, por meio de validação estatística, que a língua influencia significativamente essas características independentemente da extensão do texto, oferecendo, assim, um recurso robusto para a pesquisa linguística translinguística e computacional.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
A linguagem é frequentemente descrita como uma coleção de regras, mas para um computador, ela é uma paisagem de padrões. Durante décadas, linguistas tentaram mapear esses padrões manualmente, catalogando como diferentes línguas estruturam suas sentenças ou quão variado é seu vocabulário. Esses mapas manuais são valiosos, mas são lentos de serem feitos e muitas vezes perdem o fluxo sutil e contínuo de como as pessoas realmente escrevem. Nos últimos anos, surgiram programas de computador poderosos que podem ler textos e traduzi-los em formas matemáticas, capturando o "sentimento" de uma sentença de uma forma que os humanos não conseguem ver facilmente. Essa nova abordagem permite que pesquisadores comparem idiomas não apenas por suas definições de dicionário, mas pelas profundas impressões digitais estatísticas deixadas em milhões de palavras. A questão permanece: essas impressões digitais digitais revelam que as línguas são fundamentalmente diferentes ou são apenas variações sobre um tema semelhante?
Um pesquisador da Universidade Tecnológica de Queensland deu um passo significativo para responder a isso ao construir uma enorme biblioteca compartilhada de textos de cinco idiomas principais: inglês, chinês, espanhol, francês e alemão. Em vez de depender de alguns exemplos famosos, a equipe reuniu quase 1.900 artigos de enciclopédia, selecionando cuidadosamente tópicos que aparecem nas cinco línguas, como história, ciência e política. Para garantir uma comparação justa, cada artigo foi recortado para o mesmo comprimento, criando um campo de jogo nivelado onde a única diferença real era o próprio idioma. A equipe então passou cada artigo por um sofisticado pipeline de análise. Eles contaram quantos termos únicos apareceram, mediram a frequência com que as palavras se repetiam e rastrearam a que distância as palavras estavam das palavras das quais dependiam em uma sentença. Eles também usaram uma ferramenta moderna de inteligência artificial para converter o significado das primeiras vinte sentenças de cada artigo em uma longa lista de números, criando uma assinatura digital única para o conteúdo semântico do texto.
Os resultados dessa comparação foram impressionantes. Quando os pesquisadores plotaram todas essas características juntas, a própria língua provou ser a força mais forte moldando os dados. Ela explicou mais de um terço das diferenças encontradas em toda a coleção de artigos. Em contraste, o comprimento do texto ou o método específico usado para encontrar os artigos quase não teve efeito no padrão geral. Isso confirmou que a "voz" distinta de cada língua é uma característica robusta que persiste mesmo quando o tópico e o comprimento são mantidos constantes. A análise mostrou que o chinês se destacou dos demais, formando um grupo distinto, enquanto as línguas europeias se agruparam mais proximamente. O inglês e o espanhol foram identificados como o par mais semelhante, compartilhando o perfil estatístico mais próximo.
O estudo também descobriu uma conexão profunda entre como uma língua é estruturada e o que ela significa. Os pesquisadores encontraram um elo claro entre a distância das palavras em uma sentença e a distância de seus significados no espaço digital. Isso sugere que a maneira como uma língua organiza suas palavras não é aleatória, mas está intimamente tecida com os conceitos que expressa. Embora o conjunto de dados seja atualmente limitado a essas cinco línguas e dependa da escrita enciclopédica, ele fornece uma base sólida e reproduzível para trabalhos futuros. Oferece uma nova maneira de testar o quão bem os programas de computador compreendem diferentes idiomas e ajuda cientistas a prever como as línguas podem evoluir ou se relacionar umas com as outras. Ao transformar a complexidade da fala humana em um mapa claro e mensurável, este trabalho nos permite ver a arquitetura oculta da linguagem com uma precisão que era anteriormente impossível.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.