Tangut Word Segmentation under Extreme Resource Scarcity: Integrating Traditional Lexicons and Unlabeled Text

A linguagem é frequentemente pensada como um fluxo de sons, mas para muitos sistemas escritos, ela começa como um fluxo de símbolos. Na maior parte da escrita moderna, espaços ou sinais de pontuação indicam ao leitor onde uma palavra termina e a próxima começa. No entanto, algumas escritas antigas não utilizam essas pistas visuais. Em vez disso, apresentam uma linha contínua de caracteres, deixando ao leitor o trabalho de descobrir onde residem as unidades significativas. Este é o desafio enfrentado pelos estudiosos que estudam o Tangut, uma língua que outrora foi a escrita oficial da dinastia Xixia na China, mas que está extinta há séculos. Os textos sobreviventes são janelas preciosas para um mundo perdido de história e cultura, mas permanecem difíceis de ler porque as palavras não estão separadas. Sem uma forma de identificar automaticamente essas fronteiras de palavras, os computadores não podem pesquisar, traduzir ou analisar esses documentos históricos de forma eficaz.

Por décadas, pesquisadores focaram simplesmente em reconhecer os caracteres individuais nos manuscritos Tangut, transformando imagens de tinta no papel em texto digital. Mas reconhecer um caractere é apenas o primeiro passo; compreender a língua requer saber quais caracteres pertencem juntos para formar uma palavra. Esta tarefa é excepcionalmente difícil porque não restam falantes nativos para consultar, e os poucos especialistas que conseguem ler Tangut devem confiar em uma combinação de contexto, pronúncia reconstruída e dicionários antigos para adivinhar onde as palavras começam e terminam. A escassez de conhecimento especializado e a falta de grandes bibliotecas digitais tornam este um problema de extrema escassez de recursos, onde as ferramentas usuais da inteligência artificial moderna frequentemente falham porque exigem vastas quantidades de dados rotulados para aprender.

Uma equipe de pesquisadores deu agora o primeiro passo sistemático para resolver este enigma, ensinando um computador a segmentar palavras Tangut usando uma orientação humana muito limitada. Eles começaram com uma pequena coleção cuidadosamente selecionada de 2.750 segmentos de texto, totalizando quase 32.000 palavras, que foram divididos manualmente por especialistas. Este conjunto de dados, extraído de uma escritura budista e de uma enciclopédia secular, serviu como a base para o seu treinamento. No entanto, confiar apenas nesta ínfima quantidade de dados rotulados não seria suficiente para construir um sistema robusto. Para superar isso, os pesquisadores combinaram três fontes distintas de conhecimento: os exemplos rotulados por especialistas, um dicionário tradicional de palavras Tangut e uma vasta coleção de texto Tangut não rotulado que nunca havia sido dividido em palavras.

Os pesquisadores projetaram um sistema que trata o dicionário não como um livro de regras rígido, mas como uma fonte de dicas. Em muitos casos, um único caractere pode fazer parte de várias entradas de dicionário diferentes, criando uma teia de possibilidades sobrepostas. Em vez de forçar o computador a escolher apenas um caminho imediatamente, o sistema preserva todos esses candidatos potenciais. Ele então utiliza um método de "calibração de confiabilidade" para ponderar essas dicas. Ao observar com que frequência uma entrada de dicionário aparece no texto e com que frequência ela coincide com as fronteiras dos especialistas, o sistema aprende a confiar mais em algumas entradas de dicionário do que em outras. Isso evita que o computador siga cegamente uma entrada de dicionário que possa estar incorreta para o contexto específico do manuscrito.

Para melhorar ainda mais sua compreensão, o sistema também aprendeu com o texto não rotulado, que continha centenas de milhares de caracteres, mas sem divisões de palavras. Ao analisar a frequência com que os caracteres apareciam próximos uns dos outros e quão variados eram seus vizinhos, o sistema construiu um mapa estatístico da língua. Ele aprendeu que certas combinações de caracteres aparecem frequentemente juntas, sugerindo que formam uma única palavra, enquanto outras aparecem de forma mais aleatória, sugerindo uma fronteira entre elas. Esta intuição estatística foi combinada com uma rede neural moderna, um tipo de programa de computador projetado para reconhecer padrões, que foi pré-treinada no texto não rotulado para entender o contexto dos caracteres antes mesmo de ver os exemplos rotulados.

Os resultados desta abordagem foram significativos. Quando testado em partes inéditas do texto, o sistema alcançou um alto nível de precisão, identificando corretamente as fronteiras das palavras em mais de 91 por cento dos casos. Este desempenho foi notavelmente superior aos sistemas que dependiam apenas da pequena quantidade de dados rotulados ou apenas do dicionário. O estudo descobriu que a combinação de conhecimento especializado, dicas de dicionário e padrões estatísticos de texto não rotulado era essencial; remover qualquer um desses componentes fazia com que o desempenho do sistema caísse. O sistema também provou ser particularmente bom em reconhecer palavras que não apareciam nos exemplos de treinamento, um desafio comum em línguas de baixo recurso, utilizando os padrões estatísticos e o conhecimento do dicionário para fazer suposições fundamentadas.

Uma das descobertas mais importantes foi que a capacidade de generalização do sistema dependia fortemente do tipo de texto que estava lendo. Embora tenha desempenhado excepcionalmente bem na enciclopédia secular, que compunha a maior parte dos dados, foi ligeiramente menos preciso na escritura religiosa. Isso sugere que o sistema ainda está aprendendo a se adaptar a diferentes estilos e vocabulários dentro da língua. Os pesquisadores também observaram que, embora o sistema pudesse identificar as fronteiras das palavras com alta precisão, a tarefa de atribuir rótulos gramaticais a essas palavras permanece um passo preliminar, uma vez que o inventário de tipos de palavras ainda está sendo refinado por especialistas.

Este trabalho representa uma base crucial para o futuro dos estudos Tangut. Ao integrar com sucesso recursos linguísticos tradicionais com técnicas modernas de aprendizado de máquina, os pesquisadores criaram uma ferramenta que pode ajudar os estudiosos a processar e analisar esses textos antigos de forma mais eficiente. O sistema não substitui a necessidade de especialistas humanos, mas fornece um auxílio poderoso que pode lidar com a tarefa repetitiva da segmentação, permitindo que os pesquisadores se concentrem em questões históricas e linguísticas mais profundas. À medida que a equipe continua a expandir seus dados anotados e a refinar seus modelos, eles esperam eventualmente aplicar estes métodos a uma gama mais ampla de documentos, aproximando a língua perdida da dinastia Xixia da compreensão moderna.