Named Entity Recognition for Pre-Modern Serbian Cyrillic: Using Transformer-Based Models and Generative Data Augmentation
Este artigo demonstra que o ajuste fino de modelos baseados em transformer, especificamente o XLM-RoBERTa, com aumento de dados generativo melhora significativamente o desempenho e a generalização de Reconhecimento de Entidades Nomeadas para textos de baixo recurso em sérvio cirílico pré-moderno, alcançando um F1-score intra-domínio de aproximadamente 0,92 e estabelecendo um modelo recomendado treinado com 50% de dados sintéticos para pesquisa histórica mais ampla.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Nos cantos silenciosos da história digital, um ramo especializado da ciência da computação conhecido como processamento de linguagem natural está trabalhando para tornar o passado legível para as máquinas. Este campo ensina os computadores a compreender a linguagem humana, não apenas como uma sequência de palavras, mas como um sistema estruturado onde nomes específicos — pessoas, lugares e grupos — carregam significados distintos. Para as línguas modernas, esta tarefa tornou-se extraordinariamente precisa, permitindo que softwares escaneiem instantaneamente artigos de notícias ou feeds de redes sociais e extraiam cada menção a uma cidade ou pessoa específica. No entanto, a mesma tecnologia tem dificuldades quando confrontada com textos históricos. Estes documentos frequentemente utilizam ortografia e gramática que desapareceram da fala cotidiana e existem em quantidades muito menores do que a escrita moderna. Quando a linguagem é rara e os dados são escassos, os computadores que se destacam nas notícias de hoje tropeçam nas palavras de séculos atrás. Isso cria uma barreira para historiadores e arquivistas que desejam usar ferramentas digitais para explorar suas coleções, pois o software não consegue distinguir confiavelmente o nome de um rei de um substantivo comum em uma carta medieval.
Uma equipe de pesquisadores partiu para preencher essa lacuna, ensinando modelos de computador avançados a reconhecer nomes em textos de cirílico sérvio pré-moderno. Eles focaram em um desafio específico: como tornar esses modelos robustos o suficiente para lidar com documentos que nunca viram antes, que podem diferir em ortografia, estilo ou período em relação aos exemplos nos quais foram treinados. Para fazer isso, recorreram a uma técnica chamada aumento de dados generativo. Em vez de esperar que historiadores rotulassem manualmente milhares de novos documentos — um processo lento e caro — os pesquisadores pediram a uma poderosa inteligência artificial para escrever novos exemplos de treinamento sintéticos. Eles guiaram essa IA para imitar o estilo de cartas medievais e documentos jurídicos, criando milhares de frases falsas que pareciam e soavam como as reais, completas com rótulos corretos para nomes e lugares. Eles então testaram dois tipos diferentes de modelos de linguagem modernos, um especializado para a região e outro treinado em muitas línguas, para ver qual poderia aprender melhor com essa mistura de dados reais e sintéticos.
Os pesquisadores começaram com uma coleção de documentos medievais genuínos, incluindo cartas reais e cartas de correspondência do século XIV. Estes textos foram cuidadosamente anotados por especialistas humanos que marcaram cada instância do nome de uma pessoa, de um local ou de uma referência a um grupo específico de pessoas. Esta coleção original era pequena, contendo pouco mais de três mil frases, uma quantidade limitada de material para o treinamento de um modelo de computador sofisticado. Para expandir essa base, a equipe usou um sistema de IA generativa para criar novas frases que seguiam os mesmos padrões dos textos originais. Eles produziram três versões diferentes dos dados de treinamento: uma onde as frases sintéticas compunham trinta por cento do total, outra onde compunham cinquenta por cento, e uma terceira onde os exemplos sintéticos dobravam o tamanho do conjunto de dados original. Isso permitiu que testassem se alimentar o computador com mais exemplos, mesmo que alguns fossem artificialmente gerados, ajudaria a entender melhor as nuances da linguagem histórica.
Quando a equipe testou esses modelos nos mesmos tipos de documentos para os quais haviam sido treinados, os resultados foram impressionantes. O modelo treinado com uma mistura de dados reais e sintéticos, especificamente a versão que incluía trinta por cento de exemplos sintéticos, alcançou um alto nível de precisão, identificando corretamente nomes e lugares na vasta maioria dos casos. Este desempenho foi significativamente melhor do que um modelo de computador de estilo antigo que dependia de diferentes estruturas matemáticas. No entanto, o verdadeiro teste veio quando os pesquisadores pediram aos modelos para ler documentos históricos completamente novos que não faziam parte de seu treinamento. Estes novos textos incluíam um testamento do ano 1500, um manuscrito de uma igreja em Viena escrito em 1778 e um conjunto de cartas reais de meados do século XIV. Estes documentos representavam diferentes eras e estilos de escrita, desafiando os modelos para ver se eles realmente haviam aprendido a linguagem ou se apenas memorizaram os exemplos de treinamento.
Os resultados mostraram que os modelos treinados com dados sintéticos eram muito mais adaptáveis do que os sistemas antigos. O modelo que utilizou cinquenta por cento de dados sintéticos provou ser o mais confiável em todos os novos documentos, mantendo um alto nível de precisão mesmo diante dos textos mais antigos e estilisticamente diferentes. Embora o modelo treinado com trinta por cento de dados sintéticos tenha tido um desempenho ligeiramente melhor nos textos familiares, a versão de cinquenta por cento lidou com os desconhecidos com maior consistência. Isso sugere que adicionar uma quantidade moderada de exemplos sintéticos ajuda o computador a construir uma compreensão mais flexível da linguagem, permitindo que ele reconheça padrões mesmo quando a ortografia ou o contexto mudam. Os pesquisadores descobriram que os modelos eram particularmente bons em identificar nomes de pessoas, que apareciam frequentemente nos dados de treinamento, mas ainda tinham certa dificuldade com nomes de lugares e referências a grupos, que eram mais raros e variados.
O estudo conclui que gerar exemplos sintéticos é uma ferramenta poderosa para ensinar computadores a ler textos históricos, mas não é uma solução simples para todos os problemas. A quantidade de dados sintéticos importa; pouco pode não ajudar o suficiente, enquanto demais pode introduzir ruído que confunde o modelo. Os melhores resultados vieram de uma abordagem equilibrada, onde os dados sintéticos suplementaram os registros históricos reais sem sobrecarregá-los. Ao tornar seus modelos treinados e os dados que utilizaram públicos, os pesquisadores forneceram uma nova ferramenta para as humanidades digitais. Este trabalho demonstra que, com a combinação certa de perícia histórica e inteligência artificial moderna, podemos começar a desbloquear os nomes e lugares escondidos dentro de séculos de documentos manuscritos, tornando o passado mais acessível tanto para estudiosos quanto para o público curioso.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.