Institutional Books - Enriched Text: A customizable multilingual open-source pipeline for denoising, deduplicating, and annotating OCR text at scale
Este artigo apresenta o "Enriched Text", um pipeline multilíngue, de código aberto e customizável, que preserva metadados e permite a filtragem controlada pelo usuário da coleção de 983.004 volumes de Livros Institucionais da Biblioteca de Harvard ao anotar o texto OCR com detecção de idioma, agrupamentos de deduplicação e pontuações de qualidade, em vez de aplicar um pré-processamento global agressivo.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine uma biblioteca que abriga quase um milhão de livros, abrangendo séculos de pensamento humano, escritos em centenas de línguas diferentes. Por décadas, esses volumes foram digitalizados por máquinas, transformando páginas físicas em texto digital. Mas esse texto digital é frequentemente desordenado. Ele contém o ruído do processo de digitalização: números de página repetidos na parte inferior de cada página, cabeçalhos que percorrem o topo e palavras quebradas de forma estranha ao final de uma linha. Para um computador tentando aprender com esse texto, tal ruído é um obstáculo significativo. Métodos padrão para limpar esses dados geralmente envolvem o descarte de grandes partes da informação, como remover todo o texto que não seja em inglês ou deletar qualquer parágrafo que pareça semelhante a outro. Embora isso torne os dados mais limpos, também remove a rica história multilíngue e o contexto estrutural que faz de um livro um livro.
Uma equipe de pesquisadores da Harvard Law School adotou uma abordagem diferente. Em vez de descartar as partes desordenadas, eles construíram um sistema que as organiza cuidadosamente. Eles chamam o resultado de "Texto Enriquecido". Em vez de produzir um fluxo único e simplificado de palavras, o pipeline deles mantém o texto original intacto, mas adiciona uma camada de anotações digitais. Pense nisso como adicionar um conjunto de etiquetas invisíveis a cada parágrafo, dizendo a um computador exatamente o que aquele parágrafo é, em qual idioma ele está e se ele é um duplicata de algo mais. Isso permite que qualquer pessoa que utilize os dados decida por si mesma o que manter e o que ignorar, em vez de deixar que essas decisões sejam tomadas por elas através de um filtro rígido.
O projeto começou com uma coleção massiva de 983.004 volumes da Biblioteca de Harvard, originalmente digitalizados através de uma parceria com o Google. Esta coleção contém aproximadamente 242 bilhões de unidades de texto, conhecidas como tokens, cobrindo cerca de 250 idiomas diferentes. Os pesquisadores queriam tornar essa coleção utilizável para a inteligência artificial moderna sem perder a integridade do material de origem. Eles enfrentaram uma tensão: as práticas padrão de ciência da computação para preparar dados frequentemente filtram agressivamente o texto não inglês e deletam qualquer coisa que pareça uma cópia para economizar espaço. No entanto, para uma biblioteca histórica, deletar o texto não inglês significaria perder metade da coleção, e deletar duplicatas significaria quebrar a continuidade de livros longos.
Para resolver isso, a equipe criou um pipeline de processamento que atua como um bibliotecário meticuloso. Primeiro, eles limparam o texto corrigindo erros comuns introduzidos pelo processo de digitalização. Eles removeram os números de página e os cabeçalhos que aparecem no topo e na base das páginas, que frequentemente se misturam ao meio das sentenças. Eles corrigiram palavras que foram divididas entre linhas com hifens, unindo-as corretamente. Eles também separaram o "material final" — as seções frontais e traseiras de um livro, como o sumário, índice e bibliografia — da história ou argumento principal no meio. Crucialmente, eles não deletaram essas seções. Em vez disso, eles as rotularam para que um usuário pudesse escolher ler apenas o texto principal ou estudar o índice separadamente.
O sistema então decompôs os livros em pedaços menores e significativos. Ele identificou sentenças individuais e as agrupou em parágrafos com base no tópico sendo discutido, em vez de apenas onde a página virava. Isso é importante porque uma única página pode conter dois tópicos diferentes, ou um único tópico pode se estender por muitas páginas. Ao agrupar o texto por seu assunto, os pesquisadores tornaram mais fácil para os computadores entenderem o fluxo de ideias. Eles também identificaram parágrafos que apareciam em múltiplos livros. Em vez de deletar esses duplicatas, eles os marcaram. Uma versão do parágrafo é destacada como a cópia "representativa", enquanto as outras são etiquetadas como duplicatas. Isso preserva a história de como as ideias foram reutilizadas e compartilhadas através de diferentes livros e línguas.
Um dos passos mais sofisticados envolveu medir a qualidade do texto. Os pesquisadores usaram um pequeno modelo de computador para ler cada parágrafo e atribuir-lhe uma pontuação baseada em quão previsível e fluente era a linguagem. Essa pontuação, chamada de "bits-per-byte", ajuda a identificar parágrafos que provavelmente são prosa de alta qualidade versus aqueles que são apenas ruído confuso de uma digitalização ruim, como uma tabela que foi lida como um bloco único de texto. Isso permite que os usuários filtrem o texto de pior qualidade sem terem que realizar o cálculo caro eles mesmos.
O resultado final é um conjunto de dados contendo 217 bilhões de tokens, organizados em mais de 1,3 bilhão de parágrafos anotados. Os pesquisadores descobriram que essa abordagem limpou o texto com sucesso, mantendo sua complexidade. Por exemplo, descobriram que, embora o texto em inglês constituísse a maior parte da coleção, o sistema identificou corretamente que muitos livros não ingleses continham quantidades significativas de latim ou grego, frequentemente usados para citações ou referências acadêmicas. Eles também descobriram que o texto se tornou mais previsível para os computadores modernos conforme o tempo passou, com livros dos séculos XIX e XX soando mais como a linguagem que usamos hoje do que os livros do século XVII.
A equipe lançou todo o pipeline como software de código aberto, o que significa que qualquer pessoa pode usá-lo para processar suas próprias coleções de livros. Eles também forneceram uma pequena ferramenta para ajudar os usuários a analisar os dados, permitindo que eles removam as anotações se desejarem uma lista simples de palavras, ou mantenham as anotações se desejarem estudar a estrutura dos livros. Ao optar por anotar em vez de deletar, os pesquisadores criaram um recurso que é simultaneamente mais limpo para máquinas e mais rico para o estudo humano. Eles mostraram que é possível tornar os dados históricos acessíveis à tecnologia moderna sem sacrificar a nuance e a diversidade que tornam essa história valiosa. O trabalho sugere que o futuro do processamento de dados reside não em jogar fora as partes desordenadas, mas em aprender como organizá-las.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.