Institutional Newspapers Pipeline: Deriving billions of high quality tokens from historical newspapers
Este artigo apresenta o Institutional Newspapers Pipeline, um sistema modular e computacionalmente eficiente desenvolvido com a Boston Public Library para processar mais de 1,4 milhão de digitalizações de jornais históricos em um conjunto de dados estruturado e aberto contendo 16,3 bilhões de tokens de alta qualidade por meio de um fluxo de trabalho de múltiplas etapas de segmentação, OCR e análise de texto avançada.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Os jornais são o registro diário da vida humana, capturando tudo, desde eleições locais até o preço da farinha, de obituários a anúncios de novas invenções. Por séculos, essas histórias foram preservadas em papel frágil, mas na era digital, as bibliotecas digitalizaram milhões dessas páginas para torná-las acessíveis. No entanto, transformar uma imagem de uma página de jornal em texto útil e pesquisável é surpreendentemente difícil. As páginas são densas e desordenadas, repletas de colunas de texto, manchetes decorativas e anúncios que frequentemente se misturam uns aos outros. Programas de computador padrão, que funcionam bem em documentos limpos, costem se confundir com esse caos, produzindo textos cheios de erros ou omitindo seções inteiras. Isso cria uma barreira para pesquisadores e sistemas de inteligência artificial que desejam aprender com a história, pois não conseguem ler facilmente o que está escrito na página.
Uma equipe de pesquisadores da Harvard Law School e da Biblioteca Pública de Boston desenvolveu uma nova maneira de resolver este problema. Eles criaram um sistema passo a passo projetado para decompor uma única página de jornal em suas menores e mais lógicas partes, ler o texto em cada parte com alta precisão e, em seguida, organizar tudo para que um computador possa entender o layout e o conteúdo. O objetivo deles não era apenas digitalizar o texto, mas criar um conjunto de dados limpo e estruturado que revele o verdadeiro conteúdo de mais de um milhão de digitalizações de jornais históricos. Ao tratar cada bloco distinto de texto ou imagem como seu próprio item separado, eles conseguiram extrair bilhões de palavras de materiais que anteriormente eram muito desordenados para serem usados de forma eficaz.
O processo começa pegando uma imagem digital de uma página de jornal e ensinando um computador a vê-la da mesma forma que um leitor humano. Em vez de tentar ler a página inteira de uma vez, o sistema primeiro identifica cada bloco distinto de conteúdo, como um único artigo, uma fotografia ou um anúncio. Os pesquisadores treinaram um modelo de computador para reconhecer esses blocos, ou "recortes", mostrando-lhe milhares de exemplos. Este modelo aprendeu a ignorar o espaço em branco vazio ao redor das bordas e as bordas complexas entre as colunas, focando apenas no conteúdo real. Quando testada, esta ferramenta de segmentação provou ser altamente eficaz, identificando com sucesso mais de 83 milhões de blocos individuais em mais de 1,4 milhão de páginas de jornais. Em média, cada página foi dividida em cerca de 56 peças separadas, permitindo que o sistema lidasse com os layouts complexos do passado com precisão.
Uma vez que a página é dividida nessas peças gerenciáveis, o sistema lê o texto dentro de cada uma delas. Os pesquisadores usaram dois métodos diferentes para fazer isso, executando-os lado a lado para garantir os melhores resultados. O primeiro método usa uma ferramenta tradicional que tem sido usada há décadas para converter imagens de texto em letras digitais. O segundo método usa um tipo de modelo de inteligência artificial mais novo e avançado, que pode entender melhor o contexto de uma imagem. Este modelo mais recente provou ser particularmente bom em ler textos que estavam danificados, desbotados ou escritos em fontes decorativas que confundiam a ferramenta mais antiga. Em muitos casos, o modelo avançado podia até adivinhar letras ausentes em uma seção rasgada de uma página, preenchendo as lacunas para criar uma frase completa. Ao combinar as saídas de ambos os métodos, a equipe gerou uma coleção massiva de texto, totalizando 16,3 bilhões de tokens, o que é suficiente para preencher milhares de livros.
Com o texto extraído, o sistema então trabalha para entender o que cada pedaço de conteúdo realmente é. Ele classifica os milhões de blocos em categorias, distinguindo entre artigos de notícias, anúncios, fotografias e cartuns. Para fazer isso com precisão, o sistema observa tanto a aparência visual do bloco quanto as palavras que ele contém. Por exemplo, um bloco que parece uma fotografia, mas não contém texto, é identificado como uma imagem, enquanto um bloco com uma manchete e uma história é identificado como notícia. Os pesquisadores descobriram que os anúncios constituíam o maior número desses blocos, mas as notícias reais continham a maioria das palavras. Esta distinção é crucial porque permite que os pesquisadores estudem como a natureza visual dos jornais mudou ao longo do tempo, observando que os anúncios se tornaram cada vez mais visuais e ocuparam mais espaço na página à medida que as décadas passavam.
O sistema também organiza o texto na ordem em que um humano naturalmente leria. Os jornais frequentemente têm artigos que começam em uma coluna e continuam em outra, ou histórias que são interrompidas por imagens. Os pesquisadores desenvolveram um método para mapear esses caminhos, determinando qual bloco vem a seguir e qual vem depois dele. Embora esta seja uma tarefa complexa, a abordagem deles reconstruiu com sucesso a ordem de leitura para uma parte significativa das páginas, alcançando uma precisidade de 72,1% em nível macro e 80,8% em nível micro, permitindo que o texto flua logicamente do início ao fim. Este passo transforma uma coleção desordenada de fragmentos de imagem em uma narrativa coerente que pode ser pesquisada e analisada como um documento moderno.
Além de simplesmente ler e organizar o texto, o sistema adiciona camadas de informações úteis a cada bloco. Ele identifica o idioma utilizado, encontrando que, embora a maior parte da coleção seja em inglês, há partes significativas em iídiche, alemão, sueco e francês, refletindo as diversas comunidades de imigrantes da época. O sistema também varre o texto para encontrar nomes de pessoas, lugares e organizações, marcando milhões de menções a locais como Boston e Nova York, ou instituições como o Congresso. Além disso, o sistema atribui um tópico a cada bloco, rotulando alguns como relatórios de negócios, outros como notícias políticas e outros como atualizações científicas. Esta rica marcação permite que os pesquisadores façam perguntas específicas, tais como: "Com que frequência a palavra 'Boston' foi mencionada em anúncios comparado a notícias?" ou "Quais tópicos eram mais comuns na década de 1880?".
Toda a operação foi projetada para ser eficiente o suficiente para rodar em hardware de computador padrão, em vez de exigir supercomputadores massivos e caros. Os pesquisadores processaram os dados em lotes, otimizando cada etapa para garantir que o sistema pudesse lidar com o enorme volume de material sem travar ou tornar-se muito lento. O custo total para rodar este pipeline em poder computacional alugado foi estimado em cerca de 25.000 dólares, uma fração do que teria custado usar os modelos mais avançados e caros disponíveis. Esta eficiência significa que outras bibliotecas e instituições podem potencialmente usar as mesmas ferramentas para desbloquear suas próprias coleções históricas.
O resultado deste trabalho é um conjunto de dados massivo e aberto que inclui não apenas o texto, mas a estrutura e o contexto de mais de um milhão de páginas de jornais entre 1795 e 1930. Os pesquisadores disponibilizaram as ferramentas, os modelos e os dados finais ao público, permitindo que qualquer pessoa explore esta história de novas maneiras. Embora o sistema não seja perfeito e ainda exija supervisão humana para os casos mais difíceis, ele representa um salto significativo para tornar os jornais históricos acessíveis. Ao transformar imagens caóticas e ruidosas em dados limpos e estruturados, a equipe abriu uma janela para as vidas cotidianas das pessoas do passado, fornecendo uma base para pesquisas futuras e uma nova maneira para a inteligência artificial aprender com a história humana.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.