Institutional Books - Visual Elements: An open-source pipeline for extracting, classifying, deduplicating, and captioning visual elements from digital book collections

As bibliotecas são vastos repositórios da história humana, mas, durante décadas, as versões digitais de seus livros contaram apenas metade da história. Quando as instituições digitalizam volumes antigos para torná-los pesquisáveis, elas tradicionalmente focaram no texto, usando software para ler as palavras e transformá-las em dados. Esse processo, conhecido como reconhecimento óptico de caracteres, tem sido um triunfo, permitindo que pesquisadores pesquisem através de milhões de páginas em segundos. No entanto, as imagens contidas nesses livros — as ilustrações, fotografias, gravuras e bordas decorativas — permaneceram, em grande parte, invisíveis para as máquinas. Esses elementos visuais detêm uma camada única de contexto e nuance que o texto sozinho não consegue capturar, mas foram difíceis de estudar em escala porque não estavam estruturados de uma forma que os computadores pudessem compreender facilmente. À medida que os sistemas de inteligência artificial se tornam mais capazes de "ver" e interpretar o mundo, um hiato significativo surgiu: esses sistemas são treinados majoritariamente em imagens modernas da internet e frequentemente têm dificuldade em compreender a cultura visual histórica. Para preencher esse hiato, os pesquisadores precisam de uma coleção massiva e diversificada de imagens históricas que seja organizada e esteja pronta para que as máquinas possam aprender.

Uma equipe de pesquisadores da Universidade de Harvard abordou esse desafio ao construir um novo sistema de código aberto projetado para encontrar, classificar e descrever elementos visuais dentro de quase um milhão de livros digitalizados. O trabalho deles, detalhado em um relatório técnico, cria um fluxo de trabalho que atua como um bibliotecário altamente qualificado que pode escanear um livro, localizar cada imagem, descobrir o que ela é e escrever uma breve descrição para ela, tudo isso sem intervenção humana. O resultado é um conjunto de dados contendo mais de 22 milhões de elementos visuais extraídos de 983.004 volumes. Esta coleção inclui tudo, desde diagramas científicos e partituras musicais até retratos e arte decorativa, cada um marcado com informações sobre seu tipo e, em muitos casos, uma legenda gerada por computador. Ao disponibilizar esses dados, a equipe espera ajudar os modelos de inteligência artificial a compreender melhor os materiais históricos, criando um ciclo onde melhores ferramentas levam a mais dados, o que, por sua vez, leva a ferramentas ainda melhores para explorar nosso passado compartilhado.

O processo começa com a tarefa mais básica: encontrar as imagens. Os pesquisadores desenvolveram um sistema que escaneia as páginas digitais dos livros para localizar qualquer região que contenha uma imagem. Como a coleção é tão vasta, contendo centenas de milhões de páginas, o sistema precisava ser incrivelmente eficiente. Eles treinaram um modelo de computador especializado para reconhecer elementos visuais, mostrando-lhe milhares de exemplos de páginas com e sem imagens. Este modelo aprendeu a ignorar o texto e a focar nas partes visuais, desenhando uma caixa ao redor de cada ilustração, foto ou diagrama encontrado. Na execução final, o sistema processou toda a coleção e identificou mais de 28 milhões de imagens potenciais. Para garantir a alta qualidade, os pesquisadores aplicaram filtros rigorosos para remover falsos alarmes, como manchas ou erros de digitalização, deixando um conjunto final de 22,6 milhões de elementos visuais distintos.

Uma vez encontradas as imagens, o próximo passo foi entender o que elas eram. O sistema classificou as 22,6 milhões de imagens em cinco categorias principais: ilustrações gerais e fotografias, notação musical, elementos decorativos como ex-libris, gráficos e tabelas, e artefatos de digitalização, como dedos perdidos ou clipes de papel que apareceram acidentalmente nas digitalizações. Os pesquisadores treinaram outro modelo para fazer essas distinções, ensinando-o a diferenciar uma partitura musical de uma página de texto, ou entre uma borda decorativa e um diagrama científico. O sistema provou ser altamente preciso, identificando corretamente a grande maioria das imagens. Por exemplo, ele conseguia distinguir a notação musical com quase total confiança, embora tenha achado algumas categorias, como as bordas decorativas, um pouco mais difíceis de separar de outros tipos de ilustrações. Esse processo de classificação é crucial porque permite que os pesquisadores façam perguntas específicas, como "mostre-me todos os gráficos do século XVIII" ou "encontre cada instância de um ex-libris específico".

Após a classificação, a equipe enfrentou o problema das duplicatas. Em grandes projetos de digitalização, a mesma imagem aparece muitas vezes, seja porque foi usada em várias edições de um livro ou porque o processo de digitalização capturou acidentalmente a mesma página duas vezes. Para limpar isso, os pesquisadores utilizaram dois métodos diferentes para encontrar imagens correspondentes. O primeiro método comparou os padrões de pixels das imagens para encontrar cópias exatas, enquanto o segundo método buscou o significado mais profundo das imagens para encontrar duplicatas próximas que poderiam parecer ligeiramente diferentes devido a variações de digitalização. Ao combinar essas abordagens, eles identificaram e agruparam milhões de imagens repetidas, garantindo que o conjunto de dados final representasse conteúdo visual único, em vez de apenas uma lista de cada vez que uma imagem apareceu. Esta etapa reduziu o número total de itens em cerca de 20%, deixando uma coleção mais limpa e valiosa para estudo.

A parte final e mais experimental do projeto envolveu ensinar o sistema a escrever descrições para as imagens. Usando um grande modelo de linguagem, os pesquisadores pediram ao computador para gerar uma legenda curta para cada imagem, explicando o que ela mostrava. Para ajudar o computador a entender o contexto, eles forneceram o texto das páginas circundantes junto com a própria imagem. O sistema recebeu instruções para ser preciso e evitar suposições, descrevendo apenas o que era claramente visável. Embora os pesquisadores tenham observado que essas legendas são experimentais e devem ser usadas com cautela, eles geraram com sucesso quase 18 milhões de descrições. Essas legendas, escritas no idioma original do livro sempre que possível, oferecem uma nova maneira de pesquisar conteúdo visual, permitindo que os usuários encontrem imagens com base em seu conteúdo, em vez de apenas seus nomes de arquivo ou categorias.

Os pesquisadores também prestaram atenção cuidadosa ao lado prático desta tarefa massiva, garantindo que o processo fosse eficiente e pudesse ser repetido por outras instituições. Eles descobriram que o maior gargalo não era a capacidade de pensar do computador, mas o tempo necessário para carregar e preparar as imagens para o processamento. Ao otimizar seu fluxo de trabalho, eles conseguiram processar toda a coleção em questão de semanas usando recursos computacionais padrão. A equipe liberou todo o fluxo de trabalho, os modelos que treinaram e o conjunto de dados resultante como ferramentas de código aberto, convidando outras bibliotecas e pesquisadores a usar e aprimorar seu trabalho. Eles também incluíram avisos claros sobre as limitações de seus dados, observando que algumas imagens contêm preconceitos históricos ou linguagem ofensiva que refletem a época em que foram criadas, e que as legendas geradas pelo computador não são perfeitas.

Este projeto representa um passo significativo para tornar a história visual da cultura humana acessível tanto para humanos quanto para máquinas. Ao transformar uma coleção massiva e não estruturada de imagens de livros em um conjunto de dados pesquisável, classificado e descrito, os pesquisadores forneceram um novo fundamento para o estudo do passado. O conjunto de dados inclui mais de 22 milhões de elementos visuais, oferecendo um recurso rico para treinar a inteligência artificial a compreender contextos históricos e para possibilitar novas formas de pesquisa em humanidades digitais. O trabalho demonstra que, com planejamento cuidadoso e as ferramentas certas, os tesouros visuais escondidos dentro de milhões de livros antigos podem ser trazidos à luz, oferecendo novos insights sobre as histórias que eles contam.