Institutional Books - Visual Elements: An open-source pipeline for extracting, classifying, deduplicating, and captioning visual elements from digital book collections

Las bibliotecas son vastos repositorios de la historia humana, pero durante décadas, las versiones digitales de sus libros han contado solo la mitad de la historia. Cuando las instituciones escanean volúmenes antiguos para hacerlos buscables, tradicionalmente se han centrado en el texto, utilizando software para leer las palabras y convertirlas en datos. Este proceso, conocido como reconocimiento óptico de caracteres, ha sido un triunfo, permitiendo a los investigadores buscar a través de millones de páginas en segundos. Sin embargo, las imágenes dentro de esos libros —las ilustraciones, fotografías, grabados y bordes decorativos— han permanecido, en gran medida, invisibles para las máquinas. Estos elementos visuales poseen una capa única de contexto y matices que el texto por sí solo no puede capturar, pero han sido difíciles de estudiar a escala porque no estaban estructurados de una manera que las computadoras pudieran entender fácilmente. A medida que los sistemas de inteligencia artificial se vuelven más capaces de "ver" e interpretar el mundo, ha surgido una brecha significativa: estos sistemas están entrenados principalmente con imágenes modernas de internet y a menudo tienen dificultades para dar sentido a la cultura visual histórica. Para cerrar esta brecha, los investigadores necesitan una colección masiva y diversa de imágenes históricas que esté organizada y lista para que las máquinas aprendan de ellas.

Un equipo de investigadores de la Universidad de Harvard ha abordado este desafío construyendo un nuevo sistema de código abierto diseñado para encontrar, clasificar y describir elementos visuales dentro de casi un millón de libros digitalizados. Su trabajo, detallado en un informe técnico, crea un flujo de trabajo que actúa como un bibliotecario altamente capacitado que puede escanear un libro, detectar cada imagen, determinar qué es y escribir una breve descripción para ella, todo esto sin intervención humana. El resultado es un conjunto de datos que contiene más de 22 millones de elementos visuales extraídos de 983.004 volúmenes. Esta colección incluye desde diagramas científicos y partituras musicales hasta retratos y arte decorativo, cada uno etiquetado con información sobre su tipo y, en muchos casos, un pie de foto generado por computadora. Al poner estos datos a disposición, el equipo espera ayudar a los modelos de inteligencia artificial a comprender mejor los materiales históricos, creando un ciclo donde mejores herramientas conducen a más datos, lo que a su vez conduce a herramientas aún mejores para explorar nuestro pasado compartido.

El proceso comienza con la tarea más básica: encontrar las imágenes. Los investigadores desarrollaron un sistema que escanea las páginas digitales de los libros para localizar cualquier región que contenga una imagen. Debido a que la colección es tan vasta, que contiene cientos de millones de páginas, el sistema tuvo que ser increíblemente eficiente. Entrenaron un modelo de computadora especializado para reconocer elementos visuales mostrándole miles de ejemplos de páginas con y sin imágenes. Este modelo aprendió a ignorar el texto y concentrarse en las partes visuales, trazando un cuadro alrededor de cada ilustración, foto o diagrama que encontraba. En la ejecución final, el sistema procesó toda la colección e identificó más de 28 millones de imágenes potenciales. Para garantizar la alta calidad, los investigadores aplicaron filtros estrictos para eliminar falsas alarmas, como manchas o errores de escaneo, dejando un conjunto final de 22,6 millones de elementos visuales distintos.

Una vez encontradas las imágenes, el siguiente paso fue comprender qué eran. El sistema clasificó los 22,6 millones de imágenes en cinco categorías principales: ilustraciones generales y fotografías, notación musical, elementos decorativos como exlibris, gráficos y diagramas, y artefactos de escaneo como dedos o clips de papel que aparecieron accidentalmente en los escaneos. Los investigadores entrenaron otro modelo para realizar estas distinciones, enseñándole a diferenciar entre una partitura musical y una página de texto, o entre un borde decorativo y un diagrama científico. El sistema demostró ser altamente preciso, identificando correctamente la gran mayoría de las imágenes. Por ejemplo, podía distinguir la notación musical con una confianza casi perfecta, aunque encontró algunas categorías, como los bordes decorativos, ligeramente más difíciles de separar de otros tipos de ilustraciones. Este proceso de clasificación es crucial porque permite a los investigadores hacer preguntas específicas, tales como "muéstrame todos los gráficos del siglo XVIII" o "encuentra cada instancia de un exlibris específico".

Después de la clasificación, el equipo abordó el problema de los duplicados. En los grandes proyectos de digitalización, la misma imagen aparece a menudo, ya sea porque se utilizó en múltiples ediciones de un libro o porque el proceso de escaneo capturó accidentalmente la misma página dos veces. Para limpiar esto, los investigadores utilizaron dos métodos diferentes para encontrar imágenes coincidentes. El primer método comparó los patrones de píxeles de las imágenes para encontrar copias exactas, mientras que el segundo buscó el significado más profundo de las imágenes para encontrar duplicados cercanos que podrían verse ligeramente diferentes debido a las variaciones de escaneo. Al combinar estos enfoques, identificaron y agruparon millones de imágenes repetidas, asegurando que el conjunto de datos final representara contenido visual único en lugar de solo una lista de cada vez que apareció una imagen. Este paso redujo el número total de elementos en aproximadamente un 20 por ciento, dejando una colección más limpia y valiosa para el estudio.

La parte final y más experimental del proyecto consistió en enseñar al sistema a escribir descripciones para las imágenes. Utilizando un modelo de lenguaje de gran tamaño, los investigadores pidieron a la computadora que generara un pie de foto corto para cada imagen, explicando lo que mostraba. Para ayudar a la computadora a comprender el contexto, le proporcionaron el texto de la página circundante junto con la imagen misma. Se le instruyó al sistema para ser preciso y evitar suponer, describiendo solo lo que era claramente visible. Aunque los investigadores señalaron que estos pies de foto son experimentales y deben usarse con precaución, lograron generar casi 18 millones de descripciones. Estos pies de foto, escritos en el idioma original del libro siempre que fue posible, proporcionan una nueva forma de buscar contenido visual, permitiendo a los usuarios encontrar imágenes basadas en su contenido en lugar de solo en sus nombres de archivo o categorías.

Los investigadores también prestaron atención a la parte práctica de esta enorme tarea, asegurando que el proceso fuera eficiente y pudiera ser repetido por otras instituciones. Descubrieron que el mayor cuello de botella no era la capacidad de pensamiento de la computadora, sino el tiempo que tomaba cargar y preparar las imágenes para su procesamiento. Al optimizar su flujo de trabajo, lograron procesar toda la colección en cuestión de semanas utilizando recursos informáticos estándar. El equipo lanzó todo el flujo de trabajo, los modelos que entrenaron y el conjunto de datos resultante como herramientas de código abierto, invitando a otras bibliotecas e investigadores a usar y mejorar su trabajo. También incluyeron advertencias claras sobre las limitaciones de sus datos, señalando que algunas imágenes contienen sesgos históricos o lenguaje dañino que refleja la época en la que fueron creadas, y que los pies de foto generados por computadora no son perfectos.

Este proyecto representa un paso significativo hacia la accesibilidad de la historia visual de la cultura humana tanto para humanos como para máquinas. Al convertir una colección masiva y no estructurada de imágenes de libros en un conjunto de datos clasificable, descriptivo y buscable, los investigadores han proporcionado un nuevo fundamento para el estudio del pasado. El conjunto de datos incluye más de 22 millones de elementos visuales, ofreciendo un recurso rico para entrenar a la inteligencia artificial para comprender contextos históricos y para permitir nuevas formas de investigación en humanidades digitales. El trabajo demuestra que, con una planificación cuidadosa y las herramientas adecuadas, los tesoros visuales ocultos dentro de millones de libros antiguos pueden sacarse a la luz, ofreciendo nuevas perspectivas sobre las historias que cuentan.