Institutional Newspapers Pipeline: Deriving billions of high quality tokens from historical newspapers
Este artículo presenta el Institutional Newspapers Pipeline, un sistema modular y computacionalmente eficiente desarrollado con la Biblioteca Pública de Boston para procesar más de 1,4 millones de escaneos de periódicos históricos en un conjunto de datos abierto y estructurado que contiene 16,3 mil millones de tokens de alta calidad a través de un flujo de trabajo de múltiples pasos de segmentación, OCR y análisis de texto avanzado.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Los periódicos son el registro diario de la vida humana, capturando todo, desde elecciones locales hasta el precio de la harina, desde obituarios hasta anuncios de nuevos inventos. Durante siglos, estas historias se han preservado en papel frágil, pero en la era digital, las bibliotecas han escaneado millones de estas páginas para hacerlas accesibles. Sin embargo, convertir una imagen de una página de periódico en texto útil y buscable es sorprendentemente difícil. Las páginas son densas y desordenadas, llenas de columnas de texto, titulares decorativos y anuncios que a menudo se mezclan entre sí. Los programas informáticos estándar, que funcionan bien en documentos limpios, suelen confundirse con este caos, produciendo un texto lleno de errores o que omite secciones enteras. Esto crea una barrera para los investigadores y los sistemas de inteligencia artificial que quieren aprender de la historia, ya que no pueden leer fácilmente lo que está escrito en la página.
Un equipo de investigadores de la Facultad de Derecho de Harvard y la Biblioteca Pública de Boston ha desarrollado una nueva forma de resolver este problema. Crearon un sistema paso a paso diseñado para descomponer una sola página de periódico en sus piezas más pequeñas y lógicas, leer el texto de cada pieza con alta precisión y luego organizar todo para que una computadora pueda entender el diseño y el contenido. Su objetivo no era solo digitalizar el texto, sino crear un conjunto de datos limpio y estructurado que revele el verdadero contenido de más de un millón de escaneos de periódicos históricos. Al tratar cada bloque distinto de texto o imagen como un elemento separado, lograron extraer miles de millones de palabras de materiales que anteriormente eran demasiado desordenados para usarse de manera efectiva.
El proceso comienza tomando una imagen digital de una página de periódico y enseñando a una computadora a verla de la misma manera que lo hace un lector humano. En lugar de intentar leer toda la página a la vez, el sistema primero identifica cada bloque de contenido distinto, como un artículo individual, una fotografía o un anuncio. Los investigadores entrenaron un modelo computacional para reconocer estos bloques, o "recortes", mostrándole miles de ejemplos. Este modelo aprendió a ignorar el espacio en blanco alrededor de los bordes y los complejos límites entre columnas, enfocándose solo en el contenido real. Al ser probado, esta herramienta de segmentación demostró ser altamente efectiva, identificando con éxito más de 83 millones de bloques individuales en más de 1,4 millones de páginas de periódicos. En promedio, cada página se dividió en unos 56 fragmentos distintos, lo que permitió al sistema manejar los complejos diseños del pasado con precisión.
Una vez que la página se divide en estas piezas manejables, el sistema lee el texto dentro de cada una de ellas. Los investigadores utilizaron dos métodos diferentes para hacer esto, ejecutándolos en paralelo para asegurar los mejores resultados. El primer método utiliza una herramienta tradicional que se ha usado durante décadas para convertir imágenes de texto en letras digitales. El segundo método utiliza un tipo de modelo de inteligencia artificial más nuevo y avanzado que puede entender mejor el contexto de una imagen. Este modelo más reciente resultó ser particularmente bueno leyendo texto que estaba dañado, descolorido o escrito en fuentes decorativas que confundían a la herramienta antigua. En muchos casos, el modelo avanzado incluso pudo adivinar letras faltantes en una sección rasgada de una página, llenando los huecos para crear una oración completa. Al combinar los resultados de ambos métodos, el equipo generó una colección masiva de texto, con un total de 16,3 mil millones de tokens, lo cual es suficiente para llenar miles de libros.
Con el texto extraído, el sistema trabaja para comprender qué es realmente cada pieza de contenido. Clasifica los millones de bloques en categorías, distinguiendo entre artículos de noticias, anuncios, fotografías y caricaturas. Para hacer esto con precisión, el sistema observa tanto la apariencia visual del bloque como las palabras que contiene. Por ejemplo, un bloque que parece una fotografía pero no contiene texto es identificado como una imagen, mientras que un bloque con un titular y una historia es identificado como una noticia. Los investigadores encontraron que los anuncios constituían el mayor número de estos bloques, pero las noticias reales contenían la mayoría de las palabras. Esta distinción es crucial porque permite a los investigadores estudiar cómo la naturaleza visual de los periódicos cambió con el tiempo, observando que los anuncios se volvieron cada vez más visuales y ocuparon más espacio en la página a medida que pasaban las décadas.
El sistema también organiza el texto en el orden en que un humano lo leería naturalmente. Los periódicos a menudo tienen artículos que comienzan en una columna y continúan en otra, o historias que son interrumpidas por imágenes. Los investigadores desarrollaron un método para trazar estas rutas, determinando qué bloque viene después y cuál sigue, permitiendo que el texto fluya lógicamente de principio a fin. Aunque esta es una tarea compleja, su enfoque reconstruyó con éxito el orden de lectura para una parte significativa de las páginas, logrando una precisión del 72,1% a nivel macro y del 80,8% a nivel micro, permitiendo que el texto fluya lógicamente desde el inicio hasta el final. Este paso transforma una colección desordenada de fragmentos de imagen en una narrativa coherente que puede ser buscada y analizada como un documento moderno.
Más allá de simplemente leer y organizar el texto, el sistema añade capas de información útil a cada bloque. Identifica el idioma utilizado, encontrando que, si bien la mayor parte de la colección está en inglés, hay porciones significativas en yiddish, alemán, sueco y francés, lo que refleja las diversas comunidades de inmigrantes de la época. También escanea el texto para encontrar nombres de personas, lugares y organizaciones, etiquetando millones de menciones de ubicaciones como Boston y Nueva York, o instituciones como el Congreso. Además, el sistema asigna un tema a cada bloque, etiquetando algunos como reportes de negocios, otros como noticias políticas y otros como actualizaciones científicas. Este enriquecido etiquetado permite a los investigadores hacer preguntas específicas, tales como "¿Con qué frecuencia se mencionaba la palabra 'Boston' en los anuncios en comparación con las noticias?" o "¿Qué temas eran más comunes en la década de 1880?".
Toda la operación fue diseñada para ser lo suficientemente eficiente como para ejecutarse en hardware de computadora estándar, en lugar de requerir supercomputadoras masivas y costosas. Los investigadores procesaron los datos en lotes, optimizando cada paso para asegurar que el sistema pudiera manejar el volumen de material sin colapsar o volverse demasiado lento. El costo total de ejecutar este flujo de trabajo con potencia de cómputo alquilada se estimó en alrededor de 25,000 dólares, una fracción de lo que habría costado usar los modelos más avanzados y caros disponibles. Esta eficiencia significa que otras bibliotecas e instituciones podrían potencialmente usar las mismas herramientas para desbloquear sus propias colecciones históricas.
El resultado de este trabajo es un conjunto de datos masivo y abierto que incluye no solo el texto, sino también la estructura y el contexto de más de un millón de páginas de periódicos de entre 1795 y 1930. Los investigadores han puesto las herramientas, los modelos y los datos finales a disposición del público, permitiendo que cualquiera explore esta historia de nuevas maneras. Si bien el sistema no es perfecto y aún requiere supervisión humana para los casos más difíciles, representa un salto significativo hacia la accesibilidad de los periódicos históricos. Al convertir imágenes caóticas y ruidosas en datos limpios y estructurados, el equipo ha abierto una ventana a las vidas cotidianas de las personas del pasado, proporcionando una base para la investigación futura y una nueva forma para que la inteligencia artificial aprenda de la historia humana.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.