Institutional Books - Enriched Text: A customizable multilingual open-source pipeline for denoising, deduplicating, and annotating OCR text at scale
Este artículo presenta "Enriched Text", un flujo de trabajo multilingüe, de código abierto y personalizable que preserva los metadatos y permite el filtrado controlado por el usuario de la colección de Libros Institucionales: Biblioteca de Harvard de 983,004 volúmenes mediante la anotación del texto OCR con detección de idioma, clústeres de deduplicación y puntuaciones de calidad en lugar de aplicar un preprocesamiento global agresivo.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina una biblioteca que alberga casi un millón de libros, que abarcan siglos del pensamiento humano, escritos en cientos de idiomas diferentes. Durante décadas, estos volúmenes han sido escaneados por máquinas, convirtiendo las páginas físicas en texto digital. Pero este texto digital suele ser desordenado. Contiene el ruido del proceso de escaneo: números de página repetidos al final de cada página, encabezados que recorren la parte superior y palabras divididas de forma extraña al final de una línea. Para una computadora que intenta aprender de este texto, dicho ruido es un obstáculo importante. Los métodos estándar para limpiar estos datos suelen consistir en desechar grandes fragmentos de información, como eliminar todo el texto que no esté en inglés o borrar cualquier párrafo que parezca similar a otro. Si bien esto hace que los datos sean más limpios, también despoja al texto de la rica historia multilingüe y del contexto estructural que hace que un libro sea un libro.
Un equipo de investigadores de la Facultad de Derecho de Harvard ha adoptado un enfoque diferente. En lugar de desechar las partes desordenadas, han construido un sistema que las organiza cuidadosamente. Llaman a su resultado "Texto Enriquecido". En lugar de producir un flujo único y simplificado de palabras, su canalización mantiene intacto el texto original pero añade una capa de anotaciones digitales. Piense en ello como añadir un conjunto de etiquetas invisibles a cada párrafo, diciéndole a una computadora exactamente qué es ese párrafo, en qué idioma está y si es un duplicado de algo más. Esto permite que cualquier persona que utilice los datos pueda decidir por sí misma qué conservar y qué ignorar, en lugar de que esas decisiones sean tomadas por ellos mediante un filtro rígido.
El proyecto comenzó con una colección masiva de 983,004 volúmenes de la Biblioteca de Harvard, digitalizados originalmente a través de una asociación con Google. Esta colección contiene aproximadamente 242 mil millones de unidades de texto, conocidas como tokens, que cubren unos 250 idiomas diferentes. Los investigadores querían hacer que esta colección fuera utilizable para la inteligencia artificial moderna sin perder la integridad del material de origen. Se enfrentaron a una tensión: las prácticas estándar de la informática para preparar datos suelen filtrar agresivamente el texto que no es en inglés y eliminar cualquier cosa que parezca una copia para ahorrar espacio. Sin embargo, para una biblioteca histórica, eliminar el texto que no es en inglés significaría perder la mitad de la colección, y eliminar los duplicados significaría romper la continuidad de libros extensos.
Para resolver esto, el equipo creó un canal de procesamiento que actúa como un bibliotecario meticuloso. Primero, limpiaron el texto corrigiendo errores comunes introducidos por el proceso de escaneo. Eliminaron los números de página y los encabezados que aparecen en la parte superior e inferior de las páginas, que a menudo se mezclan en medio de las oraciones. Corrigieron palabras que estaban divididas entre líneas mediante guiones, volviéndolas a unir correctamente. También separaron las "partes finales" —las secciones iniciales y finales de un libro como la tabla de contenidos, el índice y la bibliografía— de la historia o el argumento principal en el medio. Crucialmente, no eliminaron estas secciones. En su lugar, las etiquetaron para que un usuario pudiera elegir leer solo el texto principal o estudiar el índice por separado.
El sistema luego descompuso los libros en piezas más pequeñas y significativas. Identificó oraciones individuales y las agrupó en párrafos basados en el tema que se estaba discutiendo, en lugar de simplemente donde cambiaba la página. Esto es importante porque una sola página puede contener dos temas diferentes, o un solo tema puede extenderse a lo largo de muchas páginas. Al agrupar el texto por su materia, los investigadores facilitaron que las computadoras comprendieran el flujo de las ideas. También identificaron párrafos que aparecían en múltiples libros. En lugar de eliminar estos duplicados, los marcaron. Una versión del párrafo se destaca como la copia "representativa", mientras que las otras se etiquetan como duplicados. Esto preserva la historia de cómo las ideas fueron reutilizadas y compartidas a través de diferentes libros e idiomas.
Uno de los pasos más sofisticados consistió en medir la calidad del texto. Los investigadores utilizaron un pequeño modelo computacional para leer cada párrafo y asignarle una puntuación basada en qué tan predecible y fluido era el lenguaje. Esta puntuación, llamada "bits por byte", ayuda a identificar párrafos que probablemente sean prosa de alta calidad frente a aquellos que son solo ruido garabateado de un mal escaneo, como una tabla que fue leída como un solo bloque de texto. Esto permite a los usuarios filtrar el texto de peor calidad sin tener que realizar ellos mismos el costoso cálculo.
El resultado final es un conjunto de datos que contiene 217 mil millones de tokens, organizados en más de 1.3 mil millones de párrafos anotados. Los investigadores descubrieron que este enfoque logró limpiar el texto preservando su complejidad. Por ejemplo, descubrieron que, aunque el inglés constituía la mayor parte de la colección, el sistema identificó correctamente que muchos libros que no estaban en inglés contenían cantidades significativas de latín o griego, a menudo utilizados para citas o referencias académicas. También encontraron que el texto se volvió más predecible para las computadoras modernas a medida que pasaba el tiempo, con libros de los siglos XIX y XX sonando más parecidos al lenguaje que usamos hoy en día que los libros del siglo XVII.
El equipo lanzó todo el canal de procesamiento como software de código abierto, lo que significa que cualquiera puede usarlo para procesar sus propias colecciones de libros. También proporcionaron una pequeña herramienta para ayudar a los usuarios a analizar los datos, permitiéndoles eliminar las anotaciones si desean una lista simple de palabras, o mantener las anotaciones si desean estudiar la estructura de los libros. Al elegir anotar en lugar de eliminar, los investigadores han creado un recurso que es más limpio para las máquinas y más rico para el estudio humano. Han demostrado que es posible hacer que los datos históricos sean accesibles para la tecnología moderna sin sacrificar el matiz y la diversidad que hacen valiosa esa historia. El trabajo sugiere que el futuro del procesamiento de datos no reside en desechar las partes desordenadas, sino en aprender cómo organizarlas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.