Institutional Newspapers Pipeline: Deriving billions of high quality tokens from historical newspapers
Cet article présente l'Institutional Newspapers Pipeline, un système modulaire et efficace sur le plan computationnel développé avec la Boston Public Library pour traiter plus de 1,4 million de numérisations de journaux historiques en un ensemble de données ouvertes et structurées contenant 16,3 milliards de jetons de haute qualité grâce à un flux de travail multi-étapes de segmentation, d'OCR et d'analyse textuelle avancée.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les journaux sont le registre quotidien de la vie humaine, capturant tout, des élections locales au prix de la farine, des avis de décès aux publicités pour de nouvelles inventions. Pendant des siècles, ces récits ont été conservés sur du papier fragile, mais à l'ère numérique, les bibliothèques ont numérisé des millions de ces pages pour les rendre accessibles. Cependant, transformer une image de page de journal en un texte utile et interrogeable est étonnamment difficile. Les pages sont denses et désordonnées, remplies de colonnes de texte, de titres décoratifs et de publicités qui s'entremêlent souvent les unes aux autres. Les programmes informatiques standards, qui fonctionnent bien sur des documents propres, se perdent souvent dans ce chaos, produisant un texte truffé d'erreurs ou omettant des sections entières. Cela crée une barrière pour les chercheurs et les systèmes d'intelligence artificielle qui souhaitent apprendre de l'histoire, car ils ne peuvent pas facilement lire ce qui est écrit sur la page.
Une équipe de chercheurs de la Harvard Law School et de la Boston Public Library a développé une nouvelle façon de résoudre ce problème. Ils ont créé un système par étapes conçu pour décomposer une seule page de journal en ses plus petites pièces logiques, lire le texte de chaque pièce avec une grande précision, puis organiser le tout afin qu'un ordinateur puisse comprendre la mise en page et le contenu. Leur objectif n'était pas seulement de numériser le texte, mais de créer un ensemble de données propre et structuré qui révèle le véritable contenu de plus d'un million de scans de journaux historiques. En traitant chaque bloc distinct de texte ou d'image comme un élément séparé, ils ont réussi à extraire des milliards de mots de matériaux qui étaient auparavant trop désordonnés pour être utilisés efficacement.
Le processus commence par la prise d'une image numérique d'une page de journal et l'apprentissage à un ordinateur de voir l'image comme un lecteur humain le ferait. Au lieu d'essayer de lire toute la page à la fois, le système identifie d'abord chaque bloc de contenu distinct, tel qu'un article unique, une photographie ou une publicité. Les chercheurs ont entraîné un modèle informatique pour reconnaître ces blocs, ou « crops », en lui montrant des milliers d'exemples. Ce modèle a appris à ignorer l'espace blanc vide autour des bords et les bordures complexes entre les colonnes, en se concentrant uniquement sur le contenu réel. Lors des tests, cet outil de segmentation s'est révélé très efficace, identifiant avec succès plus de 83 millions de blocs individuels à travers plus de 1,4 million de pages de journaux. En moyenne, chaque page était divisée en environ 56 morceaux distincts, permettant au système de gérer les mises en page complexes du passé avec précision.
Une fois la page divisée en ces morceaux gérables, le système lit le texte à l'intérieur de chacun d'eux. Les chercheurs ont utilisé deux méthodes différentes pour ce faire, les faisant fonctionner côte à côte pour garantir les meilleurs résultats. La première méthode utilise un outil traditionnel qui est utilisé depuis des décennies pour convertir des images de texte en lettres numériques. La seconde méthode utilise un type plus récent et plus avancé de modèle d'intelligence artificielle capable de mieux comprendre le contexte d'une image. Ce nouveau modèle s'est avéré particulièrement performant pour lire le texte endommagé, délavé ou écrit dans des polices décoratives qui confondaient l'outil plus ancien. Dans de nombreux cas, le modèle avancé pouvait même deviner les lettres manquantes dans une section déchirée de la page, comblant les lacunes pour créer une phrase complète. En combinant les résultats des deux méthodes, l'équipe a généré une collection massive de texte, totalisant 16,3 milliards de tokens, ce qui est suffisant pour remplir des milliers de livres.
Une fois le texte extrait, le système travaille ensuite pour comprendre ce que chaque morceau de contenu est réellement. Il trie les millions de blocs en catégories, distinguant les articles de presse, les publicités, les photographies et les dessins de presse. Pour ce faire avec précision, le système examine à la fois l'apparence visuelle du bloc et les mots qu'il contient. Par exemple, un bloc qui ressemble à une photographie mais ne contient aucun texte est identifié comme une image, tandis qu'un bloc avec un titre et un récit est identifié comme une information. Les chercheurs ont constaté que les publicités constituaient le plus grand nombre de ces blocs, mais que les véritables articles de presse contenaient la majorité des mots. Cette distinction est cruciale car elle permet aux chercheurs d'étudier comment la nature visuelle des journaux a évolué au fil du temps, notant que les publicités sont devenues de plus en plus visuelles et ont occupé plus d'espace sur la page au fil des décennies.
Le système organise également le texte dans l'ordre dans lequel un humain le lirait naturellement. Les journaux comportent souvent des articles qui commencent dans une colonne et se poursuivent dans une autre, ou des histoires interrompues par des images. Les chercheurs ont développé une méthode pour tracer ces chemins, déterminant quel bloc vient ensuite et lequel vient après, permettant ainsi au texte de circuler logiquement du début à la fin. Bien qu'il s'agisse d'une tâche complexe, leur approche a réussi à reconstruire l'ordre de lecture pour une partie significative des pages, atteignant une précision de 72,1 % au niveau macro et de 80,8 % au niveau micro, permettant au texte de suivre un flux logique. Cette étape transforme une collection désordonnée de fragments d'images en un récit cohérent qui peut être recherché et analysé comme un document moderne.
Au-delà de la simple lecture et organisation du texte, le système ajoute des couches d'informations utiles à chaque bloc. Il identifie la langue utilisée, constatant que si la majeure partie de la collection est en anglais, il existe des portions significatives en yiddish, en allemand, en suédois et en français, reflétant les diverses communautés d'immigrants de l'époque. Il scanne également le texte pour trouver des noms de personnes, de lieux et d'organisations, étiquetant des millions de mentions de lieux comme Boston et New York, ou d'institutions comme le Congrès. De plus, le système attribue un sujet à chaque bloc, en étiquetant certains comme des rapports économiques, d'autres comme des informations politiques et d'autres comme des mises à jour scientifiques. Ce marquage riche permet aux chercheurs de poser des questions spécifiques, telles que : « À quelle fréquence le mot "Boston" était-il mentionné dans les publicités par rapport aux articles de presse ? » ou « Quels sujets étaient les plus courants dans les années 1880 ? ».
Toute l'opération a été conçue pour être suffisamment efficace pour fonctionner sur du matériel informatique standard, plutôt que de nécessiter des supercalculateurs massifs et coûteux. Les chercheurs ont traité les données par lots, optimisant chaque étape pour s'assurer que le système puisse gérer le volume considérable de matériel sans planter ou devenir trop lent. Le coût total pour faire fonctionner ce pipeline sur de la puissance de calcul louée a été estimé à environ 25 000 dollars, une fraction de ce qu'aurait coûté l'utilisation des modèles les plus avancés et les plus chers disponibles. Cette efficacité signifie que d'autres bibliothèques et institutions pourraient potentiellement utiliser les mêmes outils pour débloquer leurs propres collections historiques.
Le résultat de ce travail est un ensemble de données ouvert et massif qui comprend non seulement le texte, mais aussi la structure et le contexte de plus d'un million de pages de journaux entre 1795 et 1930. Les chercheurs ont mis les outils, les modèles et les données finales à la disposition du public, permettant à quiconque d'explorer cette histoire de nouvelles manières. Bien que le système ne soit pas parfait et nécessite encore une supervision humaine pour les cas les plus difficiles, il représente un bond en avant significatif pour rendre les journaux historiques accessibles. En transformant des images chaotiques et bruitées en données propres et structurées, l'équipe a ouvert une fenêtre sur la vie quotidienne des gens du passé, fournissant une base pour la recherche future et une nouvelle façon pour l'intelligence artificielle d'apprendre de l'histoire humaine.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.