Institutional Books - Enriched Text: A customizable multilingual open-source pipeline for denoising, deduplicating, and annotating OCR text at scale
Cet article présente « Enriched Text », un pipeline multilingue open-source et personnalisable qui préserve les métadonnées et permet un filtrage contrôlé par l'utilisateur de la collection des livres institutionnels de la bibliothèque de Harvard, composée de 983 004 volumes, en annotant le texte issu de l'OCR par la détection de la langue, des grappes de déduplication et des scores de qualité plutôt qu'en appliquant un prétraitement global agressif.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez une bibliothèque qui contient près d'un million de livres, couvrant des siècles de la pensée humaine et écrits dans des centaines de langues différentes. Depuis des décennies, ces volumes sont scannés par des machines, transformant les pages physiques en texte numérique. Mais ce texte numérique est souvent désordonné. Il contient le bruit du processus de numérisation : des numéros de page répétés au bas de chaque page, des en-têtes qui traversent le haut de la page, et des mots coupés maladroitement à la fin d'une ligne. Pour un ordinateur essayant d'apprendre à partir de ce texte, un tel bruit constitue un obstacle majeur. Les méthodes standard pour nettoyer ces données consistent souvent à jeter de larges segments d'informations, comme supprimer tout le texte qui n'est pas en anglais ou supprimer tout paragraphe qui ressemble à un autre. Bien que cela rende les données plus propres, cela dépouille le texte de sa riche histoire multilingue et du contexte structurel qui fait d'un livre un livre.
Une équipe de chercheurs de la Harvard Law School a adopté une approche différente. Au lieu de jeter les parties désordonnées, ils ont construit un système qui les organise soigneusement. Ils appellent le résultat « Texte Enrichi » (Enriched Text). Plutôt que de produire un flux unique et simplifié de mots, leur pipeline conserve le texte original intact mais y ajoute une couche d'annotations numériques. Imaginez cela comme l'ajout d'un ensemble d'étiquettes invisibles à chaque paragraphe, indiquant à un ordinateur exactement ce qu'est ce paragraphe, dans quelle langue il est écrit, et s'il est un doublon d'un autre. Cela permet à quiconque utilisant les données de décider par lui-même ce qu'il souhaite conserver et ce qu'il souhaite ignorer, plutôt que de laisser ces décisions être prises pour lui par un filtre rigide.
Le projet a débuté avec une collection massive de 983 004 volumes de la bibliothèque de Harvard, initialement numérisés grâce à un partenariat avec Google. Cette collection contient environ 242 milliards d'unités de texte, appelées « tokens », couvrant environ 250 langues différentes. Les chercheurs voulaient rendre cette collection utilisable pour l'intelligence artificielle moderne sans perdre l'intégrité du matériel source. Ils ont été confrontés à une tension : les pratiques standard de l'informatique pour la préparation des données consistent souvent à filtrer agressivement le texte non anglais et à supprimer tout ce qui ressemble à une copie pour gagner de l'espace. Cependant, pour une bibliothèque historique, supprimer le texte non anglais reviendrait à perdre la moitié de la collection, et supprimer les doublons reviendrait à briser la continuité de longs livres.
Pour résoudre ce problème, l'équipe a créé un pipeline de traitement qui agit comme un bibliothécaire méticuleux. D'abord, ils ont nettoyé le texte en corrigeant les erreurs courantes introduites par le processus de numérisation. Ils ont supprimé les numéros de page et les en-têtes qui apparaissent en haut et en bas des pages, qui se retrouvent souvent mélangés au milieu des phrases. Ils ont corrigé les mots coupés entre deux lignes par des traits d'union, en les rejoignant correctement. Ils ont également séparé les « éléments de fin » (end matter) — les sections de début et de fin d'un livre comme la table des matières, l'index et la bibliographie — du récit principal ou de l'argument central. Crucialement, ils n'ont pas supprimé ces sections. Au lieu de cela, ils les ont étiquetées afin qu'un utilisateur puisse choisir de lire uniquement le texte principal ou d'étudier l'index séparément.
Le système a ensuite décomposé les livres en morceaux plus petits et significatifs. Il a identifié les phrases individuelles et les a regroupées en paragraphes basés sur le sujet traité, plutôt que simplement sur l'endroit où la page tournait. Cela est important car une seule page peut contenir deux sujets différents, ou un seul sujet peut s'étendre sur de nombreuses pages. En regroupant le texte par sujet, les chercheurs ont facilité la compréhension du flux d'idées par les ordinateurs. Ils ont également identifié les paragraphes qui apparaissent dans plusieurs livres. Au lieu de supprimer ces doublons, ils les ont marqués. Une version du paragraphe est mise en évidence comme la copie « représentative », tandis que les autres sont étiquetées comme doublons. Cela préserve l'histoire de la manière dont les idées ont été réutilisées et partagées à travers différents livres et langues.
L'une des étapes les plus sophistiquées consistait à mesurer la qualité du texte. Les chercheurs ont utilisé un petit modèle informatique pour lire chaque paragraphe et lui attribuer un score basé sur la prévisibilité et la fluidité de la langue. Ce score, appelé « bits par octet » (bits-per-byte), aide à identifier les paragraphes qui sont probablement de la prose de haute qualité par rapport à ceux qui ne sont que du bruit indistinct provenant d'un mauvais scan, comme un tableau qui aurait été lu comme un bloc de texte unique. Cela permet aux utilisateurs de filtrer les textes de piètre qualité sans avoir à effectuer eux-mêmes le calcul coûteux.
Le résultat final est un ensemble de données contenant 217 milliards de tokens, organisé en plus de 1,3 milliard de paragraphes annotés. Les chercheurs ont constaté que cette approche a réussi à nettoyer le texte tout en préservant sa complexité. Par exemple, ils ont découvert que si le texte anglais constituait la plus grande partie de la collection, le système a correctement identifié que de nombreux livres non anglais contenaient des quantités significatives de latin ou de grec, souvent utilisés pour des citations ou des références érudites. Ils ont également constaté que le texte devenait plus prévisible pour les ordinateurs modernes au fil du temps, les livres du XIXe et du XXe siècle sonnant plus comme la langue que nous utilisons aujourd'hui que les livres du XVIIe siècle.
L'équipe a publié l'intégralité du pipeline sous forme de logiciel open-source, ce qui signifie que quiconque peut l'utiliser pour traiter ses propres collections de livres. Ils ont également fourni un petit outil pour aider les utilisateurs à analyser les données, permettant de supprimer les annotations s'ils souhaitent une simple liste de mots, ou de conserver les annotations s'ils souhaitent étudier la structure des livres. En choisissant d'annoter plutôt que de supprimer, les chercheurs ont créé une ressource qui est à la fois plus propre pour les machines et plus riche pour l'étude humaine. Ils ont démontré qu'il est possible de rendre les données historiques accessibles à la technologie moderne sans sacrifier la nuance et la diversité qui font la valeur de cette histoire. Leur travail suggère que l'avenir du traitement des données ne réside pas dans le fait de jeter les parties désordonnées, mais dans l'apprentissage de la manière de les organiser.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.