Institutional Books - Enriched Text: A customizable multilingual open-source pipeline for denoising, deduplicating, and annotating OCR text at scale
Dit artikel introduceert "Enriched Text", een aanpasbare, open-source meertalige pipeline die metadata behoudt en gebruikersgestuurde filtering mogelijk maakt voor de collectie van 983.004 volumes van de Institutional Books: Harvard Library door OCR-tekst te annoteren met taaldetectie, deduplicatieclusters en kwaliteitsscores in plaats van agressieve globale voorverwerking toe te passen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een bibliotheek voor die bijna een miljoen boeken bevat, variërend van eeuwen aan menselijke gedachten, geschreven in honderden verschillende talen. Decennialang zijn deze volumes gescand door machines, waarbij fysieke pagina's zijn omgezet in digitale tekst. Maar deze digitale tekst is vaak rommelig. Het bevat de ruis van het scanproces: paginanummers die onderaan elke pagina worden herhaald, koppen die over de bovenkant lopen, en woorden die onhandig aan het einde van een regel zijn afgebroken. Voor een computer die probeert te leren van deze tekst, is een dergelijke ruis een groot obstakel. Standaardmethoden om deze gegevens te opschonen houden vaak in dat grote stukken informatie worden weggegooid, zoals het verwijderen van alle tekst die niet in het Engels is of het verwijderen van elke paragraaf die op een andere lijkt. Hoewel dit de gegevens schoner maakt, stript het de rijke, meertalige geschiedenis en de structurele context die een boek tot een boek maken, weg.
Een team onderzoekers van de Harvard Law School heeft een andere aanpak gekozen. In plaats van de rommelige delen weg te gooien, hebben zij een systeem gebouwd dat ze zorgvuldig organiseert. Ze noemen hun resultaat "Enriched Text" (Verrijkte Tekst). In plaats van een enkele, vereenvoudigde stroom van woorden te produceren, houdt hun pijplijn de originele tekst intact, maar voegt het een laag van digitale annotaties toe. Denk aan het toevoegen van een set onzichtbare labels aan elke paragraaf, die een computer precies vertelt wat die paragraaf is, in welke taal deze is, en of deze een duplicaat is van iets anders. Dit stelt iedereen die de gegevens gebruikt in staat om zelf te beslissen wat ze behouden en wat ze negeren, in plaats van dat die beslissingen voor hen worden genomen door een rigide filter.
Het project begon met een enorme collectie van 983.004 volumes van de Harvard Library, oorspronkelijk gedigitaliseerd via een partnerschap met Google. Deze collectie bevat ongeveer 242 miljard eenheden van tekst, bekend als tokens, die circa 250 verschillende talen beslaan. De onderzoekers wilden deze collectie bruikbaar maken voor moderne kunstmatige intelligentie zonder de integriteit van het bronmateriaal te verliezen. Ze werden geconfronteerd met een spanning: standaard computerwetenschappelijke praktijken voor het voorbereiden van gegevens filteren vaak agressief niet-Engelse tekst weg en verwijderen alles wat op een kopie lijkt om ruimte te besparen. Echter, voor een historische bibliotheek zou het verwijderen van niet-Engelse tekst betekenen dat de helft van de collectie verloren gaat, en het verwijderen van duplicaten zou de continuïteit van lange boeken verbreken.
Om dit op te lossen, creëerde het team een verwerkingspijplijn die fungeert als een nauwgezette bibliothecaris. Eerst maakten ze de tekst schoon door veelvoorkomende fouten te herstellen die door het scanproces zijn geïntroduceerd. Ze verwijderden de paginanummers en koppen die boven- en onderaan de pagina verschijnen, die vaak midden in zinnen terechtkomen. Ze herstelden woorden die met koppeltekens over regels waren gesplitst, door ze correct samen te voegen. Ze scheidden ook de "end matter" (het sluitstuk) — de voor- en achterstukken van een boek zoals de inhoudsopgave, index en bibliografie — van het hoofdverhaal of het centrale argument in het midden. Cruciaal was dat ze deze secties niet verwijderden. In plaats daarvan labelden ze ze, zodat een gebruiker kan kiezen om alleen de hoofdtekst te lezen of de index afzonderlijk te bestuderen.
Het systeem brak de boeken vervolgens af in kleinere, betekenisvolle stukken. Het identificeerde individuele zinnen en groepeerde ze in paragrafen op basis van het onderwerp dat werd besproken, in plaats van enkel waar de pagina omsloeg. Dit is belangrijk omdat een enkele pagina twee verschillende onderwerpen kan bevatten, of een enkel onderwerp zich over vele pagina's kan uitstrekken. Door tekst te groeperen op basis van het onderwerp, maakten de onderzoekers het voor computers gemakkelijker om de stroom van ideeën te begrijpen. Ze identificeerden ook paragrafen die in meerdere boeken voorkwamen. In plaats van deze duplicaten te verwijderen, markeerden ze deze. Eén versie van de paragraaf wordt uitgelicht als de "representatieve" kopie, terwijl de andere worden getagd als duplicaten. Dit bewaart de geschiedenis van hoe ideeën werden hergebruikt en gedeeld over verschillende boeken en talen.
Een van de meest geavanceerde stappen betrof het meten van de kwaliteit van de tekst. De onderzoekers gebruikten een klein computermodel om elke paragraaf te lezen en er een score aan toe te kennen op basis van hoe voorspelbaar en vloeiend de taal was. Deze score, genaamd "bits-per-byte", helpt bij het identificeren van paragrafen die waarschijnlijk van hoge kwaliteit zijn, versus paragrafen die slechts onleesbare ruis zijn door een slechte scan, zoals een tabel die als één blok tekst is gelezen. Dit stelt gebruikers in staat om de slechtste kwaliteit tekst te filteren zonder dat zijzelf de dure berekening hoeven uit te voeren.
Het eindresultaat is een dataset met 217 miljard tokens, georganiseerd in meer dan 1,3 miljard geannoteerde paragrafen. De onderzoekers ontdekten dat deze aanpak erin slaagde de tekst te zuiveren terwijl de complexiteit behouden bleef. Zo ontdekten ze bijvoorbeeld dat, hoewel Engelse tekst het grootste deel van de collectie uitmaakte, het systeem correct identificeerde dat veel niet-Engelse boeken aanzienlijke hoeveelheden Latijn of Grieks bevatten, vaak gebruikt voor citaten of wetenschappelijke referenties. Ze vonden ook dat de tekst voorspelbaarder werd voor moderne computers naarmate de tijd verstreek, met boeken uit de 19e en 20e eeuw die meer klonken als de taal die we vandaag de dag gebruiken dan de boeken uit de 17e eeuw.
Het team heeft de volledige pijplijn als open-source software vrijgegeven, wat betekent dat iedereen het kan gebruiken om eigen collecties boeken te verwerken. Ze hebben ook een kleine tool geleverd om gebruikers te helpen de data te parsen, waardoor zij de annotaties kunnen verwijderen als ze een eenvoudige lijst met woorden willen, of de annotaties kunnen behouden als ze de structuur van de boeken willen bestuderen. Door te kiezen voor annoteren in plaats van verwijderen, hebben de onderzoekers een bron gecreëerd die zowel schoner is voor machines als rijker voor menselijke studie. Ze hebben aangetoond dat het mogelijk is om historische gegevens toegankelijk te maken voor moderne technologie zonder de nuance en diversiteit op te offeren die die geschiedenis waardevol maken. Het werk suggereert dat de toekomst van gegevensverwerking niet ligt in het weggooien van de rommelige delen, maar in het leren hoe je ze organiseert.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.