Wiki Dumps to Training Corpora: South Slavic Case
Dit artikel presenteert een taal-onafhankelijke methodologie voor het omzetten van ruwe Wikimedia-dumps in hoogwaardige, taalkundig rijke trainingscorpora voor zeven Zuid-Slavische talen door systematisch tekst te extraheren uit meerdere wiki-projecten en door gebruik te maken van op n-grammen gebaseerde filtering om laagkwalitatieve, repetitieve artikelen te verwijderen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme bibliotheek wilt bouwen met verhalen, gedichten en nieuwsartikelen om een robot te leren spreken en zeven verschillende Zuid-Slavische talen te begrijpen (zoals Servisch, Kroatisch, Bulgaars en andere). Je besluit Wikipedia en zijn zustersites (zoals Wikisource of Wikinews) als bronmateriaal te gebruiken omdat ze gratis zijn en vol tekst staan.
Echter, als je gewoon de ruwe bestanden van deze websites pakt, krijg je geen bibliotheek met verhalen. Je krijgt een chaotisch magazijn vol met:
- Bouwschroot: Verborgen computercode, opmaakinstructies en "blauwdrukken" die vertellen hoe de website eruit moet zien, maar die geen deel uitmaken van het verhaal.
- Gebroken glas: Gebroken links en lege secties.
- Fabrieksmatige klonen: Duizenden artikelen die bijna identiek lijken omdat ze automatisch zijn gegenereerd vanuit databases in plaats van door mensen zijn geschreven.
Dit artikel is een handleiding over hoe je dat rommelige magazijn opruimt en omzet in een strakke bibliotheek. De auteur, Mihailo Škorić, breekt het proces op in twee hoofdfasen: De Grote Opruiming en De Kwaliteitsfilter.
Fase 1: De Grote Opruiming (Tekstextractie)
Bedenk dat de ruwe Wikipedia-gegevens als een huis zijn dat nog in aanbouw is. Er staan steigers, verfemmers en blauwdrukken overal. Je kunt er nog niet in wonen.
De auteur bouwde een gespecialiseerd "bouwteam" (een computerprogramma) om het huis terug te brengen tot zijn kale, bewoonbare muren.
- Steigers verwijderen: Het programma gebruikt een tool genaamd
mwparserfromhell(een chique naam voor een tool die de geheime taal van Wikipedia begrijpt) om alle computercode, sjablonen en opmaaklabels eruit te rukken. - Ruis verwijderen: Het verwijdert de "Categorie"-lijsten (zoals labels op een archiefkast), haalt afbeeldingsbeschrijvingen weg en verwijdert de "Referenties"-secties die eruitzien als voetnoten maar geen deel uitmaken van het hoofdverhaal.
- Tabellen platdrukken: Wikipedia gebruikt vaak tabellen om gegevens te ordenen. Het programma zet deze complexe roosters om in simpele, leesbare zinnen zodat de robot niet in de war raakt door de roostellijnen.
- Het resultaat: Na deze fase heb je een stapel schone, platte tekst. Het is geen website meer; het zijn gewoon woorden.
Fase 2: De Kwaliteitsfilter (De Klonen Verwijderen)
Nu je schone tekst hebt, is er een nieuw probleem. Sommige artikelen zijn "zombie"-teksten. Dit zijn artikelen die eruitzien alsof ze door een mens zijn geschreven, maar die eigenlijk automatisch door een computer zijn gegenereerd. Ze zijn repetitief, saai en zeggen steeds weer hetzelfde in iets andere bewoordingen.
Als je deze "zombie"-artikelen aan je robot voert, zal hij leren spreken in een robotachtige, repetitieve lus. Om dit op te lossen, gebruikt de auteur een Detectivestrategie:
- Groeperen per Buurt: Het programma groepeert artikelen op onderwerp (bijvoorbeeld: alle artikelen over "Geschiedenis" gaan in één kamer, alle over "Sport" in een andere). Het is makkelijker om duplicaten te vinden als je alleen appels met appels vergelijkt.
- De "Vingerafdruk"-scan: Het programma zet elk artikel om in een wiskundige "vingerafdruk" (een vector). Het kijkt naar de eerste paar woorden van het artikel om te zien of het overeenkomt met het patroon van een sjabloon.
- De Vergelijkings-test: Het vergelijkt deze vingerafdrukken met elkaar met behulp van een wiskundige truc genaamd MinHashing. Stel je hebt twee boeken. Als ze te veel identieke zinnen in dezelfde volgorde delen, zijn ze waarschijnlijk klonen.
- De Grenswaarde: Het programma berekent een "gelijkheidsscore". Als een artikel te veel overeenkomt met anderen (boven een bepaalde drempel), wordt het de bibliotheek uitgegooid. Het is als een bouncer in een club die zegt: "Je ziet er precies uit als iedereen anders in de rij; je komt er niet in."
De Resultaten
Het artikel testte deze methode uit op zeven Zuid-Slavische talen. De resultaten waren dramatisch:
- Servisch: Had de grootste rommel om op te ruimen. Voor het filteren had het meer dan 500.000 artikelen. Nadat de "bouncer" zijn werk had gedaan, werd bijna de helft verwijderd omdat het duplicaten of automatisch gegenereerd waren. Het aantal woorden daalde met bijna 60%.
- Bulgaars en Sloveens: Deze waren al vrij schoon, dus ze verloren minder artikelen.
- De Opbrengst: Het eindresultaat is een kleinere, maar veel hogere kwaliteit bibliotheek. De woorden in deze nieuwe bibliotheken komen overeen met hoe echte mensen eigenlijk spreken, in plaats van hoe een database tekst genereert.
Waarom Dit Belangrijk Is
De auteur betoogt dat een robot om een taal goed te leren, echt menselijk geschreven werk moet lezen, geen door computers gegenereerde vulsel. Door dit tweestapsproces (de code opruimen en vervolgens de klonen filteren), biedt het artikel een betrouwbare, hoogwaardige verzameling boeken voor het trainen van AI-modellen in Zuid-Slavische talen.
Kortom: Het artikel leert ons hoe we een rommelige, code-volle dump van Wikipedia kunnen nemen, schoon schrobben van computerrommel en vervolgens de "copy-paste"-artikelen weggooien, waardoor een pure verzameling menselijke taal overblijft waar een robot van kan leren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.