Synthetic Rewriting as a Quality Multiplier: Evidence from Portuguese Continued Pretraining

Grote taalmodellen zijn de motoren achter veel van de meest geavanceerde kunstmatige intelligentiesystemen van vandaag, in staat om tekst te schrijven, vragen te beantwoorden en problemen op te lossen met een vloeiendheid die vaak het menselijk denken nabootst. Deze systemen leren door enorme hoeveelheden tekst van het internet te lezen, waarbij ze patronen absorberen in hoe woorden worden gebruikt en hoe ideeën met elkaar verbonden zijn. Dit leerproces is echter niet even effectief voor elke taal. Terwijl Engels beschikt over een enorme bibliotheek van hoogwaardige tekst die beschikbaar is voor training, hebben veel andere talen, zoals Portugees, veel minder middelen. Om dit gat te overbruggen, nemen onderzoekers vaak een model dat primair op Engels is getraind en blijven zij het onderwijzen met kleinere hoeveelheden tekst in de doeltaal. Een groeiende vraag in het vakgebied is of we deze beperkte data nog krachtiger kunnen maken door kunstmatige intelligentie te gebruiken om het te herschrijven. Het idee is dat als een computer een rommelige of eenvoudige zin kan nemen en deze kan herschrijven om het duidelijker, gestructureerder of gedetailleerder te maken, het model beter van de verbeterde versie kan leren. Maar een cruciale onzekerheid blijft bestaan: werkt deze herschrijfvorm wel even goed op tekst van lage kwaliteit, of vergroot het alleen de waarde van tekst die al goed was?

Een team van onderzoekers aan de Universiteit van Campinas in Brazilië zette zich in om deze vraag te beantwoorden door een gecontroleerd experiment uit te voeren met Portugese taalmodellen. Ze begonnen met een enorme collectie Portugese documenten die al waren beoordeeld op kwaliteit, variërend van laag tot hoog op basis van hoe goed ze geschreven waren en hoe nuttig de informatie was. Uit deze collectie creëerden ze drie verschillende groepen data: één groep die alleen de hoogste kwaliteit documenten bevatte, een andere met de laagste kwaliteit documenten, en een derde groep die een willekeurige mix van alles was. Voor elk van deze groepen gebruikten ze een apart kunstmatig intelligentiemodel om de tekst te herschrijven in vier verschillende stijlen, zoals een vereenvoudigde versie voor gemakkelijker lezen, een formele encyclopedische stijl, een technische versie en een vraag-en-antwoordformaat. Dit proces genereerde een enorme hoeveelheid nieuwe, synthetische tekst. Ze trainden vervolgens twee verschillende computermodellen — een kleiner en een groter — op deze herschreven datasets om te zien hoe de combinatie van oorspronkelijke kwaliteit en herschrijven het uiteindelijke resultaat beïnvloedde.

De bevindingen onthulden een duidelijk en verrassend patroon dat de hoop dat herschrijven slechte data zou kunnen repareren, uitdaagt. Wanneer de onderzoekers het grotere model gebruikten, fungeerde de herschrijfvorm als een kwaliteitsvermultiplier in plaats van een reparateur van gebreken. Het model dat getraind was op de hoogwaardige documenten die waren herschreven, presteerde aanzienlijk beter dan hetzelfde model dat getraind was op de oorspronkelijke, ongewijzigde hoogwaardige tekst. Echter, toen ze hetzelfde herschrijfproces toepasten op de documenten van lage kwaliteit, was de verbetering nauwelijks merkbaar. De herschreven tekst van lage kwaliteit haalde het niet in bij de herschreven hoogwaardige tekst; in plaats daarvan bleef de kloof tussen hen groot. Dit suggereert dat het herschrijfproces het meest effectief is wanneer het al uitstekend materiaal neemt en dit nog beter maakt, in plaats van te proberen armoedig materiaal te redden. De willekeurige mix van documenten viel precies in het midden, wat aantoont dat het voordeel van herschrijven gestaag groeit naarmate de kwaliteit van de brontekst verbetert.

Dit effect hing echter sterk af van de omvang van het model dat werd getraind. Wanneer de onderzoekers het experiment herhaalden met een veel kleiner model, verdween het duidelijke onderscheid tussen hoge en lage kwaliteit. In deze kleinere setting presteerde de herschreven hoogwaardige tekst niet op een consistente manier beter dan de oorspronkelijke tekst van lage kwaliteit. Het kleinere model leek niet volledig in staat om de complexe structurele veranderingen die door het herschrijven werden geïntroduceerd, te benutten, of het leerde misschien simpelweg beter van de ruwe variëteit van de onbewerkte data. Dit geeft aan dat de kracht van synthetisch herschrijven geen universele regel is, maar een fenomeen dat schaalt met de omvang van het kunstmatige intelligentiesysteem. Voor kleinere modellen biedt de extra complexiteit van de herschreven tekst mogelijk geen voordeel, terwijl voor grotere, meer capabele modellen het herschrijven van hoogwaardige data een krachtig middel wordt om de prestaties te stimuleren.

De studie keek ook naar specifieke soorten taken, zoals het beantwoorden van examenvragen of het begrijpen van sociale mediaberichten, om te zien waar het herschrijven het meest hielp. De verbeteringen waren het meest dramatisch in gebieden die gestructureerde kennis en cultureel begrip vereisen, zoals het beantwoorden van examenvragen of het redeneren door complexe scenario's. In deze gebieden schoot het model dat getraind was op herschreven hoogwaardige data ver vooruit op alle anderen. Interessant genoeg, voor taken die betrekking hebben op algemene kennis, maakte het herschrijven de zaken soms iets slechter, wat suggereert dat het proces af en toe ruis kan introduceren of feiten kan verstoren. Voor sociale media-taken presteerde de oorspronkelijke data van lage kwaliteit verrassend goed op zichzelf, waarschijnlijk omdat de rommelige, informele aard van sociale mediatekst van nature vergelijkbaar is met de onbewerkte webdata waarop de modellen oorspronkelijk zijn getraind.

Uiteindelijk toont het onderzoek aan dat hoewel synthetisch herschrijven een krachtige techniek is, het geen toverstaf is die slechte data in goud kan veranderen. In plaats daarvan functioneert het als een kwaliteitsmultiplier, die de sterke punten van goede data versterkt terwijl de zwaktes van slechte data grotendeels ongemoeid laat. Dit inzicht is essentieel voor ontwikkelaars die werken met talen die minder middelen hebben dan het Engels. Het suggereert dat de meest effectieve strategie is om eerst zorgvuldig de beste beschikbare tekst te selecteren en deze vervolgens te gebruiken om het te verbeteren, in plaats van te vertrouwen op herschrijven om een gebrek aan kwaliteit te compenseren. De resultaten benadrukken ook dat de omvang van het model ertoe doet; wat werkt voor een groot, geavanceerd systeem, werkt mogelijk niet voor een kleiner systeem. Door te verduidelijken hoe datakwaliteit en herschrijven met elkaar interageren, biedt dit werk een duidelijker pad voor het bouwen van betere kunstmatige intelligentiesystemen voor het Portugees en, potentieel, voor andere talen die te maken hebben met soortgelijke beperkingen in middelen.