Synthetic Rewriting as a Quality Multiplier: Evidence from Portuguese Continued Pretraining

Probleemstelling

Grote Taalmodellen (LLMs) hebben aanzienlijke prestatieverbeteringen geboekt, maar deze vooruitgang is ongelijk verdeeld over talen. Voor niet-Engelse talen, zoals Portugees, zijn hoogwaardige, grote corpora schaars. Het trainen van modellen vanaf nul is vaak onpraktisch; daarom is "continued pretraining" (vervolgpretraining) op bestaande Engelstalige basismodellen een veelgebruikte strategie.

Een recente trend is het gebruik van synthetische data door bestaande documenten te herschrijven (rewriting) om de trainingsdata te verrijken. Echter, de meeste studies focussen op het Engels en controleren niet systematisch voor de kwaliteit van de brondata. De centrale vraag van dit onderzoek is: Kan het herschrijven van data de kwaliteit van de oorspronkelijke bron compenseren, of werkt synthetisch herschrijven vooral als een versterker van al bestaande hoge kwaliteit?

Methodologie

De auteurs hebben een gecontroleerde studie uitgevoerd met de volgende opzet:

1. Data Bron en Selectie:

   • Gebruikmakend van ClassiCC-PT, een Portugees corpus van ~120 miljard tokens met continue STEM- en Educatieve kwaliteitscores (0-5).
   • Er werden twee subsets van elk 10 miljard tokens geselecteerd:
     • Hoge kwaliteit: Scores > 2.5.
     • Lage kwaliteit: Scores tussen 0.5 en 2.0.

2. Synthetisch Herschrijven:

   • Elk document in beide subsets werd herschreven met een instructie-getraind model van 7B parameters (Qwen-2.5-7B).
   • Er werden vier stijlen gegenereerd per document:
     • Easy: Vereenvoudiging (lagere leesbaarheid).
     • Medium: Encyclopedische stijl (Wikipedia-achtig).
     • Hard: Technisch en formeel.
     • QA: Vraag-antwoord formaat.
   • Dit resulteerde in ongeveer 30 miljard synthetische tokens per subset, gecombineerd met de originele 10 miljard tokens (totaal ~40 miljard tokens per conditie).

3. Modellen en Training:

   • Twee Engelstalige basismodellen werden verder getraind:
     • Een 1.1B-parameter model (afgeleid van TinyLLaMA).
     • Een 7B-parameter model (afgeleid van LLaMA-2).
   • De training werd uitgevoerd onder strikte compute-budgetten, waarbij de niet-herschreven condities de originele data meerdere keren herhaalden om een gelijke token-aantal te bereiken als de herschreven condities.

4. Evaluatie:

   • Alle modellen werden getest op PoETa V2, een uitgebreid Portugees benchmark met 44 taken (taalkundig en redenerend).
   • Prestaties werden gemeten met de Normalized Performance Metric (NPM).

Belangrijkste Resultaten

De resultaten tonen een sterke interactie tussen datakwaliteit, herschrijven en modelgrootte:

1. Schaal 7B (LLaMA-2 base):

• Hoge kwaliteit + Herschrijven: Leverde de beste prestaties op (+3.4 NPM ten opzichte van onbewerkte hoge kwaliteit data). De curve bleef stijgen tot 30B tokens, wat suggereert dat deze data langer leerbaar is.
• Lage kwaliteit + Herschrijven: Leverde slechts een marginale verbetering (+0.5 NPM) ten opzichte van onbewerkte lage kwaliteit data.
• Conclusie: Herschrijven werkt als een kwaliteitsvermenigvuldiger. Het verbetert goede data aanzienlijk, maar kan slechte data niet effectief repareren.
• Categorie-effecten: De verbetering was het grootst bij taken die kennis vereisen (examens, Braziliaanse specifieke taken). Bij "General Knowledge" kon herschrijven zelfs licht negatief werken (vervorming van feiten).

2. Schaal 1.1B (TinyLLaMA base):

• Het effect van herschrijven was hier veel zwakker en minder consistent.
• Onbewerkte lage kwaliteit data presteerde vergelijkbaar met herschreven hoge kwaliteit data.
• Dit suggereert dat kleinere modellen mogelijk niet genoeg capaciteit hebben om de complexe structurele transformaties van het herschrijven te benutten, of dat de pure diversiteit van ruwe webdata op deze schaal een sterker leersignaal biedt.

Kernbijdragen

1. Kwaliteit als Multiplier: Het bewijs dat synthetisch herschrijven voornamelijk werkt als een versterker van al bestaande hoogwaardige data, en niet als een vervanging voor data-curatie. Het kan lage kwaliteit data niet systematisch "redden".
2. Schaalafhankelijkheid: Het effect van synthetische rewriting is sterk afhankelijk van de modelgrootte. Bij 7B parameters is het effect duidelijk en significant; bij 1.1B parameters is het verwaarloosbaar of inconsistent.
3. Gestuurde Experimenten: De studie isoleert voor het eerst systematisch de interactie tussen bronkwaliteit en herschrijving voor het Portugees, gebruikmakend van een gecontroleerde token-begroting.

Significantie en Implicaties

De bevindingen hebben belangrijke gevolgen voor de ontwikkeling van LLM's voor lage-resourcetalen:

• Data Curation is cruciaal: Het is inefficiënt om synthetische rewriting toe te passen op slechte data. Eerst moet er zorgvuldig worden geselecteerd op hoge kwaliteit.
• Optimale Strategie: De meest effectieve aanpak is het combineren van strikte data-selectie (curatie) met synthetische rewriting om de waarde van die geselecteerde data te maximaliseren.
• Richting voor Toekomst: Voor kleinere modellen (onder de 7B parameters) kan het simpelweg trainen op diverse, ruwe data effectiever zijn dan het investeren in complexe rewriting-pipelines.

Kortom, synthetische rewriting is een krachtig gereedschap, maar alleen als het wordt toegepast op een stevige basis van hoogwaardige data en binnen een modelgrootte die complexiteit aankan.