💬 NLP

UltraX: Refining Pre-Training Data at Scale with Adaptive Programmatic Editing

UltraX is een function-calling framework dat de verfijning van grootschalige pre-training data verbetert door adaptieve programmatische bewerking met invoeg-, verwijder- en wijzigingsmogelijkheden te introduceren, waardoor de efficiëntie- en betrouwbaarheidsbeperkingen van bestaande op regels gebaseerde en op LLM gebaseerde benaderingen worden overwonnen om superieure data-efficiëntie en modelprestaties te bereiken.

Oorspronkelijke auteurs: Xinlong Zhao, Dongsheng Liu, Hengyu Zhao, Zixuan Fu, Zheng Wang, Jie Cai, Jie Zhou, Qiang Ma, Xuanhe Zhou, Xu Han, Yudong Wang, Zhiyuan Liu

Gepubliceerd 2026-07-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xinlong Zhao, Dongsheng Liu, Hengyu Zhao, Zixuan Fu, Zheng Wang, Jie Cai, Jie Zhou, Qiang Ma, Xuanhe Zhou, Xu Han, Yudong Wang, Zhiyuan Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren hoe hij menselijk moet spreken. Lange tijd was het geheime ingrediënt simpelweg meer data. Je wierp een berg boeken, websites en artikelen op de robot in de hoop dat hij alles zou leren door pure omvang. Maar nu zijn we tegen een muur gelopen. We hebben bijna elk bruikbaar stukje tekst van het internet afgeschraapt. De "meer is beter"-regel begint te vervagen, zoals een batterij die leegloopt.

Dus, wat doen we? We stoppen met verzamelen en beginnen met schoonmaken.

Maak kennis met UltraX, een nieuwe tool ontworpen om te fungeren als een microscopische, supersnelle redacteur voor de trainingsboeken van de robot. Maar hier komt de twist: in plaats van alleen slechte zinnen te verwijderen of hele paragrafen te herschrijven (wat traag en riskant is), gebruikt UltraX een slimme truc genaamd function calling.

De "Lego-meester" versus de "Sloopploeg"

De oude manieren van data schoonmaken lijken op een sloopploeg.

Regelgebaseerde methoden zijn als arbeiders met een hamer en een checklist. Ze slaan alles kapot dat op een advertentie of een vreemd symbool lijkt. Maar ze zijn onhandig; soms slopen ze een prachtig beeldhouwwerk (waardevolle informatie) alleen maar omdat het een beetje op een stapel bakstenen leek.
Grote AI-redacteuren zijn als kunstenaars die het hele verhaal herschrijven om het perfect te maken. Maar ze zijn traag, duur en soms veranderen ze het plot zo erg dat het verhaal niet meer logisch is.

UltraX is anders. Het is als een Lego-meester met een specifieke set gereedschappen. In plaats van het hele boek te herschrijven, geeft het de robot een kleine instructielijst:

Verwijder deze specifie specifieke regel rommel (zoals een advertentie).
Vervang deze vreemde typfout door het juiste woord.
Voeg een ontbrekend stukje informatie toe dat verloren is gegaan in de chaos.

Het artikel betoogt expliciet tegen het idee dat je hele teksten moet herschrijven om ze te repareren. Het laat zien dat alleen dingen verwijderen (zoals andere tools doen) niet genoeg is, omdat je per ongeluk goede zaken weg kunt gooien. Het stelt ook dat het genereren van hele nieuwe paragrafen te traag en onbetrouwbaar is voor de enorme schaal van data die nodig is om deze robots te trainen. UltraX bewijst dat precieze, chirurgische bewerkingen de sleutel zijn.

Hoe het werkt: Het "Recept" en de "Chef"

Het proces vindt plaats in twee hoofdakten:

Akte 1: De Training (De Chef leren koken)
Eerst moesten de onderzoekers hun kleine "verfijn"-model leren hoe het een goede redacteur kon zijn. Ze gokten het niet zomaar; ze gebruikten een "slimme chef" (een krachtige AI) om perfecte, schone versies van rommelige webpagina's te schrijven. Vervolgens gebruikten ze een speciale mapping-truc om die schone versies om te zetten in een recept van instructies (zoals "verwijder regel 5", "corrigeer woord 12"). Ze filterden de verwarrende recepten eruit en leerden hun kleine model om deze instructies perfect op te volgen.

Akte 2: De Schoonmaak (De Opschaling)
Nu nemen ze deze getrainde "verfijner" en laten ze los op miljarden webpagina's. Het leest een tekstblok, voorspelt de exacte lijst met Lego-zetten die nodig zijn om het te repareren, en een computerprogramma voert die zetten direct uit. Omdat het model alleen een korte lijst met commando's hoeft te produceren (zoals "verwijder regel 3") in plaats van een heel nieuw verhaal te schrijven, is het ongelooflijk snel en raakt het niet vermoeid.

De Resultaten: Sneller, Slimmer en Efficiënter

De onderzoekers testten dit door een robot met 1 miljard parameters vanaf nul te trainen met verschillende soorten schoongemaakte data. Dit is wat ze vonden:

Betere Scores: Op een test van 10 verschillende vaardigheden (zoals het beantwoorden van wetenschappelijke vragen of het begrijpen van grappen) scoorde de robot die getraind was met UltraX-data hoger dan robots die getraind waren met ruwe data of data schoongemaakt door andere methoden. Sterker nog, UltraX was de beste presteerder op alle vijf de verschillende soorten internetdata die ze probeerden.
De "2%" Boost: Op verschillende datasets gaf UltraX een relatieve verbetering van meer dan 2%. In de wereld van AI is dat een enorme sprong.
Meer doen met minder: Dit is het coolste deel. De met UltraX getrainde robot bereikte hetzelfde hoge prestatieniveau met minder trainingstokens (minder woorden) dan de anderen. Dit suggereert dat UltraX de data "dichter" maakt met nuttige informatie, waardoor de robot sneller leert.

Wat ze niet deden (En waar ze niet zeker van zijn)

Het is belangrijk om de beperkingen van dit verhaal te kennen. Het paper beweert niet dat dit alles voor altijd oplost.

Ze hebben dit alleen getest op Engelse webdata. Ze geven toe dat ze dit nog niet hebben geprobeerd op Chinees of andere talen, waarbij de "ruis" er totaal anders uit kan zien.
Ze trainden een model met 1 miljard parameters. Ze hebben nog niet bewezen of dit op precies dezelfde manier werkt bij de enorme, biljoenen-parameter modellen die binnenkort komen.
Ze suggereren dat de winst komt door het balanceren van ruisverwijdering met het behoud van goede informatie, maar ze beweren geen perfecte formule te hebben voor elk type internetrommel.

De Kern van het Verhaal

UltraX suggereert dat de toekomst van het trainen van AI niet gaat over het vinden van meer data, maar over slimmer omgaan met de data die we al hebben. Door een precieze, instructiegebaseerde aanpak te gebruiken die specifieke delen van tekst kan verwijderen, herstellen en invoegen, ruimt het de bibliotheek van de robot sneller en beter op dan de oude methoden. Het is een verschuiving van "alles tegen de muur gooien" naar "chirurgisch het afval verwijderen", en de resultaten laten zien dat een beetje slim schoonmaken een heel eind komt.

Technische Samenvatting: UltraX

Probleemstelling

Naarmate de fysieke limiet van beschikbare trainingsdata wordt benaderd, nemen de prestatiewinsten die voortvloeien uit Scaling Laws af. Als gevolg hiervan is de focus voor het verbeteren van Large Language Models (LLM's) verschoven van loutere data-expansie naar het verbeteren van de efficiëntie van datagebruik door middel van hogere kwaliteit data. Echter, bestaande verfijningsmethodologieën voor grootschalige corpora kampen met aanzienlijke beperkingen:

Regelgebaseerde benaderingen worden beperkt door vaste heuristieken, hebben moeite met variaties op instantieniveau en wijzen vaak documenten af die nog steeds waardevolle informatie bevatten.
Modelgebaseerde benaderingen (inclusclusief LLM-gebaseerde end-to-end verfijning) brengen vaak substantiële computationele kosten met zich mee, lijden onder een lage doorvoer en hebben moeite om te schalen naar pre-training corpora. Bovendien kan end-to-end generatie in long-context scenario's leiden tot semantische fragmentatie en structurele inconsistenties door problemen bij het afbakenen van segmentatiepunten.
Bestaande programmatische verfijningsmethoden (bijv. ProX, RefineX) vertonen een onvolledige functieruimte (gebrek aan insertie-mogelijkheden), vertrouwen op onbetrouwbare seed-supervisie en kampen met uitvoeringsproblemen zoals dubbele string-matching en interferentie tussen opeenvolgende operaties.

De kernuitdaging is hoe men de voordelen van modelgestuurde, fijnmazige verfijning kan behouden terwijl men dit proces betrouwbaar en efficiënt kan schalen naar grote pre-training corpora met een hoge stabiliteit.

Methodologie

UltraX is een function-calling verfijningsframework dat deze uitdagingen aanpakt via een tweestaps workflow: Refinement Model Constructie en Programmatische Executie op Schaal.

1. Taakdefinitie en Functieruimte Ontwerp

UltraX formuleert dataverfijning als een programmatisch teksttransformatieproces. In plaats van direct tekst te genereren, voorspelt een lichtgewicht model een gestructureerde sequentie van functie-aanroepen ( $Z$ ) die een deterministische executor toepast op het originele document ( $d$ ) om het verfijnde document ( $\hat{d}$ ) te produceren.

Om de beperkingen van eerder werk te overwinnen, introduceert UltraX een volledige bewerkingsfunctieruimte ( $\Omega$ ) die het volgende bevat:

Verwijdering (Deletion): remove_lines (voor ruis zoals advertenties, navigatie, templates) en remove_all (voor waardeloze documenten).
Modificatie (Modification): replace_str (voor gelokaliseerde string-vervanging, bijv. het herstellen van HTML-restanten of inline ruis).
Insertie (Insertion): add_line (om ontbrekende structuur aan te vullen of semantische inhoud te herstellen).
Preservatie (Preservation): keep_all (voor documenten die geen wijzigingen vereisen).

Cruciaal is dat operaties worden verankerd door lijnnummers en lokale strings in plaats van ruwe karakterindices, wat executie door lichtgewicht modellen vergemakkelijkt en tegelijkert je controleerbaarheid garandeert.

2. Program-Supervisie Generatie Pipeline

Om het verfijningsmodel te trainen, construeert UltraX een betrouwbare seed-supervisie pipeline:

Dataset-Adaptieve Prompt Optimalisatie: Een automatische agent profileert de ruispatronen en contenttypes van elk dataset, en optimaliseert iteratief prompts om een expert LLM (DeepSeek-V3.2) te begeleiden bij het produceren van hoogwaardige end-to-end verfijnde teksten.
Hiërarchische Tekst-naar-Operatie Mapping:
- Lijn-Alignment Mapping: Lijn de originele en verfijnde regels uit op basis van inhoud, context en positie om verwijderingen, inserties en modificaties te identificeren.
- Dynamische Context Vervanging: Analyseert intra-line edit spans en breidt de omliggende context dynamisch uit om edits om te zetten in uniek lokaliseerbare replace_str operaties, om ambiguïteit door herhaalde substrings te voorkomen.
Filtering en Sampling: Voorbeelden met een lage betrouwbaarheid (bijv. excessieve operaties, overly lange inserties) worden gefilterd. De trainingsdata wordt geconstrueerd met behulp van ratio-gecontroleerde sampling op basis van operatie-combinatietypes om de trainingsdistributie te stabiliseren.

3. Grootschalige Executie Pipeline

Tijdens de inferentie verwerkt UltraX grootschalige corpora via:

Segment-gewijze Voorspelling: Documenten worden opgesplitst in sliding windows (met overlap) om lengtebeperkingen te hanteren. Het model voorspelt operatiesequenties voor elk segment.
Operatie Aggregatie: Lokale operaties worden teruggekaart naar een globale lijnnummer-ruimte. Overlappende regio's worden afgehandeld door het voorgaande venster om dubbele wijzigingen te voorkomen.
Systematische Post-verwerking: De pipeline bevat filtering van ambigue vervangingen, het samenvoegen van aangrenzende/interfererende operaties op dezelfde regel, en detectie van repetitieve patronen (bijv. cyclische inserties) om de stabiliteit van de executie te waarborgen.
Deterministische Executie: Een deterministische executor past het gevalideerde programma toe op de originele tekst, wat traceerbaarheid en reproduceerbaarheid garandeert.

Belangrijkste Bijdragen

UltraX Framework: Een function-calling verfijningsframework dat insertie introduceert naast verwijdering en modificatie, waardoor de bewerkingsfunctieruimte wordt voltooid voor fijnmazige editing op instantieniveau.
Betrouwbare Supervisie Pipeline: Een hiërarchisch tekst-naar-operatie mappingsysteem dat gebruikmaakt van dataset-adaptieve prompt optimalisatie, Lijn-Alignment Mapping en Dynamische Context Vervanging om end-to-end verfijnde teksten om te zetten in gestructureerde programmatische supervisie.
Robuust Executiemechanisme: Een grootschalige executiepipeline met sliding-window voorspelling, globale operatie aggregatie en systematische post-verwerking (inclusief detectie van dubbele patronen) om modeloutputs te normaliseren en te valideren.
Empirische Validatie: Uitgebreide experimenten die aantonen dat UltraX de downstream prestaties over meerdere heterogene corpora verbetert, terwijl het een superieure datagebruiksefficiëntie bereikt.

Experimentele Resultaten

De auteurs voerden vanaf nul pre-training experimenten uit met een 1B-parameter MiniCPM model op vijf corpora: FineWeb, RedPajama-V2, AICC, Ultra-Fineweb, en FineWeb-ProX-Doc.

Prestatiewinsten: UltraX behaalde de hoogste gemiddelde prestaties over alle vijf de corpora. Op meerdere datasets toonde het relatieve verbeteringen van meer dan 2% ten opzien van de ruwe data en de ProX-C baseline.
Datagebruiksefficiëntie: UltraX kwam overeen met of overtrof baseline methoden met minder trainings-tokens. Bijvoorbeeld, op FineWeb behaalde UltraX met 16B tokens een hogere gemiddelde score (45.49) dan de 20B-token baselines (Raw: 45.08, ProX-C: 45.05).
Verfijningskwaliteit: Analyse van 80K gesamplede documenten toonde aan dat UltraX een hogere gemiddelde kwaliteitsscore behaalde (9.60 vs. 9.17 voor ProX-C) en een significant lager percentage laag-score samples (0.38% vs. 2.59%). Het demonstreerde superieure prestaties in ruisverwijdering, behoud van inhoud en format-integriteit.
Token Distributie: In tegen tegenstelling tot agressieve verwijderingsmethoden die het aantal tokens drastisch verminderen, behoudt UltraX meer niet-lege documenten en nuttige inhoud, waarbij een balans wordt gevonden tussen ruisverwijdering en informatiebehoud.

Betekenis en Claims

Het artikel claimt dat UltraX een efficiënte, betrouwbare en schaalbare aanpak biedt om de kwaliteit van pre-training data te verbeteren. Door de verschuiving van end-to-end tekstgeneratie naar gestructureerde functie-aanroepen, overwint UltraX de efficiëntie-bottlenecks van LLM-gebaseerde verfijning terwijl het de rigiditeit van regelgebaseerde methoden vermijdt.

De auteurs benadrukken dat de prestatiewinsten niet voortkomen uit simpelweg meer inhoud verwijderen, maar uit fijnmazige, instantie-specifieke programmatische verfijning die een betere balans vindt tussen ruisverwijdering en het behoud van waardevolle trainingssignalen. Het framework slaagt erin function-calling verfijning te schalen naar grote pre-training corpora, wat een levensvatbaar pad biedt om de prestaties van LLM's te verbeteren nu de data scaling laws beginnen af te vlakken.

Het artikel erkent bescheiden de beperkingen, waarbij wordt opgemerkt dat experimenten zijn uitgevoerd onder beperkte token-budgetten en model-schalen, en dat de huidige focus ligt op Engelse web-corpora. Toekomstig werk wordt gesuggereerd voor meertalige settings, modelcompressie en gespecialiseerde refiners voor specifieke data-pathologieën.