💬 NLP

Data Mixing for Large Language Models Pretraining: A Survey and Outlook

Dit artikel biedt een uitgebreid overzicht en een gestructureerde taxonomie van methoden voor het optimaliseren van data-mixing tijdens het pretrainen van grote taalmodellen, analyseert hun sterke en zwakke punten, en schetst toekomstige onderzoeksdirectionen om de efficiëntie en generalisatie onder beperkte computercapaciteit te verbeteren.

Oorspronkelijke auteurs: Zhuo Chen, Yuxuan Miao, Supryadi, Deyi Xiong

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhuo Chen, Yuxuan Miao, Supryadi, Deyi Xiong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Data Mixing voor Grote Taalmodellen: Een Verkenning in Gewoon Nederlands

Stel je voor dat je een meesterkok bent die een gigantisch, wereldwijd diner bereidt. Je hebt een enorme voorraadkast vol met ingrediënten: boeken, kranten, code, chats, Wikipedia-artikelen en meer. Je doel is om een culinaire meesterwerk te creëren (een Groot Taalmodel of LLM) dat alles kan koken en begrijpen.

Maar hier is het probleem: je hebt niet onbeperkt tijd of geld om alles te koken. Je moet kiezen wat je in de pot doet. Als je te veel van hetzelfde kookt (bijvoorbeeld alleen maar pizza), wordt je kok een pizza-expert, maar kan hij geen sushi maken. Als je alles door elkaar gooit zonder plan, wordt het een rommelpot.

Dit artikel is een gids voor "Data Mixing": de kunst van het bepalen hoeveel van welk ingrediënt je in je pot doet om het beste resultaat te halen met je beperkte budget.

Hier is de samenvatting, vertaald naar alledaagse taal:

1. Het Grote Doel: De Perfecte Receptuur

Vroeger deden kokken dit door "proberen en fouten maken" (trial-and-error). Ze gooiden wat meer kruiden toe, proefden, en hoopten dat het lekker werd. Dat kostte echter enorm veel tijd en geld.

De nieuwe wetenschap van Data Mixing zegt: "Nee, laten we dit slim aanpakken." We willen niet zomaar willekeurig kiezen, maar een optimale verhouding vinden. Het artikel legt uit hoe we dit probleem wiskundig kunnen oplossen, alsof we een recept zoeken dat de perfecte balans geeft tussen smaak (prestatie) en kosten (rekenkracht).

2. De Twee Grote Stijlen: Statisch vs. Dynamisch

De auteurs verdelen alle methoden in twee hoofdcategorieën, net zoals je kunt kiezen tussen een vast menu of een chef die live kookt:

Statisch (Het Vaste Menu):
Je bepaalt voor je begint precies hoeveel kip, vis en groente je gebruikt. Dit mengsel blijft de hele kooksessie hetzelfde.
- Regelgebaseerd: Je volgt simpele regels, zoals "gebruik evenveel van alles" of "gebruik meer van de dure ingrediënten". Dit is goedkoop en snel, maar misschien niet perfect.
- Leerend: Je laat een kleine, slimme kok (een "proxy-model") eerst een proefmenu maken. Die proefkok leert wat werkt, en jij past dat recept toe op je grote diner. Dit werkt beter, maar kost meer tijd om de proefkok te trainen.
Dynamisch (De Live Chef):
Je bepaalt niet alles van tevoren. Je kijkt tijdens het koken naar hoe het gaat.
- Adaptief: De chef proeft de soep en zegt: "Oh, het is te zout, minder zout toevoegen!" of "Het mist pit, meer kruiden!" De verhoudingen veranderen continu op basis van wat het model op dat moment nodig heeft.
- Extern Gestuurd: Je hebt een "sous-chef" (een controller) die de grote chef observeert en zegt: "Volgende uur doen we meer vis, want de vis is nu het belangrijkst." Dit is slimmer, maar de sous-chef kost ook extra energie.

3. De Uitdagingen: Waarom is dit zo moeilijk?

Het artikel benoemt drie grote struikelblokken die onderzoekers nog moeten oplossen:

Het "Niet-overdraagbare" Recept:
Een recept dat perfect werkt voor een Italiaans diner (een bepaald model) werkt misschien niet voor een Aziatisch diner (een ander model). Als je de grootte van je pan verandert of een ander type fornuis gebruikt, moet je vaak helemaal opnieuw beginnen met zoeken naar de juiste verhoudingen. Het is lastig om één "universeel recept" te vinden dat voor iedereen werkt.
Geen Eenduidige Proef:
Hoe weet je of een recept echt goed is? Sommige koks gebruiken een proefpaneel van 5 mensen, anderen van 500. Sommigen testen op smaak, anderen op presentatie. Zolang we niet allemaal op dezelfde manier proeven en meten, kunnen we niet goed vergelijken wie de beste methode heeft.
De Balans tussen Smaak en Kosten:
De allerbeste methoden (die de perfecte verhouding vinden) zijn vaak heel duur en complex om uit te voeren. De goedkope methoden zijn makkelijk, maar leveren minder smaak op. De kunst is om een middenweg te vinden: een recept dat bijna perfect smaakt, maar niet je hele spaarrekening kost.

4. De Toekomst: Waar gaan we heen?

De auteurs kijken naar de horizon en zien drie spannende richtingen:

Fijnmaziger Kiezen: In plaats van alleen te kiezen tussen "groente" en "vlees", kunnen we misschien kiezen tussen "spinazie" en "boerenkool". Als we de data nog fijner indelen (bijvoorbeeld per onderwerp in plaats van per bron), kunnen we nog preciezer koken.
Het Recept Omkeren (Inverse Design): Stel je voor dat je een beroemd gerecht proeft en probeert te raden welke ingrediënten de chef heeft gebruikt. Dit is een nieuwe manier om te kijken: in plaats van zelf een recept te bedenken, proberen we te achterhalen welke recepten de beste chefs (bekende AI-modellen) al hebben gebruikt, zodat we daarvan kunnen leren.
Het Hele Diner Plannen: Nu kijken we vaak alleen naar één gerecht (bijvoorbeeld het voorgerecht). In de toekomst moeten we kijken naar het hele diner (voorgerecht, hoofdgerecht, toetje). De verhoudingen in het begin moeten helpen bij het eindresultaat. Alles moet op elkaar zijn afgestemd.

Conclusie

Kortom: dit artikel is een groot overzicht van hoe we de "ingrediënten" van AI-modellen slim kunnen mengen. Het vertelt ons dat we weg moeten van het willekeurige gooien van data, en moeten gaan naar slimme, leerzame systemen. Maar het waarschuwt ook: er is nog geen perfecte oplossing. Het is een voortdurende zoektocht naar de balans tussen een super-smakelijk resultaat en een betaalbaar diner.

Het is alsof we de wetenschap van het koken voor robots aan het schrijven zijn, en we zijn nog net niet klaar met het vinden van het ultieme recept.

Probleemstelling

Grote Taalmodellen (LLMs) zijn afhankelijk van pretraining op enorme en heterogene corpora. De samenstelling van deze trainingsdata heeft een beslissende invloed op de trainings-efficiëntie en de generalisatievermogen van het model, vooral onder beperkte rekenkracht- en databudgetten.
Terwijl data selectie zich richt op het filteren van individuele voorbeelden (sample-level), richt data mixing zich op het optimaliseren van de bemonsteringsgewichten op domeinniveau (bijv. Wikipedia, code, nieuws). Het doel is om een optimale verdeling van het beschikbare budget over deze domeinen te vinden zodat de prestaties van het model worden gemaximaliseerd zonder de kosten te verhogen. Bestaande methoden zijn vaak versnipperd, gebaseerd op trial-and-error, of ontbreken een systematisch overzicht.

Methodologie en Formulering

Het artikel formaliseert data mixing als een bilevel optimalisatieprobleem op het waarschijnlijkheidssimplex:

Buitenste niveau (Outer level): Zoek een gewichtsvector $k$ (de data mix) die de evaluatieverlies $L_{val}$ minimaliseert.
Binnenste niveau (Inner level): Het trainen van het modelparameters $\theta(k)$ onder de gegeven mix $k$ .

Omdat het direct oplossen van dit bilevel-probleem onpraktisch is voor grote LLMs, worden bestaande methoden benaderd als tractabele oplossingen die de buitenste of binnenste niveaus vereenvoudigen. De auteurs introduceren een fijnmazige taxonomie die methoden indeelt op twee hoofddimensies: Statisch vs. Dynamisch en Regelgebaseerd vs. Leer-gebaseerd.

1. Statische Mixing

De data mix wordt vastgesteld voordat de training begint en blijft ongewijzigd.

Regelgebaseerd (Rule-Based):
- Gebruikt heuristieken zoals uniforme bemonstering, evenredige bemonstering (proportioneel aan datavolume), of temperatuur-gestuurde bemonstering (aanpassing van de verdelingsvorm).
- Voorbeelden: UniMax, UtiliMax, MEDU.
- Voordelen: Zeer lage kosten, interpreteerbaar.
- Nadelen: Vaak suboptimaal, vereist handmatige tuning.
Leer-gebaseerd (Learning-Based):
- Gebruikt proxy-modellen (kleinere versies van het doelmodel) of voorspellingsmodellen om de optimale mix te leren.
- Proxy-optimalisatie: Optimaliseert de mix op een proxy-model en transferreert deze naar het hoofdmodel (bijv. DoReMi voor robuustheid, DoGE voor generalisatie).
- Voorspellingsgebaseerd: Modelleert de relatie tussen mix en prestaties als een functie (expliciet of impliciet).
  - Expliciet: Gebruikt wiskundige formules (bijv. Data Mixing Scaling Laws, AutoScale) om de verliescurve te voorspellen.
  - Impliciet: Gebruikt regressiemodellen (bijv. RegMix, MixMin) of Bayesiaanse optimalisatie (ADMIRE) om de relatie te leren zonder een expliciete formule.

2. Dynamische Mixing

De data mix wordt tijdens de training aangepast op basis van feedback van het model.

Adaptief: Gebruikt interne signalen van het trainingsproces (zoals verlies, gradiënten of leersnelheid) om de mix direct aan te passen.
- Voorbeelden: ODM (Multi-armed bandit), ADO (gebaseerd op schaalwetten), Velocitune en GRAPE (focus op traag lerende domeinen), PiKE (gebaseerd op gradiëntnormen).
- Voordelen: Lichtgewicht, geen extra proxy-modellen nodig.
Extern Gestuurd: Gebruikt een externe controller (vaak Reinforcement Learning) om de mix te bepalen op basis van trainingsfeedback.
- Voorbeelden: AC-ODM, Data Mixing Agent, TiKMiX.
- Voordelen: Kan complexere optimalisatiestrategieën toepassen en langere-termijn feedback integreren.

Belangrijkste Bijdragen

Unificerende Formulering: Het artikel biedt een gestandaardiseerde wiskundige formulering van data mixing als een bilevel-optimalisatieprobleem, wat een gemeenschappelijke taal biedt voor verschillende methoden.
Gedetailleerde Taxonomie: Een nieuwe, fijnmazige classificatie die statische en dynamische methoden verder onderverdeelt in regelgebaseerde, proxy-geoptimaliseerde, voorspellingsgebaseerde en adaptief/extern-gestuurde benaderingen.
Prestatie-Kosten Analyse: Het analyseert elke methode vanuit het perspectief van de afweging tussen prestatieverbetering en de extra rekenkosten (overhead) die de methode introduceert.
Identificatie van Uitdagingen: Het schetst de huidige beperkingen, waaronder:
- Beperkte Transferbaarheid: Methodes werken vaak goed in één setting maar falen bij veranderingen in modelarchitectuur, domeinen of validatiedata.
- Gebrek aan Standaardisatie: Er zijn geen uniforme evaluatieprotocollen of benchmarks, wat vergelijking tussen studies bemoeilijkt.
- Theoretische Leemtes: Er ontbreekt een stevige theoretische basis om te verklaren waarom bepaalde mixes werken en hoe ze systematisch afgeleid moeten worden.
Toekomstperspectieven: Het stelt nieuwe onderzoeksrichtingen voor, zoals:
- Finer-Grained Mixing: Verschuiving van domeinniveau naar steekproefniveau of tussenliggende granulariteiten.
- Inverse Data Mixing: Het afleiden van de gebruikte data-mix van een getraind model (bijv. via tokenizer-merge lijsten).
- Pipeline-Aware Mixing: Het coördineren van data mixing over de volledige trainingspijplijn (pretraining, SFT, DPO) in plaats van per fase geïsoleerd.

Resultaten en Analyse

De survey concludeert dat er geen "one-size-fits-all" oplossing bestaat.

Regelgebaseerde methoden blijven de standaard voor lage kosten en robuustheid, maar bereiken zelden het optimum.
Leer-gebaseerde methoden (zowel statisch als dynamisch) kunnen aanzienlijk betere prestaties leveren, maar introduceren vaak een significantere kostenlast (door proxy-training of complexe controllers) en hebben last van transferproblemen.
Dynamische methoden bieden meer flexibiliteit om in te spelen op veranderende behoeften tijdens de training, maar vereisen zorgvuldige implementatie om de overhead laag te houden.

Significantie

Dit artikel is een mijlpaal voor het onderzoeksveld omdat het voor het eerst een systematisch overzicht biedt van data mixing voor LLMs. Het verschuift de focus van heuristische trial-and-error naar een gestructureerde, theoretisch onderbouwde benadering. Door de uitdagingen rond transferbaarheid, standaardisatie en de kosten-prestatie afweging helder te schetsen, biedt het een blauwdruk voor toekomstig onderzoek. Het pleit voor de ontwikkeling van pipeline-bewuste, theorie-gedreven methoden en gestandaardiseerde benchmarks om de efficiëntie van LLM-pretraining verder te optimaliseren.