💬 NLP

Always Learning, Always Mixing: Efficient and Simple Data Mixing All The Time

Het artikel introduceert OP-Mix, een geünificeerd en efficiënt algoritme voor datamixing dat interpolatie van low-rank adapters gebruikt om kandidaat-mixtures te simuleren gedurende de volledige levenscyclus van het trainen van taalmodellen, waarmee een bijna optimale prestatie wordt bereikt met aanzienlijk minder rekenkracht dan bestaande fase-specifieke methoden.

Oorspronkelijke auteurs: Michael Y. Hu, Apurva Gandhi, Kyunghyun Cho, Tal Linzen, Pratyusha Sharma

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michael Y. Hu, Apurva Gandhi, Kyunghyun Cho, Tal Linzen, Pratyusha Sharma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die probeert de perfecte soep te maken. Je hebt een voorraadkast vol met verschillende ingrediënten: sommige zijn pittig, sommige zoet, sommige aards en sommige zuur. Het doel is om precies uit te zoeken hoeveel van elk ingrediënt je moet mengen om de lekkerste soep te maken.

In de wereld van Kunstmatige Intelligentie (specifiek Large Language Models) zijn deze "ingrediënten" verschillende soorten data (zoals wiskundeproblemen, Reddit-posts of medische artikelen). De "soep" is het AI-model. Het proces van beslissen hoeveel van elk datatype je moet gebruiken, heet Data Mixing.

Het Probleem: De Oude Manier is Traag en Star

Traditioneel was het uitzoeken van de juiste mix als het proberen van een miljoen verschillende versies van de soep in een klein proefkeuken voordat je je vastlegde op de grote pot.

Het Proxy-probleem: Onderzoekers trainden kleine, goedkope "testmodellen" (proxies) op verschillende mixes om te raden welke het beste zou werken voor het enorme, dure model. Maar deze kleine modellen gedroegen zich vaak anders dan het grote model, wat leidde tot slechte voorspellingen.
Het "Eenmalige" Probleem: De meeste methoden werkten alleen voor de eerste trainingsfase (pretraining). Zodra het model klaar was met het leren van de basis en nieuwe vaardigheden moest leren (zoals het beantwoorden van vragen), werkten de oude mengrecepten niet meer. Als er nieuwe data arriveerde (zoals een nieuwe dataset met medische dossiers), kon je deze niet eenvoudig aan de mix toevoegen zonder opnieuw te beginnen of te vergeten wat je al wist.

De Oplossing: OP-MIX (On-Policy Mix)

De auteurs introduceren OP-MIX, een nieuwe methode die werkt als een "slimme proever" die gedurende het hele leven van de AI werkt, vanaf de eerste dag van leren tot de laatste polijsting.

Hier is hoe OP-MIX werkt, met behulp van een creatieve analogie:

1. De "LoRA" Proevers (De Mini-chefs)

In plaats van een hele nieuwe proefkeuken (een apart proxy-model) te bouwen voor elk nieuw ingrediënt, gebruikt OP-MIX iets dat LoRA (Low-Rank Adaptation) heet.

De Analogie: Stel je voor dat je een meesterchef hebt (het hoofd-AI-model). Als je een nieuw ingrediënt wilt testen (een nieuwe dataset), huur je niet een heel nieuw restaurant. In plaats daarvan geef je de meesterchef een klein, lichtgewicht schort (de LoRA-adapter) dat hen leert precies hoe ze met dat specifieke nieuwe ingrediënt om moeten gaan.
Het Voordeel: Deze schorten zijn ongelooflijk goedkoop en snel te maken. Ze blijven "on-policy", wat betekent dat ze direct gekoppeld zijn aan de huidige stijl van de meesterchef, zodat ze een veel nauwkeurigere voorspelling geven van hoe de uiteindelijke soep zal smaken.

2. De "Blending"-Truc (Interpolatie)

Zodra de chef deze kleine schorten voor verschillende ingrediënten heeft, hoeft OP-MIX de soep niet echt te koken om te zien wat er gebeurt.

De Analogie: Stel je voor dat je een magische blender hebt. Je kunt het "smaakprofiel" van het schort voor "Wiskunde" en het "smaakprofiel" van het schort voor "Geschiedenis" wiskundig mengen in verschillende verhoudingen (bijvoorbeeld 30% Wiskunde, 70% Geschiedenis).
De Magie: Door een fenomeen genaamd Linear Mode Connectivity (een ingewikkelde manier om te zeggen dat deze modellen soepel mengen zonder te breken), kan de AI de prestaties van een 50/50-mix voorspellen door gewoon de twee schorten wiskundig te middelen. Het is als het voorspellen van de smaak van een nieuwe cocktail door de smaakprofielen van de twee sterke dranken wiskundig te mengen, zonder echt een drankje te schenken.

3. De "Continu" Keuken (Altijd Leren)

De grootste doorbraak is dat OP-MIX de hele tijd werkt.

De Oude Manier: Als er een nieuw ingrediënt arriveerde (bijvoorbeeld een nieuw type coderingsdata), zouden de oude methoden zeggen: "We kunnen dit niet mengen; ons recept is vastgesteld," of "We moeten een hele nieuwe proefkeuken beginnen."
De OP-MIX Manier: Als er nieuwe data arriveert, maak je gewoon één nieuw schort ervoor. Vervolgens gebruik je de magische blender om uit te zoeken hoe je dit nieuwe schort moet mengen met alle oude schorten die je al hebt. Je gooit de oude kennis nooit weg; je past alleen de verhoudingen aan.

Waarom Dit Belangrijk Is (De Resultaten)

Het artikel beweert dat OP-MIX een gamechanger is om drie redenen:

Het is Universeel: Het werkt voor de initiële training (pretraining), het middenstadium (midtraining) en de laatste fijne afstelling (instruction tuning). Je hebt geen verschillende tools nodig voor verschillende stadia; één tool doet het allemaal.
Het is Efficiënt: Het gebruikt 95% minder rekenkracht dan sommige bestaande methoden voor continu leren. In plaats van het hele model opnieuw te trainen of dure proefkeukens te runnen, mengt het gewoon de lichtgewicht schorten.
Het Voorkomt "Vergeetachtigheid": In de wereld van AI maakt het leren van nieuwe dingen vaak dat het model oude dingen vergeet (catastrophic forgetting). OP-MIX is uitstekend in het behouden van de oude smaken in de soep terwijl er nieuwe worden toegevoegd, en presteert bijna even goed als wanneer je het hele model vanaf nul opnieuw zou trainen, maar voor een tiny fractie van de kosten.

De Conclusie

OP-MIX verandert het beeld van AI-training van een reeks losgekoppelde fasen (starten, stoppen, herstarten) in een enkel, continu proces. Het behandelt data-mixing niet als een eenmalige beslissing, maar als een voortdurend gesprek tussen het model en de data, waarbij lichtgewicht, slimme shortcuts worden gebruikt om het perfecte recept te vinden telkens als er een nieuw ingrediënt aan de voorraadkast wordt toegevoegd.

Technische Samenvatting: OP-MIX (On-Policy Mix)

1. Probleemstelling

Datamenging – het proces van het bepalen van de optimale waarschijnlijkheidsverdeling over verschillende datadomeinen tijdens het trainen van een taalmodel (LM) – is een kritieke factor voor de modelkwaliteit. Bestaande methoden voor datamenging ondervinden echter aanzienlijke beperkingen in de context van de volledige LM-levenscyclus:

Statische Domeinveronderstellingen: De meeste methoden gaan uit van een vast aantal datadomeinen, waardoor ze de realiteit van continu leren niet aanpakken, waarbij nieuwe datasets (bijv. instructie-tuning corpora) dynamisch binnenkomen.
Afhankelijkheid van Off-Policy Proxies: Huidige benaderingen trainen vaak aparte, kleinere "proxy"-modellen op kandidaat-mengsels om prestaties te extrapoleren. Dit is rekenkundig duur, schaalt slecht met het aantal domeinen en lijdt onder distributieve verschuiving, omdat de leerdynamiek van de proxy afwijkt van die van het doelmodel, vooral in latere trainingsfasen (midtraining, instructie-tuning).
Levenscyclusfragmentatie: Er bestaat geen unificerend algoritme dat effectief werkt over pretraining, continu midtraining en continu instructie-tuning heen.

Het artikel stelt dat datamenging fundamenteel een online beslissingsprobleem is dat een enkele, geünificeerde oplossing vereist die zich kan aanpassen aan evoluerende data zonder afhankelijk te zijn van aparte proxy-modellen.

2. Methodologie: OP-MIX

De auteurs stellen OP-MIX (On-Policy Mix) voor, een algoritme dat optimale datamengverhoudingen schat door gebruik te maken van twee kerninzichten om de combinatorische explosie van trainingen en de divergentie van off-policy proxies te vermijden.

Kernmechanismen

On-Policy Proxies via LoRA: In plaats van aparte kleine modellen te trainen, traint OP-MIX één Low-Rank Adaptation (LoRA)-adapter per datadomein, direct vanuit het huidige basismodel. Dit zorgt ervoor dat de proxy "on-policy" blijft, en de daadwerkelijke leerdynamiek en parameterstatus van het getrainde model weerspiegelt.
Lineaire Interpolatie voor Mengselsimulatie: Om verschillende datamengsels te simuleren zonder opnieuw te trainen, interpoleren de LoRA-adaptergewichten lineair. Op basis van recente bevindingen over lineaire modale connectiviteit gaat de methode ervan uit dat het verliesoppervlak van het mengen van volledige modellen kan worden benaderd door de LoRA-adapters te interpoleren. Dit stelt het algoritme in staat om kandidaat-mengsels te evalueren via goedkope forward passes in plaats van volledige trainingen.

Algoritme Workflow

In een stap voor continu leren waarbij $K$ nieuwe domeinen arriveren:

Adaptertraining: Train één LoRA-adapter voor elk nieuw domein ( $D_{m+k}$ ) en één "oude" adapter ( $D_{old}$ ) die het mengsel van alle vorige domeinen vertegenwoordigt, allemaal geïnitieerd vanuit het huidige basismodel $\theta_{base}$ .
Interpolatie & Evaluatie: Steek interpolatiepunten $\alpha$ in de $K$ -simplex. Vorm samengevoegde adapters door de LoRA-gewichten lineair te combineren: $\theta_{\alpha} = \alpha_{old}\theta_{old} + \sum \alpha_{k}\theta_{D_{m+k}}$ . Evalueer het verlies per domein van deze samengevoegde adapters.
Regressie & Optimalisatie: Pas een log-lineair regressiemodel aan op de geëvalueerde verliezen om een glad verliesoppervlak over het interpolatiepad te schatten. Los een geregulariseerd optimalisatieprobleem op om de optimale menggewichten $\alpha^*$ te vinden die het geschatte verlies minimaliseren (plus een KL-divergentie-regularisatieterm richting een prior).
Eindtraining: Pas de berekende optimale menggewichten toe op het basismodel voor de volledige training.

3. Belangrijkste Bijdragen

Het artikel claimt drie primaire bijdragen:

Eerste Universeel Datamengalgoritme: OP-MIX is de eerste methode die in staat is datamengsels uit te breiden naar nieuwe domeinen terwijl het tegelijkertijd aparte proxy-modellen vermijdt. Dit maakt continu mengen mogelijk naarmate data evolueert, waardoor de behoefte aan fase-specifieke algoritmen wordt verwijderd.
State-of-the-Art over de Levenscyclus: Een enkele instantiatie van OP-MIX bereikt state-of-the-art prestaties in pretraining, continu midtraining en continu instructie-tuning, wat aantoont dat verschillende fasen geen verschillende mengstrategieën vereisen.
Efficiëntie in Continu Leren: Bij continu instructie-tuning komt OP-Mix de prestaties van on-policy self-distillation (een verfijnde techniek voor continu leren) overeen, terwijl het 95% minder rekenkracht gebruikt. Het toont ook aan dat datamenging en trainingsdoelen (zoals self-distillation) orthogonale assen van verbetering zijn die kunnen worden gecombineerd voor verdere winst.

4. Experimentele Resultaten

De auteurs evalueren OP-MIX over drie fasen met modellen variërend van 150M tot 7B parameters.

Pretraining: OP-MIX verbetert de gemiddelde perplexiteit met 6,3% in vergelijking met training zonder menging (Empirical Risk Minimization). Het komt overeen met de prestaties van de beste baseline (MergeMix) terwijl het 14% minder rekenkracht gebruikt, en presteert beter dan OLMix met 5–6% over alle schalen heen.
Continu Midtraining: OP-MIX komt bijna overeen met de prestaties van volledige hertraining (de "skyline"-baseline) terwijl het tot 66% minder rekenkracht gebruikt. Het mitigeert significant catastrofaal vergeten in vergelijking met standaard continu SFT en baselines met vaste data-replay.
Continu Instructie-tuning: Wanneer toegepast op Qwen2.5-7B-Instruct, bereikt OP-MIX prestaties die vergelijkbaar zijn met Self-Distillation Finetuning (SDFT) met 95% minder rekenkracht. Het combineren van OP-MIX met SDFT levert de beste algehele resultaten op (61,9% nauwkeurigheid), wat hun synergetische effect bevestigt.
Efficiëntiegrens: In alle instellingen domineert OP-MIX bestaande baselines in de Pareto-zin, waarbij het betere of gelijke prestaties bereikt met strikt lagere rekenkosten (FLOPs).

5. Betekenis en Claims

Het artikel betoogt dat de traditionele verdeling van taalmodeltraining in verschillende fasen (pretraining, midtraining, finetuning) kunstmatig is. OP-MIX suggereert een geünificeerd perspectief waarin training een enkel continu proces van leren uit data is.

Door gebruik te maken van LoRA en lineaire modale connectiviteit, transformeert OP-MIX adaptieve datamenging van een rekenkundig onbetaalbare, offline zoektocht naar een lichtgewicht, herhaalbare operatie die kan worden uitgevoerd telkens wanneer nieuwe data arriveert. De auteurs concluderen dat deze aanpak de twee belangrijkste beperkingen van eerdere werken overwint: het onvermogen om nieuwe datasets op te nemen en de afhankelijkheid van off-policy proxy-modellen die afwijken van de dynamiek van het doelmodel.

Opmerking: Het artikel erkent beperkingen, specifiek dat experimenten zijn beperkt tot 530M parameters voor pretraining/midtraining en 7B voor instructie-tuning, waardoor het gedrag op frontier-schalen (70B+) niet is geverifieerd. Het merkt ook op dat het gedrag van de methode met een zeer groot aantal domeinen (10–100) nog niet is gekarakteriseerd.