DataFlex: A Unified Framework for Data-Centric Dynamic Training of Large Language Models

Titel: DataFlex: Een Unified Framework voor Data-Centric Dynamic Training van Grootte Taalmodellen (LLM's)

Datum: 30 maart 2026
Auteurs: Hao Liang, Zhengyang Zhao, et al. (Peking University, IAAR, OriginHub, LLaMA-Factory Team, etc.)

---

1. Het Probleem

De prestaties van Large Language Models (LLM's) worden niet alleen bepaald door modelarchitectuur, maar steeds meer door de kwaliteit, samenstelling en selectie van de trainingsdata. Hoewel er veel methoden zijn ontwikkeld om data dynamisch te optimaliseren (zoals data-selectie, mengverhoudingen aanpassen en herweging), lijden deze aan ernstige fragmentatie:

• Geïsoleerde implementaties: Bestaande methoden worden vaak gepubliceerd als losse repositories met inconsistente interfaces en verouderde codebases.
• Gebrek aan reproduceerbaarheid: Het is moeilijk om methoden eerlijk met elkaar te vergelijken omdat ze niet binnen hetzelfde experimentele kader draaien.
• Integratieproblemen: Veel data-centric algoritmen vereisen toegang tot modelafhankelijke signalen (zoals embeddings, inferentie-outputs en gradients). Zonder een uniforme abstractie is het integreren van deze methoden in schaalbare trainingsworkflows (zoals DeepSpeed) complex en inefficiënt.

Er bestaat geen uniek framework dat zowel online (tijdens het trainen) als offline (vooraf berekende) data-optimalisatiestrategieën ondersteunt binnen een moderne LLM-pipeline.

2. Methodologie: DataFlex

DataFlex is een unified framework gebouwd op LLaMA-Factory dat data behandelt als een "first-class optimization variable". In plaats van een externe workflow te introduceren, vervangt DataFlex de trainingslaag van LLaMA-Factory en biedt het een modulaire architectuur voor dynamische data-controle.

Kernarchitectuur:
Het framework bestaat uit drie lagen:

1. Base Layer: Geërfd van LLaMA-Factory voor modelbeheer, data-verwerking en optimalisatie.
2. Trainer Layer: Een unificatie van drie trainingsmodi:
   • Select Trainer: Dynamisch selecteren van een subset van samples.
   • Mix Trainer: Dynamisch aanpassen van mengverhoudingen tussen domeinen/bronnen.
   • Weight Trainer: Dynamisch aanpassen van de weging per sample tijdens backpropagation.
3. Component Layer: Pluggable algoritme-componenten (selectors, mixers, weighters) die specifieke logica kapselen maar een uniforme interface delen.

Ondersteunde Paradigma's:
DataFlex ondersteunt drie hoofdrichtingen van data-centric training:

• Data Selectie: Zowel online (bijv. LESS, NICE) als offline (bijv. TSDS, NEAR) methoden om de meest waardevolle samples te kiezen.
• Data Mixture: Dynamisch aanpassen van de verhouding tussen verschillende domeinen (bijv. code, boeken, webtekst) tijdens het pretrainen. Ondersteunt methoden zoals DoReMi (offline) en ODM (online).
• Data Reweighting: Het dynamisch aanpassen van de bijdrage van individuele samples aan de loss-functie, vaak gebaseerd op huidige verliezen of gradients.

Technische Innovaties:

• Drop-in Vervanging: Gebruikers kunnen bestaande LLaMA-Factory configuraties (YAML) omzetten naar data-centric training door slechts een dataflex-sectie toe te voegen.
• Schaalbaarheid: DataFlex is compatibel met DeepSpeed ZeRO-3 en verdeelde training. Het lost het probleem op van het verkrijgen van volledige gradients in gesplitste omgevingen via geoptimaliseerde interfaces (safe_get_full_grad).
• Efficiëntie: Het unificeert modelafhankelijke operaties (embeddings, inferentie, gradients) en voert deze uit op gecontroleerde intervallen om overhead te minimaliseren.

3. Belangrijkste Bijdragen

1. Conceptuele Innovatie: Introductie van het concept van een "Data-Centric Dynamic Training System" dat data als een dynamische variabele behandelt.
2. Unificatie: Het eerste framework dat data-selectie, mixture-optimalisatie en reweighting onder één paraplu verenigt, met ondersteuning voor zowel online als offline algoritmen.
3. Modulair Ontwerp: Een schaalbare architectuur met uitbreidbare trainers en plug-and-play componenten die de engineering-barrière voor onderzoekers verlaagt.
4. Reproduceerbaarheid: Een gestandaardiseerde infrastructuur die eerlijke vergelijkingen tussen verschillende data-strategieën mogelijk maakt.

4. Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd met zeven data-selectie-algoritmen, twee mixture-methoden en één reweighting-methode.

Data Selectie & Reweighting:

• Prestaties: Dynamische methoden presteren consistent beter dan statische training op volledige datasets.
• Mistral-7B: De LESS-methode (gradient-based) verbeterde de MMLU-accuratesse met 5,8% ten opzichte van de statische baseline.
• Llama-3.2-3B: Het verschil was nog groter; alle online methoden presteerden aanzienlijk beter dan de statische baseline, waarbij reweighting de beste resultaten boekte (0,453 vs 0,319 voor de baseline).
• Conclusie: Dynamische, model-bewuste selectie is cruciaal, vooral bij kleinere modellen.

Data Mixture (SlimPajama):

• DoReMi & ODM: Beide methoden verbeterden zowel de MMLU-accuratesse als de perplexiteit (PPL) ten opzichte van de standaard mengverhoudingen.
• Schalingsresultaten (30B tokens): ODM (Online Data Mixing) leverde de beste algehele perplexiteit op, met name voor gespecialiseerde domeinen (zoals GitHub en ArXiv), terwijl DoReMi beter presteerde op de MMLU-taken.
• Observatie: Dynamische mengverhoudingen passen zich beter aan aan veranderende trainingsdynamica dan statische verhoudingen.

Efficiëntie:

• Tijdswinst: DataFlex is sneller dan de originele implementaties. Bij online selectie (LESS) werd een tijdswinst van 3,7% tot 7,1% behaald op single-GPU.
• Schaalbaarheid: Op een 8-GPU setup bereikte DataFlex een tijdswinst van 57,13% ten opzichte van de single-GPU versie, terwijl de originele LESS-implementatie niet schaalbaar was naar meerdere GPU's.
• Offline Selectie: De DataFlex-implementatie van TSDS was consistent 1-3,5% sneller dan de originele code.

5. Betekenis en Impact

DataFlex lost een kritieke infrastructuurkloof op in het onderzoek naar LLM's. Door data-centric methoden te standaardiseren en te integreren in een robuust, schaalbaar framework, maakt het:

• Reproduceerbaar onderzoek mogelijk, waarbij methoden onder gelijke omstandigheden kunnen worden getest.
• Praktische toepassing makkelijker voor ontwikkelaars die LLM's willen optimaliseren zonder complexe, handmatige integraties.
• Efficiëntie verbetert door geoptimaliseerde distributie en caching van modelsignalen.

Het paper concludeert dat DataFlex een effectieve, efficiënte en reproduceerbare infrastructuur biedt voor het bestuderen en implementeren van data-centric dynamische training, wat essentieel is voor de volgende generatie LLM-ontwikkeling.

Bronnen:

• Code: https://github.com/OpenDCAI/DataFlex
• Documentatie: https://opendcai.github.io/DataFlex-Doc/