🤖 machine learning

Unifying Data, Memory, and Compute Efficiency in LLM training: A Survey

Deze survey hanteert een vanuit beperkingen gestuurd perspectief om dataselectie, geheugenbeheer en rekenallocatie bij de training van grote taalmodellen te verenigen, waarbij wordt betoogd dat optimale efficiëntie vereist dat deze drie gekoppelde knelpunten als een interactief systeem worden behandeld in plaats van ze geïsoleerd te optimaliseren.

Oorspronkelijke auteurs: Vanessa Schmidt, Huy Hoang Nguyen, Cédric Jung, Shirin Salehi, Anke Schmeink

Gepubliceerd 2026-06-10

📖 2 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Vanessa Schmidt, Huy Hoang Nguyen, Cédric Jung, Shirin Salehi, Anke Schmeink

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de lekkerste taart ter wereld te bakken (een Large Language Model, of LLM) in een piepkleine, krappe keuken met een zeer klein budget voor ingrediënten, ovenruimte en elektriciteit.

Een lange tijd dachten bakkers dat de enige manier om een betere taart te maken was door meer ingrediënten te kopen, een grotere oven te gebruiken en meer elektriciteit te verbruiken. Maar dit artikel betoogt dat we tegen een muur zijn gelopen: onze keukens (computerchips) zijn te klein en onze energierekeningen (energiekosten) zijn te hoog. We kunnen niet simpelweg blijven opschalen.

In plaats daarvan stelt de auteur een nieuwe manier van denken voor: Efficiëntie gaat niet over meer doen; het gaat over slimmere keuzes maken over wat je doet, hoe je het past en wanneer je stopt. Ze noemen dit de "Resource-Constrained Lifecycle" (de hulpbron-beperkte levenscyclus), en ze breken dit af aan de hand van drie personages in ons keukengeschiedenis.

1. De Chef (Data-efficiëntie): "Wat doe je in de kom?"

Het Probleem: Je hebt een enorme voorraadkast vol bloem, suiker en eieren (data). Maar veel daarvan is oud, overbodig of gewoon slecht. Als je alles gebruikt, verspil je tijd en ruimte.
De Oude Manier: "Laten we gewoon alles erin gooien en hopen dat de taart lukt."
De Nieuwe Manier: Het artikel suggereert om een kieskeurige Chef te zijn.

De "Less is More"-regel: Je hebt niet 10.000 recepten nodig om leren bakken; je hebt misschien maar 1.000 perfecte recepten nodig.
De "Proeverij" (Gradiëntinvloed): In plaats van te gokken welke ingrediënten goed zijn, gebruikt de Chef een speciaal hulpmiddel om het beslag te proeven terwijl het wordt gemengd. Als een specif{%}

Technische Samenvatting: Het verenigen van efficiëntie in data, geheugen en rekenkracht bij LLM-training

1. Probleemstelling

De snelle schaling van Large Language Models (LLMs) heeft geleid tot verbijsterende resource-eisen wat betreft datavolume, GPU-geheugen (VRAM) en computationeel budget (FLOPs). Hoewel er aanzienlijk onderzoek bestaat naar data-efficiëntie, geheugenoptimalisatie en compute-beheer, worden deze velden grotendeels geïsoleerd ontwikkeld en geëvalueerd. Deze fragmentatie creëert een kritisch probleem: het optimaliseren van één dimensie verschuift vaak de bottleneck naar een andere (bijv. geavanceerde dataselectie kan leiden tot verbijsterende geheugenoverschrijding, terwijl geheugenbesparende strategieën de datadaptiviteit kunnen beperken).

Huidige benaderingen falen in het behandelen van efficiëntie als een gekoppeld systeem. Er is een gebrek aan een verenigd framework dat de "optimalisatietrilemma" van data, geheugen en compute simultaan aanpakt, met name voor omgevingen met beperkte middelen zoals edge-apparaten. Bovendien bestaat er een kloof tussen statische, vooraf gefilterde dataselectiemethoden en de behoefte aan dynamische, invloedsbewuste benaderingen die zich tijdens de training aanpassen.

2. Methodologie en Framework

Het artikel stelt een resource-constrained lifecycle framework voor, gevisualiseerd als een verenigd systeem waarbij efficiëntie wordt beheerst door drie gekoppelde bottlenecks:

Data-efficiëntie (Het Fundament): Bepalen waarop getraind wordt.
Geheugenefficiëntie (De Beperking): Bepalen hoe de training binnen de hardwarelimieten past.
Compute Budget Bewustzijn (De Gouverneur): Bepalen wanneer te stoppen of middelen te herverdelen.

De survey organiseert de bestaande literatuur niet op basis van architectuur of taak, maar volgens de logische beslissingsflow van dit beperkte systeem. Het synthetiseert diverse technieken onder het gedeelde principe van marginale nut per resource (het maximaliseren van de prestatiewinst per eenheid van een beperkte resource, zoals GB VRAM, FLOPs of wandtijd).

Belangrijke Technische Zuilen

A. Data-efficiëntie: Van Statische Filtering naar Dynamisch Marginaal Nut

Het artikel beoordeelt de evolutie van dataselectie van eenvoudige redundantieverwijdering naar geavanceerde, gradiënt-gebaseerde invloedschatting.

Fundamentele Metrieken: Vroege pruning-methoden zoals LIMA (die aantonen dat 1.000 gecureerde voorbeelden voldoende kunnen zijn) en metrieken zoals GraNd (Gradient Norm) en EL2N (Error L2-Norm) identificeren significante voorbeelden vroeg in de training.
Learning Dynamics & Proxy Modellen: Methoden zoals SmallToLarge (S2L) en STAFF maken gebruik van kleine proxy-modellen om de moeilijkheid en de invloed van samples op grotere doelmodellen te schatten, wat de computationele overhead vermindert.
Gradiënt-invloed: Technieken zoals LESS (Low-rank Gradient Similarity) en GREATS (Greedy Approximation Taylor Selection) gebruiken gradiëntprojecties en Taylor-expansies om de invloed van datapunten op de validatieverlies te kwantificeren, wat de selectie van hoog-nuttiige subsets mogelijk maakt.
Multidimensionale Selectie: Benaderingen zoals BIDS (Balanced and Influential Data Selection) en DART (Difficulty-Aware Rejection Tuning) adresseren de noodzaak van capaciteitsbalans en moeilijkheidsbewustzijn, waarbij ze verder gaan dan pure reductie van verlies.
De Statisch-naar-Dynamisch Kloof: De survey identificeert een kritieke beperking: state-of-the-art methoden (bijv. LESS) zijn overwegend statisch vanwege de hoge kosten van het herevalueren van invloed. Het artikel pleit voor een verschuiving naar dynamische systemen die de invloed van data tijdens de training herevalueren, potentieel door gebruik te maken van geheugenefficiënte proxies (bijv. CoLM-stijl coresets) om de dynamische invloed goedkoop te benaderen.

B. Geheugenefficiëntie: Decompositie van de Training Footprint

Het artikel deelt het totale geheugengebruik ( $M_{total}$ ) op in gewichten ( $M_\theta$ ), optimizer states ( $M_O$ ) en activaties ( $M_A$ ). Het stelt dat effectieve schaling vereist dat alle drie gezamenlijk worden verminderd in plaats van ze geïsoleerd te optimaliseren.

Data-gecentreerde Benaderingen: Methoden zoals CoLM (Coresets for Training LLMs) en Addax verminderen het activatiegeheugen door het selecteren van kleine, gewogen subsets of door gebruik te maken van hybride First-Order (korte sequenties) en Zeroth-Order (lange sequenties) optimalisatie om het opslaan van activatiemappen te vermijden.
Optimizer-gecentreerde Benaderingen: Technieken zoals HiFT en BAdam maken gebruik van blokgewijze updates (Block Coordinate Descent) om slechts een subset van parameters tegelijk te updaten, wat de simultane opslag van optimizer states (momentum en variantie) drastisch vermindert.
Gradiënt-vrije Approximatie: Zeroth-Order (ZO) methoden zoals SubZero en LOZO schatten gradiënten via forward passes, waardoor het opslaan van activaties voor backpropagation overbodig wordt, hoewel ze kampen met variantie-uitdagingen.
Quantization-gecentreerde Benaderingen:
- DQT (Direct Quantized Training): Traint modellen direct in low-bit (INT-n) formaten zonder het onderhouden van FP32 master weights, waardoor de overhead van master weights en optimizer states wordt geëlimineerd.
- QLoRA/QA-LoRA/PEQA: Past bevroren, gekwantiseerde backbones aan met behulp van Low-Rank Adapters of schalingstuning, waarbij een balans wordt gevonden tussen geheugenreductie en deployment-efficiëntie.
Synthese: Het artikel benadrukt dat huidige oplossingen vaak één beperking voor een andere ruilen (bijv. quantisatie verheldert het statische geheugen maar legt de nadruk op activatielimieten). Het stelt structurele hybridisatie voor (bijv. de combinatie van blokgewijze optimalisatie, gekwantiseerde gewichten en ZO-regularisatie) als de weg om de model schaal te ontkoppelen van VRAM-limieten.

C. Compute Budget Bewustzijn: De Gouverneur

Het artikel introduceert het concept van een "Compute Governor," een controlebeleid $\pi(S_t, B_t)$ dat de systeemtoestand (loss dynamics, huidige strategieën) en het resterende budget mapt naar een actie (doorgaan, herverdelen, stoppen).

Marginaal Gaint Signaal: De gouverneur gebruikt de marginale winst per FLOP ( $G_t = -\Delta L / \Delta \text{FLOPs}$ ) als een feedbacksignaal. Training stopt of herverdeelt wanneer $G_t$ onder een budget-afhankelijke drempelwaarde valt.
Compute-bewuste Dataselectie: Frameworks zoals CADS en Payoff-Optimal Selection behandelen dataselectie als een bilevel-optimalisatieprobleem waarbij de optimale subset afhangt van het beschikbare compute budget. Ze identificeren "pay-back" drempels waar dure selectiemethoden alleen gerechtvaardigd zijn als hun kosten kunnen worden geamortiseerd door de daaropvolgende training.
Scaling Laws: De survey herbezoekt scaling laws (Kaplan, Chinchilla, Muennighoff et al.), definieert regimes (parameter-zwaar, data-rijk, data-beperkt) en stelt vast dat "optimale" training het balanceren van modelgrootte en tokenaantal omvat op basis van het FLOP-budget.
Budget-bewuste Inferentie: Technieken zoals KV Cache management (PagedAttention, KIVI), hiërarchische compute allocatie (Duo-LLM, LayerSkip), en speculative decoding (FrugalGPT, DistillSpec) passen hetzelfde principe van marginaal nut toe op inferentie, waarbij wordt beslist wanneer lagen worden overgeslagen of tokens worden geverifieerd op basis van latentie en kostenbeperkingen.

3. Belangrijkste Bijdragen

Verenigd Framework: Het artikel structureert de literatuur langs een resource-constrained lifecycle (Data $\to$ Geheugen $\to$ Compute), waarbij efficiëntie wordt behandeld als een gekoppeld beslissingsprobleem in plaats van geïsoleerde optimalisaties.
Identificatie van de "Static-to-Dynamic" Kloof: Het benadrukt dat huidige leidende dataselectiemethoden statisch zijn en stelt een onderzoeksroadmap voor dynamische, invloedsbewuste systemen die de bruikbaarheid van data tijdens de training herevalueren, potentieel via hybride proxy-verify pipelines.
Principe van Marginale Nut: Het synthetiseert diverse technieken onder het principe van het maximaliseren van de prestatiewinst per eenheid van een beperkte resource, waarbij onderscheid wordt gemaakt tussen methoden die training louter haalbaar maken en methoden die het compute-optimaal maken.
De Compute Governor: Het formaliseert een control-theoretic perspectief voor het stoppen en herverdelen van middelen, toepasbaar op pre-training, fine-tuning en inferentie.

4. Resultaten en Bevindingen

Data: Bewijs suggereert dat "goede data" regime-afhankelijk is; verschillende opvattingen over datakwaliteit domineren in verschillende resource-budgetten. Statische filtering (bijv. LIMA) werkt goed voor alignment, maar gradiënt-gebaseerde invloedmethoden (bijv. LESS) bieden theoretische optimaliteit tegen een hoge computationele kostprijs.
Geheugen: GPU-geheugen is, in plaats van pure rekenkracht, vaak de dominante bottleneck bij fine-tuning. Geïsoleerde optimalisaties (bijv. alleen het kwantiseren van gewichten) verschuiven vaak de bottleneck naar activaties of optimizer states. Hybride benaderingen (bijv. de combinatie van quantisatie met blokgewijze updates) tonen veelbelovende resultaten voor het draaien van grote modellen op consumentenhardware.
Compute: Compute-optimale scaling laws geven aan dat veel bestaande modellen overgedimensioneerd en ondergetraind zijn. De "optimale" subset van data en de criteria voor het stoppen zijn niet vaststaand, maar hangen af van het beschikbare FLOP-budget. Inferentie-efficiëntie is steeds vaker geheugen-bound (KV cache) in plaats van compute-bound.

5. Betekenis en Claims

Het artikel claimt dat het behandelen van data, geheugen en compute als één enkel, gekoppeld optimalisatieprobleem essentieel is voor de vooruitgang van LLM-efficiëntie.

Holistisch Perspectief: Het betoogt dat geïsoleerde optimalisaties vaak bottlenecks verschuiven in plaats van ze op te lossen. Echte efficiëntie vereist een systeem-niveau aanpak die de trade-offs over alle drie de dimensies balanceert.
Edge Compatibiliteit: Door deze principes te verenigen, biedt de survey een fundament voor energie-efficiënte, edge-compatibele LLMs, wat duurzame implementatie op mobiele, industriële en wearable platformen mogelijk maakt.
Research Agenda: Het artikel identificeert de transitie van statische naar dynamische dataselectie en de ontwikkeling van verenigde pipelines (combinatie van geheugencompressietechnieken) als kritieke fronten. Het roept op tot nieuwe algoritmische abstracties die echte data-geheugen-compute co-design mogelijk maken, waarbij men verder gaat dan hardware-agnostische efficiëntie naar hardware-bewuste strategieën.

Het artikel concludeert dat het overbruggen van de "Static-to-Dynamic" kloof en het implementeren van een verenigd, budget-bewust governance framework noodzakelijke stappen zijn om LLMs duurzaam en toegankelijk te maken in omgevingen met beperkte middelen.