Greedy Information Projection for LLM Data Selection

Titel: Greedy Information Projection for LLM Data Selection

Auteurs: Victor Ye Dong, Kuan-Yun Lee, et al. (Microsoft)
Publicatie: 3rd DATA-FM workshop @ ICLR 2026, Brazilië.

---

1. Het Probleem

Bij het trainen van Large Language Models (LLM's) is de kwaliteit van de trainingsdata vaak belangrijker dan de kwantiteit, vooral wanneer de datasetgrootte voldoende is om de schaalwetten (scaling laws) te verzadigen. De huidige uitdaging voor onderzoekers en ingenieurs is het selecteren van een kleine, hoogwaardige subset van data die de prestaties maximaliseert tijdens het fijnafstemmen (fine-tuning), zonder de enorme rekenkosten en tijd van het trainen op volledige datasets.

Bestaande methoden voor dataselectie (zoals filtering op perplexiteit, deduplicatie of clustering) zijn vaak heuristisch van aard. Ze missen een theoretisch onderbouwd raamwerk dat kwaliteit (hoe goed is een voorbeeld voor de taak?) en diversiteit (hoe uniek is het voorbeeld in de feature-ruimte?) op een natuurlijke manier in één doelstelling verenigt.

2. Methodologie: Greedy Information Projection (GIP)

De auteurs stellen Greedy Information Projection (GIP) voor, een principieel raamwerk gebaseerd op informatie-theorie.

Kernconcept: Mutual Information (MI)

Het probleem van dataselectie wordt geformuleerd als het maximaliseren van de wederzijdse informatie (Mutual Information) tussen twee verdelingen:

1. Data-embeddings ($F$): Vectorvoorstellingen van de beschikbare trainingsvoorbeelden.
2. Query-embeddings ($Q$): Vectorvoorstellingen die afgeleid zijn van kwaliteitscores (bijv. beoordelingen door een LLM, metadata, of zelf-consistentie schattingen).

De auteurs modelleren deze als Gaussische variabelen. Het maximaliseren van de wederzijdse informatie $I(Z_Q; Z_{F_S})$ is wiskundig equivalent aan het minimaliseren van het volume (de determinant) van de query-embeddings die worden geprojecteerd op de nulruimte van de geselecteerde data.

• Geometrische interpretatie: Dit proces selecteert data die zowel hoog scoort op kwaliteit (alignering met de query-richtingen) als diversiteit (het vullen van nieuwe richtingen in de embedding-ruimte, waardoor redundantie wordt vermeden).

Het Algorithm: Greedy Matching Pursuit (MP)

Het exact oplossen van dit selectieprobleem is NP-moeilijk (exponentiële complexiteit). De auteurs ontwikkelen daarom een efficiënt Greedy Matching Pursuit algoritme:

• Linearisatie: Ze benaderen de log-determinant doelstelling met een trace-gerelateerde doelstelling (gebaseerd op de AM-GM ongelijkheid), wat lineairiteit introduceert.
• Residumatrix ($W$): Het algoritme onderhoudt een residumatrix die de correlatie tussen de query's en de resterende data punten weergeeft.
• Iteratief proces: In elke stap wordt het data punt geselecteerd dat de grootste som van gekwadrateerde projecties op de huidige query's oplevert.
• Efficiëntie: Na een eenmalige precomputation van inwendige producten ($F^T F$), schaal het algoritme lineair met de datasetgrootte ($O(mk)$), zonder dat er gradients van het LLM nodig zijn of een externe validatieset.

3. Belangrijkste Bijdragen

1. Principieel Theoretisch Raamwerk: De eerste methode die dataselectie formuleert als een mutual information maximalisatie probleem, wat een natuurlijke balans biedt tussen kwaliteit en diversiteit in één objectieve functie.
2. Efficiënte Benadering: Een nieuw variant van het Matching Pursuit algoritme dat zonder gradiënten werkt en schaalbaar is voor grote datasets, in tegenstelling tot methoden zoals LESS die gradiënten vereisen.
3. Empirische Superioriteit: GIP presteert consistent beter dan state-of-the-art baselines (zoals DSIR, DISF, LESS, CaR) op diverse benchmarks, vaak met slechts 1-20% van de trainingsdata.

4. Resultaten

De methode is getest op instructie-volgende taken (MT-Bench, BBH, Alpaca-Eval-V2) en wiskundig redeneren (GSM8K) met modellen zoals Mistral-7B en de Qwen3-familie.

• Data-efficiëntie: GIP bereikt prestaties die vergelijkbaar zijn met of zelfs beter zijn dan het trainen op de volledige dataset (100%), terwijl slechts 1% tot 20% van de data wordt gebruikt.
• Vergelijking met Baselines:
  • Op GSM8K (wiskunde) behaalde GIP (MP+MA variant) bij 10% data een nauwkeurigheid van 83.09% (Qwen3-8B), wat dicht bij de full-data prestatie van 81.96% ligt (en zelfs hoger, afhankelijk van de specifieke setup en model), terwijl Random slechts 79.53% haalde.
  • Op MT-Bench (instructie-volging) overtrof GIP (MP+MA) Random en andere methoden consistent, zelfs bij zeer kleine subsets (1% of 512 voorbeelden).
• Varianten:
  • MP+MA (Multi-Attribute): Gebruikt externe LLM-beoordelingen voor scores (kwaliteit). Sterk op instructie-volging en voorkeur-metrics.
  • MP+SC (Self-Compression): Gebruikt interne geometrische scores (representativiteit) zonder externe supervisie. Sterk op redeneringstaken en robuust.

5. Betekenis en Toekomstperspectief

De paper biedt een fundamentele doorbraak in de efficiënte fine-tuning van LLM's:

• Kostenreductie: Door slechts een fractie van de data te gebruiken, worden rekenkosten en tijd voor training drastisch verlaagd.
• Geen Gradiënten nodig: In tegenstelling tot veel moderne selectiemethoden (zoals LESS) vereist GIP geen backpropagatie of toegang tot de modelgradiënten, wat het toepasbaar maakt voor gesloten modellen.
• Unificatie: Het lost het probleem op van het handmatig balanceren van kwaliteit en diversiteit; de mutual information doelstelling doet dit automatisch.

Toekomstige werk: De auteurs suggereren uitbreiding naar pre-training schalen, het hanteren van niet-Gaussische ruis in kwaliteitsignalen, en toepassing op multimodale en continue leer-situaties.

Kortom, GIP biedt een wiskundig onderbouwde, schaalbare en effectieve oplossing voor het "data curation" probleem in de LLM-ontwikkeling.