🤖 machine learning

Hierarchical Data Selection via Manifold Coverage and Sparse Feature Coverage in LLM Post-training

Het artikel stelt MASS voor, een hiërarchisch dataselectiekader dat de efficiëntie en prestaties van LLM post-training verbetert door data eerst te groeperen via laagdimensionale manifold-dekking en vervolgens hoogwaardige subsets te selecteren via ijle kenmerkdekking, waarbij het consistent bestaande baselines overtreft en vaak overeenkomt met training op volledige datasets met aanzienlijk kleinere datasets.

Oorspronkelijke auteurs: Peng Sun, Yi Yang, Antong Zhang, Chunxiao Li, Yanbo Wang, Dianbo Liu, xin chen, Kai Yu, Lu Chen, Tianfan Fu

Gepubliceerd 2026-08-19

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Peng Sun, Yi Yang, Antong Zhang, Chunxiao Li, Yanbo Wang, Dianbo Liu, xin chen, Kai Yu, Lu Chen, Tianfan Fu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de snel evoluerende wereld van kunstmatige intelligentie is een hardnekkige uitdaging ontstaan naarmate modellen groter en krachtiger worden: de enorme hoeveelheid gegevens die nodig is om ze te onderwijzen. Om effectief te leren, hebben deze systemen enorme bibliotheken aan voorbeelden nodig, maar het verzamelen en verwerken van deze informatie is duur en tijdrovend. Onderzoekers zoeken al lang naar een manier om de meest waardevolle stukjes informatie binnen deze enorme collecties te identificeren, in de hoop krachtige modellen te trainen met slechts een kleine, hoogwaardige fractie van de beschikbare data. Het heersende idee was dat als je kon meten hoe verschillend twee stukken data van elkaar zijn, je een diverse set kon kiezen die alle noodzakelijke grond beslaat. Echter, deze aanpak struikelde vaak omdat de wiskundige ruimtes die werden gebruikt om deze verschillen te meten te druk en te ruizig waren, waarbij brede onderwerpen werden vermengd met minuscule, irrelevante details en willekeurige fouten.

Een team van onderzoekers heeft nu een nieuwe manier voorgesteld om dit probleem op te lossen, door de selectie van trainingsdata niet te behandelen als een platte zoektocht, maar als een gelaagd proces van ontdekking. Zij stellen dat men, om de beste data te vinden, eerst het brede landschap van de informatie moet begrijpen en vervolgens moet inzoomen op de specifieke, fijnmazige details die er toe doen. Door een systeem te bouwen dat de data eerst groepeert op basis van de belangrijkste thema's en vervolgens zorgvuldig monsters selecteert om de subtiele variaties binnen die thema's te dekken, hebben zij een methode gecreëerd die bestaande technieken consistent overtreft. In tests met complexe visuele en redeneertaakken stelde deze nieuwe aanpak modellen, getraind op slechts een fractie van de data, in staat om net zo goed of zelfs beter te presteren dan modellen die getraind zijn op de volledige dataset.

Het team van onderzoekers, geleid door Peng Sun en collega's van verschillende universiteiten, ontwikkelde een methode die zij MASS noemen, wat staat voor Manifold Aware Sparse Selection. Om te begrijpen waarom dit noodzakelijk is, stel je voor dat je een enorme bibliotheek probeert te organiseren waarbij elk boek wordt beschreven door een enkele, ongelooflijk lange lijst met trefwoorden. Als je probeert om vergelijkbare boeken te vinden door deze lijsten direct te vergelijken, kun je eindigen met het groeperen van een boek over een kat met een boek over een auto, simpelweg omdat beide lijsten toevallig het woord "snel" bevatten, ook al zijn de onderwerpen totaal verschillend. De oorspronkelijke lijsten zijn te rommelig met minder belangrijke details en willekeurige ruis om de ware structuur van de bibliotheek weer te geven. Het team realiseerde zich dat de data die gebruikt wordt om moderne AI-modellen te trainen, vergelijkbaar gedraagt; de wiskundige representaties van deze datapunten zijn zo hoogdimensionaal en complex dat eenvoudige vergelijkingen er niet in slagen de werkelijke relaties vast te leggen.

Om dit op te lossen, ontwierp het team een tweestaps-proces dat nabootst hoe een mens een nieuw gebied zou verkennen. Eerst gebruiken ze een hulpmiddel genaamd een dense autoencoder om de complexe data te comprimeren tot een eenvoudigere, lager-dimensionale vorm. Denk hierbij aan het nemen van een hoogresolutie, driedimensionale kaart van een gebergte en het platdrukken ervan tot een heldere, tweedimensionale topografische kaart die de belangrijkste pieken en dalen laat zien zonder de rommel van elke individuele rots en struik. Deze stap stelt het systeem in staat om de brede, belangrijke semantische groepen binnen de data te identificeren, waardoor de bibliotheek effectief wordt gesorteerd in afzonderlijke secties zoals "wetenschap", "geschiedenis" en "fictie" op basis van de dominante thema's. Deze grove groepering zorgt ervoor dat de geselecteerde data de hoofdgebieden van de kennisruimte dekt.

Zodra de data is georganiseerd in deze brede groepen, begint de tweede stap. Hier gebruiken de onderzoekers een ander hulpmiddel, een sparse autoencoder, om te zoeken naar de specifieke, fijnmazige details binnen elke groep. Terwijl de eerste stap zich bezighield met het grote plaatje, richt deze stap zich op de unieke kenmerken die één voorbeeld van een ander onderscheiden binnen dezelfde categorie. Het is alsof je door de "wetenschap"-sectie van de bibliotheek loopt en ervoor zorgt dat de geselecteerde boeken niet alleen over algemene fysica gaan, maar ook over specifieke subonderwerpen zoals kwantummechanica, astrofysica en thermodynamica, in plaats van vijf boeken te kiezen die toevallig allemaal over hetzelfde nauwe onderwerp gaan. Dit hulpmiddel is ontworpen om alleen de belangrijkste kenmerken eruit te pikken, waarbij de ruis en redundantie die andere methoden vaak in de war brengen, worden genegeerd.

De onderzoekers testten deze aanpak op twee uitdagende datasets: één gericht op algemene visuele instructies en een andere op complexe redeneertaakken waarbij afbeeldingen en tekst betrokken zijn. Ze vergeleken hun methode met negen andere populaire dataselectietechnieken, inclusief willekeurige selectie en methoden gebaseerd op gelijkenis of belangrijkheidsscores. De resultaten waren opmerkelijk. Over verschillende hoeveelheden data, variërend van vijf procent tot vijftien procent van de totale pool, produceerde de MASS-methode consistent modellen die beter presteerden dan modellen getraind met elke andere selectiestrategie. In verschillende gevallen presteerden de modellen die getraind waren op de door MASS geselecteerde subset zelfs beter dan de modellen die getraind waren op de volledige dataset, waarbij ze een hogere nauwkeurigheid behaalden op benchmarks voor visueel begrip en logisch redeneren.

De studie omvatte ook een reeks zorgvuldige controles om te begrijpen waarom de methode zo goed werkte. De onderzoekers ontdekten dat het overslaan van de eerste stap en het direct proberen te groeperen van data vanuit de oorspronkelijke, complexe representaties leidde tot slechtere resultaten, wat bevestigde dat de initiële compressie essentieel was voor het vinden van de juiste structuur. Op dezelfde manier faalde het gebruik van alleen de tweede stap zonder de initiële groepering in het vermogen om de volledige breedte van de data te vatten. De combinatie van beide stappen was cruciaal, waarbij de eerste een stabiel kader bood en de tweede zorgde voor een rijke, gedetailleerde dekking. Ze ontdekten ook dat het systeem robuust is tegen veranderingen in de specifieke hulpmiddelen die voor analyse worden gebruikt, en goed werkt zelfs wanneer verschillende soorten datarepresentaties worden toegepast.

Een van de belangrijkste inzichten van het werk is dat de kwaliteit van de data net zo belangrijk is als de diversiteit ervan. Het MASS-systeem bevat een kwaliteitsscore, waardoor het mogelijk is om zelfs unieke voorbeelden met een lage kwaliteit te vermijden. Dit zorgt ervoor dat de uiteindelijke subset niet alleen divers, maar ook betrouwbaar is. De onderzoekers merkten op dat hoewel hun methode enige initiële computationele inspanning vereist voor het opzetten van de groepering en kenmerkextractie, deze kosten klein zijn in vergelijking met de besparingen die worden behaald door te trainen op een veel kleinere dataset. De tijd die wordt besteed aan het voorbereiden van de data is een eenmalige investering die zichzelf terugbetaalt door de enorme middelen die normaal gesproken nodig zijn voor grootschalige training te verminderen.

Uiteindelijk suggereert dit werk een fundamentele verschuiving in hoe we kunstmatige intelligentie onderwijzen. In plaats van aan te nemen dat meer data altijd beter is, of dat het simpelweg kiezen van diverse voorbeelden voldoende is, laten de onderzoekers zien dat de structuur van de data zelf de sleutel bevat. Door de natuurlijke hiërarchie van informatie te respecteren — eerst het brede landschap begrijpen en vervolgens de specifieke details invullen — kunnen AI-modellen efficiënter leren. De bevindingen bieden een praktisch pad voor ontwikkelaars die krachtige systemen willen trainen zonder toegang tot oneindige rekenkracht of eindeloze stromen aan data, en bewijzen dat met de juiste selectiestrategie, een beetje data inderdaad heel ver kan gaan.

Technische Samenvatting: Hiërarchische Dataselectie via Manifold Coverage en Sparse Feature Coverage in LLM Post-training

Probleemformulering

Naarmate de schaal van supervised fine-tuning (SFT) data voor large language models (LLMs) en vision-language modellen blijft groeien, is het selecteren van waardevolle subsets uit enorme kandidaat-pools cruciaal geworden om de trainingskosten te verlagen terwijl de prestaties van het model gelijk blijven of verbeteren. Bestaande methoden voor dataselectie vertrouwen doorgaans op het meten van diversiteit direct binnen de oorspronkelijke hoogdimensionale embedding-ruimte. Deze aanpak lijdt echter onder een fundamentele beperking: geometrische metrieken in de ruwe embedding-ruimte verstrengelen vaak dominante semantische richtingen, fijnmazige supervisieverschillen en lokale ruis.

De auteurs observeren dat voor complexe instructiedata de oorspronkelijke embedding-ruimte een hoge globale lineaire complexiteit vertoont (waarbij honderden PCA-componenten nodig zijn om variantie te verklaren), maar beschikt over een veel lagere effectieve dimensionaliteit in lokale buurten. Dit suggereert dat datadistributies beter worden gekarakteriseerd als globaal complexe maar lokaal laagdimensionale niet-lineaire manifolds. Bij gevolg is het uitvoeren van platte diversiteitsmeting in de oorspronkelijke ruimte een mix van globale semantische structuur, lokale fijnmazige verschillen en taakongerelateerde verstoringen in één enkel selectiecriterium, wat leidt tot suboptimale subsetselectie.

Methodologie: MASS

Om deze beperkingen aan te pakken, stelt het artikel MASS voor (Manifold Aware Sparse Selection), een methode die dataselectie herformuleert als een coarse-to-fine hiërarchisch coverage probleem. De kernhypothese is dat een geselecteerde subset eerst de dekking over de belangrijkste semantische manifold-regio's moet behouden (grofmazig) en vervolgens de fijnmazige supervisie-features binnen elke regio moet dekken (fijnmazig).

De MASS-pipeline bestaat uit drie hoofdfasen:

Dual View Encoding:
Voor elk kandidaat-monster $z_i = (q_i, a_i)$ (input en respons) worden twee embeddings geconstrueerd met behulp van een bevroren embedding-model:
- Condition Embedding ( $e^c_i$ ): Encodeert alleen de input $q_i$ . Deze wordt gebruikt voor het leren van de primaire manifold-structuur.
- Supervision Embedding ( $e^s_i$ ): Encodeert het samengevoegde paar $(q_i, a_i)$ . Deze legt het volledige supervisiesignaal vast en wordt gebruikt voor fijnmazige feature-extractie.
Coarse-Grained Grouping via Dense Autoencoder (DAE):
Een Dense Autoencoder wordt getraind op de condition-embeddings om stabiele, laagdimensionale primaire manifold-coördinaten te leren.
- Training: De DAE wordt getraind met een perturbatiestrategie (het toevoegen van sferische ruis aan inputs) om robuustheid te garanderen. Het comprimeert hoogdimensionale inputs naar een laagdimensionale latente ruimte (gesteld op 32 dimensies in de hoofdexperimenten).
- Grouping: De geleerde latente coördinaten worden gebruikt om de data te clusteren (bijv. via K-Means) in grofmazige semantische groepen. Deze stap beoogt de dominante semantische richtingen te vangen terwijl redundante dimensies en lokale ruis worden onderdrukt.
Fine-Grained Selection via TopK Sparse Autoencoder (SAE):
Binnen elke grofmazige groep wordt een TopK Sparse Autoencoder ingezet om sparse supervisie-features te extraheren uit de supervision embeddings.
- Feature Extractie: De SAE brengt inputs in kaart naar een overcompleet feature-ruimte, past ReLU toe en behoudt alleen de top $K$ activaties (bijv. $K=64$ uit 131.072 features).
- Greedy Selectie: Monsters worden sequentieel binnen elke groep geselecteerd. De selectiescore combineert twee factoren:
  - SAE Coverage Gain: Een metriek die meet hoeveel nieuwe sparse features een kandidaat-monster dekt ten opzichte van de momenteel geselecteerde subset, genormaliseerd door de feature-activatiemagnitude.
  - Quality Score ( $\eta_i$ ): Een externe kwaliteitsscore (bijv. van een lichtgewicht multimodale model) om te voorkomen dat er enkel voor de diversiteit lage kwaliteit monsters worden geselecteerd.
- Het algoritme selecteert greedily het monster met de hoogste gecombineerde score totdat het budget van de groep is gevuld.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Probleemherformulering: De auteurs herformuleren SFT-dataselectie als een hiërarchisch coverage probleem, waarbij grove semantische manifold-dekking expliciet wordt gescheiden van fijnmazige supervisie-feature dekking.
MASS Framework: Ze stellen het MASS-algoritme voor, dat een Dense Autoencoder (DAE) integreert voor het construeren van stabiele primaire manifold-groepen en een TopK Sparse Autoencoder (SAE) voor binnen-groep sparse feature-dekking, aangevuld met externe kwaliteitssignalen.
Empirische Validatie: De methode wordt gevalideerd over meerdere datasets (Vision-Flan, LLaVA-CoT), databudgets (5%, 10%, 15%), embedding-bronnen en doelmodellen, waarbij consistente effectiviteit en robuustheid worden aangetoond.

Experimentele Resultaten

De auteurs evalueerden MASS op Vision-Flan (algemene instructietaken) en LLaVA-CoT (redeneringstaken) met doelmodellen zoals LLaVA-V1.5-7B en Llama-3.2-11B-Vision-Instruct.

Prestaties: MASS presteerde consequent beter dan negen sterke baselines (inclusief Random, XMAS, COINCIDE, SemDeDup, PRISM en EL2N) over alle databudgets.
Overtreffen van Full Data: In verschillende settings bereikte MASS prestaties die overeenkwamen met of zelfs de full-data training overtroffen, met gebruik van slechts een kleine subset (bijv. op Vision-Flan met een budget van 10%, behaalde MASS een Average Relative Performance (ARP) van 102,12, wat hoger is dan de full-data baseline van 100,00).
Ablatie-studies:
- DAE vs. Raw Embeddings: Het vervangen van DAE-clustering door raw embedding-clustering resulteerde in lagere prestaties (101,59 vs. 102,12 ARP), wat bevestigt dat primaire manifold-coördinaten betrouwbaardere grove groepering bieden.
- Complementariteit: Het gebruik van alleen DAE (coarse grouping) of alleen SAE (fine coverage) leverde lagere resultaten op dan de gecombineerde aanpak, wat aantoont dat de twee componenten complementair zijn.
- Configuratiegevoeligheid: Hoewel 32 dimensies werden gebruikt in de hoofdexperimenten, toonde een gevoeligheidsanalyse aan dat een latente dimensie van 64 de beste ARP bereikte (102,71), wat suggereert dat een matige compressiedimensie een betere balans vindt tussen structuurbehoud en ruisonderdrukking. Daarnaast leverde een TopK sparsity van 64 optimale resultaten op. Grotere SAE feature-dimensies (131.072 vs. 65.536) verbeterden de prestaties, wat wijst op de noodzaak van voldoende feature-capaciteit.
- Kwaliteitssignalen: Het verwijderen van kwaliteitsscores verminderde de prestaties aanzienlijk, terwijl het wijzigen van het scoring-model consistente verbeteringen opleverde, wat de robuustheid van de integratie van het kwaliteitssignaal aantoont.
- Robuustheid: MASS behield superieure prestaties ten opzichte van random selectie over verschillende doelmodel-schalen en families (bijv. LLaVA-13B en Qwen2-VL-2B).

Betekenis en Beperkingen

Betekenis:
Het artikel beweert dat MASS een nieuw paradigma biedt voor embedding-gebaseerde dataselectie. Door te erkennen dat complexe instructiedata zich op niet-lineaire manifolds bevindt met variërende lokale dimensies, vermijdt MASS de valkuilen van platte geometrische selectie. Het demonstreert dat een hiërarchische aanpak — het behouden van de globale manifold-structuur terwijl de fijnmazige feature-diversiteit wordt gewaarborgd — leidt tot een efficiëntere en effectievere dataselectie, die vaak de full-data training overtreft met aanzienlijk minder samples.

Beperkingen:
De auteurs erkennen bescheiden enkele beperkingen:

Afhankelijkheid van Externe Signalen: MASS is afhankelijk van externe embedding-bronnen en kwaliteitsscore-modellen. Als deze signalen ernstig bevooroordeeld zijn, kan de geselecteerde subset hierdoor worden beïnvloed.
Restricties van de Kandidaat-pool: De methode opereert binnen een gegeven kandidaat-pool. Als de pool zelf bepaalde taaltypen of supervisiepatronen mist, kan MASS deze fundamentele distributionele hiaten niet compenseren.
Taakgerichte Selectie: Het huidige werk richt zich op het selecteren van subsets uit algemene datacollecties voor SFT. Het adresseert niet hoe specifieke subsets kunnen worden geselecteerd voor afzonderlijke downstream-taken, wat een gebied is voor toekomstig onderzoek.