💬 NLP

Target-Oriented Pretraining Data Selection via Neuron-Activated Graph

Deze paper introduceert Neuron-Activated Graph Ranking, een trainingsvrij en interpreteerbaar framework dat doelspecifieke pretraining-data selecteert door een compacte grafiek van de meest invloedrijke neuronen te construeren, wat resulteert in aanzienlijk betere prestaties dan bestaande methoden.

Oorspronkelijke auteurs: Zijun Wang, Haoqin Tu, Weidong Zhou, Yiyang Zhou, Xiaohuan Zhou, Bingni Zhang, Weiguo Feng, Taifeng Wang, Cihang Xie, Fengze Liu

Gepubliceerd 2026-04-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zijun Wang, Haoqin Tu, Weidong Zhou, Yiyang Zhou, Xiaohuan Zhou, Bingni Zhang, Weiguo Feng, Taifeng Wang, Cihang Xie, Fengze Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kok bent die een perfecte pizza wil maken, maar je hebt een berg met 150 miljard ingrediënten (data) waaruit je moet kiezen. De meeste koks gooien gewoon een willekeurige handvol ingrediënten in de oven en hopen op het beste. Dat werkt soms, maar vaak is het resultaat saai of niet precies wat je wilt.

Andere koks proberen slim te zijn door te kijken naar de "kwaliteit" van de ingrediënten: is het vers? Is het schoon? Maar wat als je een specifieke smaak wilt, zoals een scherpe kaas voor een Italiaanse pizza? Dan helpt het niet om alleen naar de versheid te kijken; je moet ingrediënten kiezen die specifiek die kaas-smaak kunnen creëren.

Dit is precies het probleem dat dit paper oplost voor kunstmatige intelligentie (AI).

Het Probleem: De "Zwarte Doos"

Tot nu toe hebben mensen AI-modellen getraind met data die ze als "hoogwaardig" beschouwden, of ze hebben gekeken naar de oppervlakkige gelijkenis tussen een voorbeeld en de data. Het probleem is dat dit vaak als een zwarte doos werkt. Je ziet niet waarom een stukje data goed is voor een specifieke taak (zoals wiskunde of medische kennis). Het is alsof je zegt: "Dit ingrediënt smaakt goed," zonder te weten welke chemische reactie er in je mond plaatsvindt.

De Oplossing: De "Neuron-Geactiveerde Grafiek" (NAG)

De auteurs van dit paper hebben een nieuwe manier bedacht om de beste data te kiezen, genaamd NAG-based Ranking. Laten we dit uitleggen met een analogie:

Stel je voor dat het AI-model een enorm groot, complex orgel is met miljoenen toetsen (neuronen).

De "Vingerprint" van een taak: Als je een specifiek liedje wilt spelen (bijvoorbeeld een wiskundeprobleem oplossen), druk je niet op alle toetsen. Je gebruikt slechts een heel klein, specifiek groepje toetsen in een bepaalde volgorde.
Het NAG-systeem: In plaats van te kijken naar het hele liedje (de tekst), kijkt NAG naar welke specifieke toetsen er worden ingedrukt als het AI-model naar een voorbeeld kijkt.
- Als je een wiskundevraag geeft, drukken bepaalde toetsen in het "wiskunde-deel" van het orgel.
- Als je een verhaal geeft, drukken andere toetsen in het "verhalende deel".

Hoe werkt het in de praktijk?

Het proces ziet er zo uit:

Het Voorbeeld: Je geeft het AI-model een paar voorbeelden van wat je wilt leren (bijvoorbeeld: "Ik wil een expert worden in wiskunde").
De Scan: Het systeem kijkt welke "toetsen" (neuronen) in het AI-model oplichten bij deze voorbeelden. Het maakt een kaartje (een grafiek) van deze actieve toetsen. Dit noemen ze de Neuron-Activated Graph (NAG).
De Selectie: Nu gaat het systeem door de enorme berg data (de 150 miljard ingrediënten). Voor elk stukje data kijkt het: "Welke toetsen licht op als ik dit lees?"
De Match: Als een stukje data dezelfde toetsen laat oplichten als je wiskunde-voorbeelden, dan is het een perfecte match! Die data wordt geselecteerd. Als het andere toetsen laat oplichten (bijvoorbeeld voor koken), dan wordt het genegeerd, zelfs als het "goede" data is.

Waarom is dit zo cool?

Geen extra training nodig: Je hoeft geen nieuwe AI te trainen om dit te doen. Je gebruikt gewoon de bestaande AI als een detector.
Het werkt als een "Ruggengraat": De onderzoekers ontdekten iets fascinerends. Ze deden een experiment waarbij ze de toetsen die NAG had gevonden, even "stilzetten" (uitzetten). Resultaat? De AI viel bijna volledig uit elkaar (de prestaties daalden met 23,5%), terwijl ze maar 0,12% van de totale toetsen uitzetten!
- Analogie: Het is alsof je in een auto de motor, de wielen en de remmen verwijdert. De auto ziet er nog heel uit, maar hij kan niet meer rijden. NAG vindt precies die vitale onderdelen.
Dieper dan oppervlak: Andere methoden kijken alleen naar de buitenkant van de data (zoals de laatste zin van een tekst). NAG kijkt naar de interne werking, alsof je kijkt naar hoe de motor brandstof verbrandt, niet alleen naar hoe de auto eruitziet.

Het Resultaat

Door alleen de data te kiezen die deze specifieke "toetsen" activeren, werd de AI veel beter in de taak die ze wilden leren.

Bij wiskundige redenering (HellaSwag) was de AI 5,3% beter dan de beste bestaande methoden.
Het werkt zelfs als je meerdere doelen hebt (bijvoorbeeld wiskunde én geschiedenis tegelijk), iets waar andere methoden vaak tegenaan lopen.

Samenvatting in één zin

In plaats van te raden welke data goed is voor een specifieke taak, kijkt deze methode direct naar de "vingerafdruk" in het brein van de AI en kiest alleen de data die precies diezelfde vingers laat bewegen. Het is alsof je een kok niet vraagt "wat is goed?", maar hem laat kijken naar "welke ingrediënten maken precies dit specifieke gerecht mogelijk?".

1. Het Probleem

Het pretrainen van Large Language Models (LLMs) vereist enorme hoeveelheden data. Hoewel het selecteren van "hoogwaardige" data cruciaal is voor de prestaties, is de definitie van kwaliteit vaak vaag en niet afgestemd op specifieke doelen.

Bestaande aanpakken: Veel methoden vertrouwen op heuristieken (zoals perplexity) of classifiers die trainen op algemene kwaliteit (bijv. educatieve waarde). Deze benaderingen zijn vaak "black-box" en missen de link met specifieke downstream-taakcapaciteiten (zoals wiskundig redeneren of medische kennis).
Target-georiënteerde methoden: Bestaande methoden die wel gericht zijn op specifieke taken, gebruiken vaak embedding-achtige gelijkenis of verliesfuncties. Deze signalen zijn echter vaak oppervlakkig (shallow) en moeilijk te interpreteren, waardoor het lastig is om te begrijpen waarom bepaalde data effectief is.

Het doel van dit artikel is een trainingsvrije, interpreteerbare methode te ontwikkelen om pretraining-data te selecteren die specifiek is afgestemd op een gewenst doel (target), zonder extra training van een classifier.

2. Methodologie: Neuron-Activated Graph (NAG)

De auteurs introduceren Neuron-Activated Graph Ranking (NAG-based Ranking). In plaats van te kijken naar de output van het model of embeddings, karakteriseren ze elke invoer op basis van de interne neurale activatie.

Kernconcepten:

Neuron Impact: Voor een gegeven invoer wordt de impact van individuele neuronen in een bestaand LLM (bijv. Qwen, Llama) gemeten. Dit gebeurt door te simuleren wat er gebeurt als een neuron wordt gedeactiveerd (gezet naar nul). De impact wordt gedefinieerd als de grootte van de bijdrage van dat neuron aan de laaguitvoer ( $Imp = ||h_{in}^T W_{:,k}||_2$ ).
Neuron-Activated Graph (NAG): Voor elke invoer wordt een compacte grafiek geconstrueerd. Dit bestaat uit de set van de Top-K meest impactvolle neuronen per laag in het model. In plaats van alle neuronen te gebruiken, selecteert de methode een zeer schaarse subset (ongeveer 0,3% van de neuronen per laag).
Ranking en Selectie:
1. Een kleine set van voorbeelden (target set) wordt gebruikt om een "target NAG-profiel" te bouwen door de frequentie van geactiveerde neuronen te aggregeren.
2. Kandidaat-data uit een grote pool wordt omgezet in hun eigen NAG.
3. De kandidaten worden gerangschikt op basis van de gelijkenis (Jaccard-achtige overlap) tussen hun NAG en het target-profiel.
4. De top-ranglijst wordt geselecteerd voor pretraining.

Belangrijkste kenmerken:

Trainingsvrij: Geen extra training van een classifier nodig; het gebruikt alleen de interne signalen van een bestaand model.
Interpreteerbaar: Het is duidelijk welke neuronen (en dus welke functies) de selectie drijven.
Schaars: Het focust op een "functionele ruggengraat" van het model.

3. Belangrijkste Bijdragen

NAG Framework: Een nieuwe, neuron-centrische aanpak voor data-selectie die de interne computationele patronen van een LLM gebruikt in plaats van oppervlakkige embeddings.
Interpreteerbaarheid en Analyse: De auteurs tonen aan dat NAG een schaarse "functionele ruggengraat" identificeert. Het deactiveren van slechts 0,12% van de neuronen (die door NAG als kritiek zijn geselecteerd) leidt tot een ineenstorting van de prestaties met 23,5%. Dit bewijst dat deze neuronen essentieel zijn voor de taak.
Multi-layer Integratie: In tegenstelling tot methoden die alleen de laatste laag gebruiken, toont de analyse aan dat taakrelevante signalen over alle lagen verspreid zijn. Het beperken van NAG tot de laatste laag resulteert in een prestatiedaling van gemiddeld 4,1%.
Robuustheid: De methode werkt consistent over verschillende backbone-modellen (Qwen, Llama, SmolLM) en in zowel single-target als multi-target scenario's.

4. Resultaten

De methode is getest op zes benchmarks (ARC-C, HellaSwag, TriviaQA, MMLU, XStoryCloze, XWinograd) met een pretraining-budget van 30 miljard tokens.

Prestatieverbetering: NAG-based Ranking verbetert de prestaties van doelgerichte pretraining met gemiddeld 4,9% ten opzichte van willekeurige steekproeven (random sampling).
Vergelijking met SOTA: Het presteert beter dan state-of-the-art baselines zoals BETR (een embedding-gebaseerde methode) en FineWeb-Edu (kwaliteitsgebaseerd). Op de HellaSwag-benchmark is de verbetering 5,3% ten opzichte van BETR.
Multi-Target: Zelfs in complexe scenario's met meerdere doelen (waarbij baselines vaak falen), behoudt NAG zijn superioriteit (+1,1% tot +4,1% ten opzichte van baselines).
Combinatie met Kwaliteit: Wanneer NAG wordt gecombineerd met bestaande kwaliteitsfilters (FineWeb-Edu), worden de resultaten verder verbeterd, wat aangeeft dat NAG complementaire informatie biedt.

5. Betekenis en Conclusie

Dit werk is significant omdat het de kloof overbrugt tussen data-selectie en de interne werking van LLMs.

Van "Black-box" naar Transparant: Het biedt een manier om data te selecteren op basis van hoe het model de data verwerkt (neurale patronen), in plaats van alleen wat de data inhoudt of hoe goed een classifier het vindt.
Efficiëntie: Het leidt tot aanzienlijke "compute multipliers" (tot 3,7x efficiënter op sommige taken), wat betekent dat minder trainingsdata nodig is om dezelfde prestaties te bereiken.
Toekomstperspectief: De bevinding dat een zeer schaarse set neuronen de "functionele ruggengraat" vormt, opent nieuwe wegen voor het begrijpen en sturen van de capaciteiten die tijdens pretraining worden geleerd.

Kortom, NAG biedt een krachtige, interpreteerbare en trainingsvrije methode om pretraining-data te selecteren die specifiek is afgestemd op de gewenste vaardigheden van een taalmodel.