💬 NLP

Target-Oriented Pretraining Data Selection via Neuron-Activated Graph

Die vorgestellte Arbeit führt das neuronengesteuerte Ranking (NAG) ein, ein trainingsfreies und interpretierbares Framework zur Auswahl von Vorab-Trainingsdaten basierend auf hochrelevanten Neuronen in Sprachmodellen, das die zielgerichtete Vorab-Training-Leistung signifikant verbessert und eine spärliche „funktionale Rückgrat"-Struktur für das Erlernen von Zielmerkmalen identifiziert.

Ursprüngliche Autoren: Zijun Wang, Haoqin Tu, Weidong Zhou, Yiyang Zhou, Xiaohuan Zhou, Bingni Zhang, Weiguo Feng, Taifeng Wang, Cihang Xie, Fengze Liu

Veröffentlicht 2026-04-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zijun Wang, Haoqin Tu, Weidong Zhou, Yiyang Zhou, Xiaohuan Zhou, Bingni Zhang, Weiguo Feng, Taifeng Wang, Cihang Xie, Fengze Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du möchtest einen jungen Schüler (ein KI-Modell) darauf vorbereiten, ein Weltmeister im Mathe-Rätseln zu werden.

Normalerweise würde man dem Schüler einfach alles geben, was im Internet an Texten zu finden ist: Kochbücher, Liebesromane, Nachrichten über Fußball und natürlich auch Mathe. Das Problem ist: Der Schüler verbringt 99 % seiner Zeit damit, Rezepte auswendig zu lernen, und hat kaum Zeit für Mathe. Er wird zwar ein bisschen besser, aber nicht zum Experten.

Die Forscher in diesem Papier haben eine geniale Idee entwickelt, wie man dem Schüler genau die richtigen Lernmaterialien aussucht, ohne ihn vorher selbst unterrichten zu müssen. Sie nennen ihre Methode NAG (Neuron-Activated Graph).

Hier ist die Erklärung in einfachen Bildern:

1. Das Problem: Der "Black Box"-Ansatz

Bisher haben andere Methoden versucht, gute Texte auszuwählen, indem sie sich die Oberfläche der Texte angesehen haben.

Die alte Methode: "Dieser Text sieht aus wie Mathe, weil er Zahlen enthält." oder "Dieser Text ist gut, weil er grammatikalisch perfekt ist."
Das Problem: Das ist wie ein Lehrer, der nur auf das Kleid des Schülers schaut. Ein Schüler in einem Mathe-T-Shirt könnte eigentlich nur über Fußball reden. Die alten Methoden verwechseln oft das Aussehen mit dem eigentlichen Inhalt.

2. Die Lösung: Der "Gehirn-Scan" (NAG)

Die neue Methode von NAG macht etwas viel Tiefgründigeres. Sie schaut nicht auf den Text selbst, sondern darauf, was im Gehirn des KI-Modells passiert, wenn es den Text liest.

Stell dir das KI-Modell als eine riesige Stadt mit Millionen von Lichtschaltern (Neuronen) vor.

Wenn das Modell einen Text über Mathe liest, leuchten bestimmte, ganz spezifische Lichtschalter auf.
Wenn es einen Text über Kochen liest, leuchten ganz andere Schalter auf.

Die Forscher sagen: "Wir wollen nicht den Text auswählen, der wie Mathe aussieht. Wir wollen den Text auswählen, der genau die gleichen Lichtschalter im Gehirn des Modells zum Leuchten bringt wie ein echtes Mathe-Problem."

3. Wie funktioniert das? (Der Prozess)

Der Ziel-Scan: Zuerst geben sie dem Modell ein paar echte Mathe-Aufgaben. Sie schauen sich genau an: "Welche 0,12 % aller Lichtschalter im Gehirn leuchten hier auf?" Diese wenigen, wichtigen Schalter sind wie der Schlüssel zum Verständnis von Mathe.
Der Kandidaten-Scan: Dann nehmen sie einen riesigen Haufen an Texten (Kandidaten). Sie lesen jeden Text kurz durch und schauen: "Leuchten hier die gleichen Lichtschalter auf wie bei den Mathe-Aufgaben?"
Die Auswahl: Texte, die die gleichen Lichtschalter aktivieren, landen auf der "Ja"-Liste. Texte, die andere Schalter aktivieren (z. B. Schalter für Kochrezepte), landen auf der "Nein"-Liste.
Das Training: Das Modell wird nur mit den Texten der "Ja"-Liste trainiert.

4. Warum ist das so genial?

Es ist wie ein Magnet: Die Methode zieht genau die Daten an, die das Gehirn des Modells in die richtige Richtung "ziehen".
Es ist effizient: Statt den Schüler mit 100 Büchern zu überfluten, geben sie ihm nur 20 Bücher, die aber perfekt auf sein Ziel zugeschnitten sind. Das Papier zeigt, dass das Modell dadurch deutlich schneller und besser lernt als mit zufälligen Daten.
Es ist erklärbar: Im Gegensatz zu anderen Methoden, die wie eine "Black Box" funktionieren (man weiß nicht, warum sie etwas auswählen), können die Forscher hier genau sagen: "Wir haben diesen Text gewählt, weil er Schalter Nr. 45 und Nr. 89 im Gehirn aktiviert hat, die wir für Mathe brauchen."

5. Das Ergebnis

In Tests haben sie gezeigt, dass Modelle, die mit dieser Methode trainiert wurden, in Mathe, Logik und Verständnisfragen deutlich besser abschneiden als Modelle, die zufällige Daten gelernt haben. Sogar wenn sie das Modell auf mehrere Ziele gleichzeitig trainieren wollten (z. B. Mathe UND Geschichte), funktionierte die Methode besser als alle bisherigen Tricks.

Zusammenfassend:
Statt dem KI-Modell blindlings Daten zu geben, schauen die Forscher genau hinein, wie das Gehirn des Modells arbeitet. Sie wählen nur die Daten aus, die genau die richtigen "Gehirn-Schalter" für das gewünschte Ziel aktivieren. Es ist, als würde man einem Schüler nicht einfach irgendein Buch geben, sondern genau das Buch, das sein Gehirn in den "Mathe-Modus" versetzt.

1. Problemstellung

Das Training von Large Language Models (LLMs) erfordert enorme Datenmengen. Die Auswahl hochwertiger Vortrainingsdaten ist entscheidend für die Leistung, doch der Begriff „hochwertig" ist oft vage definiert. Bestehende Methoden konzentrieren sich entweder auf:

Allgemeine Qualitätsheuristiken: (z. B. FineWeb-Edu), die Textqualität ohne Rücksicht auf spezifische Downstream-Aufgaben bewerten.
Zielorientierte Ansätze: Diese nutzen oft „Black-Box"-Repräsentationen wie Embeddings oder Verlustfunktionen, um Ähnlichkeit zu Zielbeispielen zu messen.

Das Hauptproblem: Diese Black-Box-Ansätze sind schwer interpretierbar und verpassen oft die tieferen, funktionalen Mechanismen, die für das Erlernen spezifischer Fähigkeiten (z. B. mathematisches Schlussfolgern) notwendig sind. Es besteht eine Lücke zwischen den gewählten Daten und den tatsächlichen internen Berechnungsmustern des Modells, die für die Zielaufgabe relevant sind.

2. Methodik: Neuron-Activated Graph (NAG)

Die Autoren stellen NAG-based Ranking vor, ein trainingsfreies und interpretierbares Framework zur Auswahl von Vortrainingsdaten basierend auf Zielvorgaben.

Kernidee:
Anstatt auf oberflächliche Embeddings zu vertrauen, charakterisiert die Methode jeden Eingabetext durch die sparse Menge an Neuronen in einem existierenden LLM, die für die Verarbeitung dieses Textes den größten Einfluss haben.

Schritt-für-Schritt-Prozess:

Quantifizierung des Neuroneneinflusses (Neuron Impact):
- Für eine Eingabe $h_{in}$ wird der Einfluss eines Neurons $N_k$ in einer Projektionsschicht (z. B. FFN UP) gemessen.
- Der Einfluss wird als Betrag der Änderung des Schichtausgangs definiert, wenn das Neuron deaktiviert wird (Nullsetzen der entsprechenden Spalte in der Gewichtsmatrix $W$ ):
  $Imp(N_k | h_{in}) = ||h_{in}^T W - h_{in}^T (W \setminus N_k)||_2 = |h_{in}^T W_{:,k}|$
Konstruktion des Neuron-Activated Graph (NAG):
- Für jede Schicht des Modells werden die Top- $K$ Neuronen mit dem höchsten Einfluss ausgewählt.
- Der NAG ist die Sammlung dieser Neuronen-Indizes über alle Schichten hinweg: $NAG(c) = \{N^{(K)}_1(c), \dots, N^{(K)}_L(c)\}$ .
Ranking und Auswahl:
- Ein kleines Set von Zielbeispielen ( $D_{target}$ ) wird verwendet, um ein aggregiertes „Ziel-Profil" zu erstellen, das die Häufigkeit der Aktivierung von Neuronen in diesem Set beschreibt.
- Kandidatendaten werden basierend auf ihrer Ähnlichkeit zu diesem Zielprofil gerankt. Die Ähnlichkeit wird als überlappende Jaccard-Ähnlichkeit (bzw. eine frequenzbasierte Variante) zwischen dem NAG des Kandidaten und dem Zielprofil berechnet.
- Die Top-Daten werden für das Vortraining ausgewählt.

3. Wichtige Beiträge

Interpretierbarkeit: Im Gegensatz zu Black-Box-Methoden liefert NAG direkte Einblicke in die internen Berechnungsstrukturen des Modells. Es identifiziert eine „funktionale Rückgratstruktur" (functional backbone) von Neuronen.
Trainingsfreiheit: Das Framework benötigt kein zusätzliches Training eines Klassifikators oder einer Proxy-Modellierung; es nutzt ein beliebiges off-the-shelf LLM als Analyseinstrument.
Robustheit im Multi-Target-Szenario: Die Methode funktioniert effektiv, wenn mehrere Ziele gleichzeitig verfolgt werden, wo andere Methoden oft an Leistung verlieren.
Skalierbarkeit: Die Methode ist modellagnostisch und funktioniert mit verschiedenen Backbone-Modellen (Qwen, Llama, SmolLM) als Extraktor.

4. Ergebnisse

Die Methode wurde auf sechs Benchmarks (ARC-C, HellaSwag, TriviaQA, MMLU, XStoryCloze, XWinograd) evaluiert.

Leistungsgewinn: Im Vergleich zur zufälligen Stichprobe (Random Sampling) erzielte NAG-basiertes Ranking eine durchschnittliche Verbesserung von 4,9 % in zielorientierten Vortrainings.
Vergleich mit State-of-the-Art: NAG übertraf den starken Baseline BETR (Embedding-basiert) um durchschnittlich 5,3 % Genauigkeit auf HellaSwag und insgesamt um 1 % über alle Benchmarks hinweg.
Multi-Target: In Szenarien mit gemischten Zielen übertraf NAG die Baselines um 1,1 % bzw. 4,1 %, während BETR hier oft an Leistung verlor.
Kombination mit Qualitäts-Signalen: Die Kombination von NAG mit existierenden Qualitäts-Methoden (FineWeb-Edu) führte zu weiteren Verbesserungen, was zeigt, dass NAG komplementäre Informationen liefert.

5. Analyse und Signifikanz

Die Autoren führen tiefgehende Analysen durch, um zu erklären, warum und wie NAG funktioniert:

Kritische Neuronen (Functional Backbone): Deaktivieren nur 0,12 % der Neuronen (die von NAG als wichtig identifiziert wurden), führt zu einem massiven Leistungsabfall von 23,5 %. Zufällige Deaktivierung hat kaum Effekt. Dies beweist, dass NAG eine hochspezialisierte, sparse Gruppe von Neuronen identifiziert, die für die Zielaufgabe essenziell sind.
Schichtübergreifende Signale: Die Beschränkung des NAG auf die letzte Schicht führt zu einem Leistungsabfall von 4,1 %. Dies zeigt, dass zielrelevante Signale über alle Schichten des Modells verteilt sind und nicht nur in den finalen Embeddings enthalten sind.
Aufgaben-Diskriminierung: Clustering-Analysen zeigen, dass NAG-Repräsentationen Aufgaben klar trennen (z. B. Mathematik vs. Linguistik), was die Eignung für die zielgerichtete Datenselektion unterstreicht.
Effizienz: Die Datenselektion ist rechnerisch effizient (ein Forward-Pass pro Dokument) und bietet „Compute Multipliers" von bis zu 3,7x im Vergleich zu zufälliger Auswahl, da weniger Daten für das gleiche Ergebnis benötigt werden.

Fazit:
Das Paper demonstriert, dass die gezielte Auswahl von Vortrainingsdaten durch die Analyse der Neuronen-Aktivierungsmuster in existierenden Modellen eine überlegene Strategie darstellt. NAG bietet einen interpretierbaren Weg, um Daten zu finden, die die spezifischen internen Berechnungswege aktivieren, die für das Erlernen gewünschter Fähigkeiten notwendig sind, und übertrifft dabei sowohl allgemeine Qualitätsfilter als auch moderne zielorientierte Baselines.