🤖 machine learning

WARP: Weight-Space Analysis for Recovering Training Data Portfolios

Das Paper stellt WARP vor, ein Framework, das die spezifischen Domänenmischungsgewichte rekonstruiert, die zum Trainieren von Foundation-Modellen verwendet wurden, indem es geometrische Merkmale in deren Gewichtshraum analysiert, und damit die Einschränkungen vorangegangener Methoden überwindet, die nur einzelne Datensamples detektieren können.

Ursprüngliche Autoren: Tzu-Heng Huang, Aditya Goyal, John Cooper, Frederic Sala

Veröffentlicht 2026-07-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tzu-Heng Huang, Aditya Goyal, John Cooper, Frederic Sala

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie kaufen einen köstlichen, komplexen Kuchen von einer berühmten Bäckerei. Die Bäckerei liefert Ihnen den fertigen Kuchen, weigert sich aber, Ihnen das Rezept zu verraten: wie viel Mehl, Zucker oder Vanille sie verwendet haben oder in welchen Proportionen. Sie sagen nur: „Hier ist der Kuchen; genießen Sie ihn.“

In der Welt der KI sind diese „Kuchen“ Foundation Models (wie die Chatbots oder Textgeneratoren, die man online sieht). Das „Rezept“ ist die Datenmischung – die spezifische Kombination verschiedener Arten von Informationen (wie Nachrichten, Code, wissenschaftliche Arbeiten oder Social-Media-Beiträge), die verwendet wurden, um das Modell zu trainieren. Normalerweise ist dieses Rezept ein Geheimnis.

Dies schafft ein Problem: Forscher können zwar den Kuchen (das Modell) untersuchen, aber sie können nicht die Zutaten (die Daten) sehen, die ihn gemacht haben. Dies macht es schwierig zu wissen, ob das Modell aus guten Quellen gelernt hat oder ob es versehentlich etwas „gegessen“ hat, das es nicht hätte essen sollen.

Das Problem: Der fehlende Pfad

Normalerweise müsste man, um ein Rezept herauszufinden, dem Bäcker beim Mischen der Zutaten Schritt für Schritt zusehen. In der Welt der KI bedeutet dies, den Trainingspfad (training trajectory) zu sehen – die Aufzeichnung, wie sich das „Gehirn“ des Modells während des Lernens verändert. Aber für die meisten veröffentlichten Modelle erhalten wir nur zwei Schnappschüsse:

Das Basismodell: Der rohe, ungebackene Teig.
Das feinabgestimmte Modell: Der fertige Kuchen.

Der Pfad zwischen ihnen ist verloren gegangen. Frühere Methoden versuchten, das Rezept zu erraten, indem sie nach einzelnen „Krümeln“ (spezifischen Datenpunkten) suchten, um zu sehen, ob sie in der Mischung enthalten waren, aber das ist so, als würde man versuchen, das gesamte Kuchenrezept zu erraten, indem man nur eine einzige Streuselprobe schmeckt. Das gibt einem nicht das große Ganze.

Die Lösung: WARP (Der „Zeitreise“-Kuchen)

Die Autoren führen ein neues Werkzeug namens WARP (Weight-Space Analysis for Recovering Training Data Portfolios) ein. So funktioniert es, unter Verwendung einfacher Analogien:

1. Den fehlenden Pfad rekonstruieren (Den Pfad simulieren)
Da wir den echten Pfad, den der Bäcker genommen hat, nicht sehen können, erstellt WARP einen künstlichen Pfad mithilfe einer Technik namens „Model Merging“. Stellen Sie sich vor, Sie haben den rohen Teig und den fertigen Kuchen. WARP erstellt eine Serie von „Pseudo-Kuchen“ dazwischen, indem es den Teig und den Kuchen mathematisch in kleinen Schritten miteinander vermischt.

Schritt 1: 90 % Teig, 10 % Kuchen.
Schritt 2: 80 % Teig, 20 % Kuchen.
...und so weiter, bis man bei 100 % Kuchen ankommt.

Diese künstlichen Schritte dienen als Stellvertreter für den echten Trainingsprozess und geben den Forschern eine „Roadmap“ zum Studium.

2. Einen geometrischen „Fußabdruck“ hinterlassen (Der Mimic-Score)
Nun nimmt WARP einen kleinen, bekannten Satz an Testzutaten (einen „Probing-Datensatz“) und fragt: „Wenn wir diese spezifische Zutat zu unserem künstlichen Pfad hinzufügen würden, wie stark würde sie den Kuchen in Richtung des Endergebnisses drücken?“

Es misst die Ausrichtung (Alignment). Wenn der fertige Kuchen hauptsächlich aus „Nachrichten“-Daten besteht, dann werden „Nachrichten“-Zutaten den künstlichen Pfad stark in Richtung des fertigen Kuchens drücken. „Wissenschaftliche“ Zutaten könnten den Pfad schwach oder in die falsche Richtung drücken. Dies erzeugt einen geometrischen Fußabdruck – eine einzigartige Form im „Gehirn“ des Modells, die offenbart, welche Zutaten dominant waren.

3. Das Rezept lesen (Der Decoder)
Schließlich betrachtet WARP diesen Fußabdruck und übersetzt ihn zurück in ein Rezept. Es hat zwei Wege, dies zu tun:

Die schnelle Vermutung (Unsupervised): Es verwendet eine einfache mathematische Formel (Softmax), um die Form zu betrachten und zu sagen: „Das sieht aus wie 40 % Nachrichten, 30 % Code, 30 % Wissenschaft.“
Der geschulte Experte (Supervised): Es verwendet eine kleine KI (ein MLP), die zuvor auf künstlichen Kuchen mit bekannten Rezepten trainiert wurde. Diese KI betrachtet den Fußabdruck und sagt: „Basierend auf dem, was ich gelernt habe, ist das definitiv 40 % Nachrichten, 30 % Code, 30 % Wissenschaft.“

Die Ergebnisse: Wie gut hat es funktioniert?

Die Forscher haben dies an zwei verschiedenen „Bäckereien“ (BERT und GPT-2) unter Verwendung verschiedener Arten von Daten (Nachrichten, Rezensionen usw.) getestet.

Es ist viel besser als Raten: Zufälliges Raten oder das Betrachten einzelner Krümel (frühere Methoden) war oft falsch.
Es ist überraschend genau: WARP errat das Rezept mit sehr hoher Präzision. Für das BERT-Modell betrug der durchschnittliche Fehler nur 0,046 (was bedeutet, dass es fast punktgenau war). Für GPT-2 lag der Fehler bei 0,104.
Es funktioniert, egal ob der Bäcker zu früh aufgehört oder zu lange gebacken hat: Ob das Modell gerade genug trainiert, perfekt trainiert oder übertrainiert wurde – WARP konnte das Rezept immer noch bestimmen.
Der künstliche Pfad war besser als der echte: Überraschenderweise funktionierte die Verwendung des künstlichen Pfads (der gemergten Modelle) sogar besser als die Verwendung der echten Trainingsschritte (falls diese vorhanden gewesen wären). Dies liegt daran, dass der echte Trainingspfad „verrauscht“ und chaotisch sein kann, während der künstliche Pfad glatt und sauber ist, was das Lesen des Rezepts erleichtert.

Das Fazentelement

WARP beweist, dass man selbst dann, wenn man nur das fertige KI-Modell und das ursprüngliche Basismodell besitzt, das „Rezept“ der zum Training verwendeten Daten rückentwickeln kann. Indem man eine künstliche Reise zwischen den beiden erstellt und die geometrische Form dieser Reise misst, kann man die verborgenen Proportionen der Daten aufdecken, die das Modell aufgebaut haben, und so die dringend benötigte Transparenz darüber schaffen, wie diese mächtigen Werkzeuge hergestellt werden.

Technisches Resümee: WARP – Gewichtsraum-Analyse zur Rekonstruktion von Trainingsdaten-Portfolios

Problemstellung

Foundationsmodelle werden zunehmend der Öffentlichkeit zugänglich gemacht, doch die spezifischen „Datenrezepte“ – insbesondere die Gewichtungen der Domänenmischung, die bestimmen, wie diverse Quellen (z. B. Web-Texte, Code, wissenschaftliche Literatur) während des Trainings abgetastet werden – bleiben proprietär und opak. Dies schafft eine erhebliche Informationsasymmetrie: Forscher können zwar die resultierenden Modellgewichte untersuchen, fehlt jedoch die Sichtbarkeit auf die Trainingsverteilung, die sie erzeugt hat.

Bestehende Ansätze zur Inferenz von Trainingsdaten, wie etwa die Membership Inference (MI), operieren auf der Ebene einzelner Stichproben, um zu erkennen, ob ein spezifischer Datenpunkt im Trainingssatz enthalten war. MI kann jedoch die globale Zusammensetzung oder die Domänenanteile des Trainingskorpus nicht charakterisieren. Darüber hinaus erfordern bisherige Methoden zur Rekonstruktion von Trainingsverläufen oft Zugriff auf Zwischen-Checkpoints, die für veröffentlichte Modelle selten verfügbar sind (da meist nur das Basismodell und die finalen feinabgestimmten Gewichte öffentlich zugänglich sind). Die zentrale Herausforderung, die diese Arbeit adressiert, ist das inverse Problem: Wie kann man unter Verwendung von lediglich dem veröffentlichten Basismodell ( $\theta_{base}$ ), dem feinabgestimmten Modell ( $\theta_{ref}$ ) und einem kleinen Probing-Datensatz die unbekannten Domänenmischungsverhältnisse ( $\pi^*$ ) rekonstruieren, ohne Zugriff auf den wahren Trainingsverlauf oder Zwischen-Checkpoints zu haben?

Methodik: Das WARP-Framework

Die Autoren schlagen WARP (Weight-space Analysis for Recovering Training Data Portfolios) vor, ein Framework, das Domänenmischungen direkt aus Modellgewichten rekonstruiert, indem es die geometrische Struktur des Gewichtsraums ausnutzt. Die Methodik gliedert sich in drei Stufen:

1. Simulation des Trainingsverlaufs

Da der wahre Pfad von $\theta_{base}$ zu $\theta_{ref}$ nicht beobachtbar ist, nutzt WARP Techniken des Model Merging, um zwischen den beiden Endpunkten zu interpolieren. Durch Anwendung von Merging-Operatoren (wie Linear Interpolation/LERP, Spherical Interpolation/SLERP oder TIES) mit einem Zeitplan von Mischkoeffizienten $\alpha_t \in (0,1)$ generiert das Framework eine Sequenz von Pseudo-Checkpoints ( $\tilde{\theta}_t$ ). Diese Pseudo-Checkpoints dienen als Stellvertreter für die nicht beobachtbare Parameterentwicklung und rekonstruieren effektiv einen „simulierten“ Trainingsverlauf.

2. Destillation geometrischer Fußabdrücke

Aus diesen simulierten Checkpoints extrahiert WARP ein Domänen-Signal unter Verwendung einer Metrik, die vom Mimic Score adaptiert wurde. Für jeden Pseudo-Checkpoint $\tilde{\theta}_t$ definiert die Methode einen Richtungsvektor $v_t = \theta_{ref} - \tilde{\theta}_t$ , der zum Zielmodell zeigt.

Sample Alignment: Für einen kleinen Probing-Datensatz $D_{probe}$ (der aus denselben Quellendomänen wie die Trainingsdaten gesampelt wurde) berechnet die Methode den negativen Gradienten jeder Stichprobe bei $\tilde{\theta}_t$ .
Projektion: Der Mimic Score ( $m_{i,t}$ ) wird als Projektion dieses negativen Gradienten auf den Einheitsvektor von $v_t$ berechnet. Dieser Score misst, wie stark eine Stichprobe mit der Richtung übereinstimmt, die das Modell während des Fine-Tunings tatsächlich eingeschlagen hat.
Pooling: Diese Scores werden innerhalb jeder Domäne $k$ pro Zeitschritt $t$ normalisiert und gemittelt, woraus eine Feature-Matrix $M \in \mathbb{R}^{K \times T}$ resultiert. Diese Matrix repräsentiert den „geometrischen Fußabdruck“ der Trainingsdaten und verfolgt, wie stark jede Domäne mit der Richtung des Fine-Tunings korreliert, während sich das Modell entwickelt.

3. Abbildung der Geometrie auf die Mischung

Der letzte Schritt überträgt den geometrischen Fußabdruck $M$ in eine vorhergesagte Domänenmischung $\hat{\pi}$ . Die Autoren schlagen zwei Varianten vor:

Unüberwachtes Readout: Ein parameterfreier Ansatz, der die gepoolten Scores über die Zeitschritte mittelt und eine Softmax-Funktion anwendet, um die Mischung zu schätzen.
Überwachte Projektion: Ein MLP-Projektor, der auf synthetischen Daten trainiert wurde. Die Autoren generieren synthetische Paare, indem sie Basismodelle auf zufälligen Mischungen feinabstimmen, um Ground-Truth-Labels zu erstellen, und trainieren dann das MLP, um den geometrischen Fußabdruck $M$ auf die bekannte Mischung $\pi$ abzubilden. Dies ermöglicht es dem Modell, die Gewichtung verschiedener Phasen des simulierten Pfades adaptiv zu lernen.

Zentrale Beiträge

Schließung der Informationsasymmetrie: WARP formalisiert die Rekonstruktion der Domänenmischung eines feinabgestimmten Modells unter Verwendung ausschließlich von Artefakten, die für die meisten veröffentlichten Modelle verfügbar sind (Basis- und finale Gewichte), wodurch der Bedarf an proprietären Daten oder Zwischen-Checkpoints umgangen wird.
Simulierte Trainingsverläufe: Das Framework führt eine neuartige Verwendung von Model Merging ein, nicht zur Kapazitätsfusion, sondern zur Simulation nicht beobachtbarer Trainingspfade, um nutzbare geometrische Strukturen im Gewichtsraum offenzulegen.
Starke empirische Leistung: In kontrollierten Experimenten übertrifft WARP Sample-level Membership Inference Baselines und sogar eine „Oracle“-Variante, die Zugriff auf die echten zwischenzeitlichen Trainings-Checkpoints hat.
Robustheit: Die Methode bleibt über verschiedene Trainingsregime hinweg genau, einschließlich Early-Stopped-, konvergierter und übertrainierter Checkpoints.

Experimentelle Ergebnisse

Das Framework wurde auf BERT und GPT-2 Modellen evaluiert, die auf vier Textdatensätzen (SNLI, AGNews, Yelp, Yahoo) mit bekannten Ground-Truth-Mischungen feinabgestimmt wurden.

Genauigkeit: WARP erreichte einen mittleren absoluten Fehler (MAE) von nur 0,046 bei BERT und 0,104 bei GPT-2 (unter Verwendung der überwachten MLP-Variante mit TIES-Merging).
Vergleich: Diese Ergebnisse übertrafen signifikant:
- Random Guess und Centroid Guess Baselines.
- Sample-level Membership Inference (MI), welche höhere Fehler lieferte (z. B. 0,063 MAE auf BERT gegenüber 0,046 für WARP).
- Oracle-Varianten: Überraschenderweise übertraf WARP unter Verwendung simulierter Trajektorien (LERP/TIES) oft die Variante, die echte Zwischen-Checkpoints verwendet. Die Autoren führen dies auf die „Smoothness Gap“ zurück: Reale Trainingspfade enthalten Rauschen (stochastische Mini-Batches, Learning Rate Warmup), wohingegen die interpolierten Pfade eine sauberere, monotone Trajektorie bieten, die den geometrischen Fußabdruck leichter dekodierbar macht.
Unüberwacht vs. Überwacht: Das parameterfreie unüberwachte Softmax-Readout war wettbewerbsfähig, übertraf alle Baselines und schloss den Großteil der Lücke zur überwachten Variante, was zeigt, dass das geometrische Signal auch ohne gelernte Projektoren stark ist.

Bedeutung und Ansprüche

Das Paper behauptet, dass WARP die Machbarkeit demonstriert, die Trainingsverteilung eines Modells allein aus seiner Gewichtsraum-Geometrie zu „Reverse-Engineeren“. Indem es zeigt, dass der „Pfad“ zwischen einem Basis- und einem feinabgestimmten Modell einen distributionsspezifischen Fußabdruck der Trainingsdaten kodiert, bietet die Arbeit ein neues Werkzeug für:

Auditierung: Erkennung von Datenkontamination oder Verifizierung der Herkunft (Provenance) des Modelltrainings.
Interpretierbarkeit: Verständnis darüber, warum Modelle spezifische Verhaltensweisen aufweisen, basierend auf ihren Trainingsmischungen.
Transparenz: Adressierung der Opazität der Entwicklung von Frontier-Modellen, bei denen zwar die Gewichte geteilt, die Datenrezepte jedoch nicht.

Die Autoren betonen, dass dieser Ansatz das traditionelle Forward-only-Paradigma der Domänenmischungsoptimierung durchbricht und eine praktische Methode bietet, um die „Zutaten“ eines Modells zu inferieren, wenn nur das „fertige Gericht“ (die Gewichte) verfügbar ist.