WARP: Weight-Space Analysis for Recovering Training Data Portfolios

Technische Samenvatting: WARP – Gewichtruimte-analyse voor het herstellen van portefeuilles van trainingsdata

Probleemstelling

Fundamentele modellen worden steeds vaker publiekelijk vrijgegeven, maar de specifieke "data-recepten"—met name de gewichten van de domeinmix die bepalen hoe diverse bronnen (bijv. webteksten, code, wetenschappelijke literatuur) tijdens de training worden gesampled—blijven eigendom van bedrijven en zijn opaak. Dit creënd een aanzienlijke toegangsasymmetrie: onderzoekers kunnen wel de resulterende modelgewichten bestuderen, maar missen zicht op de trainingsdistributie die deze heeft voortgebracht.

Bestaande benaderingen voor het afleiden van trainingsdata, zoals Membership Inference (MI), opereren op het niveau van individuele samples om te detecteren of een specifieke datapunt deel uitmaakte van de trainingsset. Echter, MI kan de globale samenstelling of de proporties van domeinen binnen de trainingscorpus niet karakteriseren. Bovendien vereisen eerdere methoden voor het herstellen van trainingspaden vaak toegang tot tussenliggende checkpoints, die zeliet zelden beschikbaar zijn voor vrijgegeven modellen (waarbij doorgaans alleen het basismodel en de uiteindelijke gefinetunede gewichten publiek toegankelijk zijn). De kernuitdaging die dit werk aanpakt is het inverse probleem: gegeven enkel het vrijgegeven basismodel ($\theta_{base}$), het gefinetunede model ($\theta_{ref}$) en een kleine probeerdataset, hoe kan men de onbekende domeinmix-proporties ($\pi^*$) herstellen die gebruikt zijn bij het trainen van het model, zonder toegang te hebben tot het ware trainingspad of tussenliggende checkpoints?

Methodologie: Het WARP-framework

De auteurs stellen WARP voor (Weight-space Analysis for Recovering Training Data Portfolios), een framework dat domeinmixen direct herstelt uit modelgewichten door gebruik te maken van de geometrische structuur van de gewichtsruimte. De methodologie verloopt in drie fasen:

1. Het simuleren van het trainingspad

Omdat het ware pad van $\theta_{base}$ naar $\theta_{ref}$ niet geobserveerd kan worden, gebruikt WARP model merging technieken om te interpoleren tussen de twee eindpunten. Door merging-operatoren toe te passen (zoals Linear Interpolation/LERP, Spherical Interpolation/SLERP, of TIES) met een schema van mengcoëfficiënten $\alpha_t \in (0,1)$, genereert het framework een sequentie van pseudo-checkpoints ($\tilde{\theta}_t$). Deze pseudo-checkpoints dienen als proxies voor de ongeobserveerde parameterevolutie en reconstrueren effectief een "gesimuleerd" trainingspad.

2. Het distilleren van geometrische voetafdrukken

Uit deze gesimuleerde checkpoints extraheert WARP een domein-niveau signaal met behulp van een metriek die is aangepast van de Mimic Score. Voor elk pseudo-checkpoint $\tilde{\theta}_t$ definieert de methode een richtingvector $v_t = \theta_{ref} - \tilde{\theta}_t$ die wijst naar het doelmodel.

• Sample Alignment: Voor een kleine probeerdataset $D_{probe}$ (gesampled uit dezelfde bron-domeinen als de trainingsdata) berekent de methode de negatieve gradiënt van elke sample bij $\tilde{\theta}_t$.
• Projectie: De Mimic Score ($m_{i,t}$) wordt berekend als de projectie van deze negatieve gradiënt op de eenheidsvector van $v_t$. Deze score meet hoe sterk een sample uitlijnt met de richting die het model daadwerkelijk heeft genomen tijdens het fine-tunen.
• Pooling: Deze scores worden genormaliseerd en gemiddeld binnen elk domein $k$ bij elke stap $t$, wat resulteert in een featurematrix $M \in \mathbb{R}^{K \times T}$. Deze matrix vertegenwoordigt de "geometrische voetafdruk" van de trainingsdata en volgt hoe sterk elk domein uitlijnt met de fine-tuning richting naarmate het model evolueert.

3. Het mappen van geometrie naar mix

De laatste stap vertaalt de geometrische voetafdruk $M$ naar een voorspelde domeinmix $\hat{\pi}$. De auteurs stellen twee varianten voor:

• Unsupervised Readout: Een parameterloze benadering die de gepoolde scores over de tijdstappen middelt en een softmax-functie toepast om de mix te schatten.
• Supervised Projection: Een MLP-projector die getraind is op synthetische data. De auteurs genereren synthetische paren door basismodellen te finetunen op willekeurige mengsels om grondwaarheid-labels te creëren, en trainen vervolgens de MLP om de geometrische voetafdruk $M$ te mappen naar de bekende mix $\pi$. Dit stelt het model in staat om adaptief te leren hoe verschillende stadia van het gesimuleerde traject gewogen moeten worden.

Belangrijkste Bijdragen

1. Het dichten van de toegangsasymmetrie: WARP formaliseert het herstel van de domeinmix van een gefinetuned model met gebruikmaking van enkel de artefacten die beschikbaar zijn voor de meeste vrijgegeven modellen (basis- en uiteindelijke gewichten), waardoor de noodzaak voor propriëtaire data of tussenliggende checkpoints wordt omzeild.
2. Gesimuleerde trainingspaden: Het framework introduceert een innovatief gebruik van model merging, niet voor het fuseren van capaciteiten, maar voor het simuleren van ongeobserveerde trainingspaden om bruikbare geometrische structuren in de gewichtsruimte bloot te leggen.
3. Sterke empirische prestaties: In gecontroleerde experimenten presteert WARP beter dan sample-niveau membership inference baselines en zelfs een "oracle" variant die toegang heeft tot de echte tussenliggende trainingscheckpoints.
4. Robuustheid: De methode blijft accuraat over verschillende trainingsregimes, inclusief early-stopped, geconvergeerde en overgetrainde checkpoints.

Experimentele Resultaten

Het framework werd geëvalueerd op BERT en GPT-2 modellen die gefinetuned zijn op vier tekstdatasets (SNLI, AGNews, Yelp, Yahoo) met bekende grondwaarheid-mengsels.

• Nauwkeurigheid: WARP bereikte een Mean Absolute Error (MAE) van slechts 0.046 op BERT en 0.104 op GPT-2 (met gebruik van de supervised MLP variant met TIES merging).
• Vergelijking: Deze resultaten presteerden significant beter dan:
  • Random Guess en Centroid Guess baselines.
  • Sample-level Membership Inference (MI), die hogere fouten opleverde (bijv. 0.063 MAE op BERT versus 0.046 voor WARP).
  • Oracle Varianten: Verrassend genoeg presteerde WARP met gesimuleerde trajecten (LERP/TIES) vaak beter dan de variant die gebruikmaakt van echte tussenliggende checkpoints. De auteurs schrijven dit toe aan de "smoothness gap": echte trainingspaden bevatten ruis (stochastische mini-batches, learning rate warmup), terwijl de geïnterpoleerde paden een schoner, monotoon traject bieden dat de geometrische voetafdruk gemakkelijker decodeerbaar maakt.
• Unsupervised vs. Supervised: De parameterloze unsupervised softmax readout was competitief, presteerde beter dan alle baselines en overbrugde het grootste deel van de kloof met de supervised variant, wat aantoont dat het geometrische signaal sterk is, zelfs zonder geleerde projectoren.

Betekenis en Claims

Het artikel claimt dat WARP aantoont dat het haalbaar is om de trainingsdistributie van een model te reverse-engineeren uitsluitend op basis van de geometrie van de gewichtsruimte. Door aan te tonen dat het "pad" tussen een basismodel en een gefinetuned model een distributionele voetafdruk van de trainingsdata bevat, biedt dit werk een nieuw instrument voor:

• Auditing: Het detecteren van datacontaminatie of het verifiëren van de herkomst (provenance) van modeltraining.
• Interpretabiliteit: Begrijpen waarom modellen specifieke gedragingen vertonen op basis van hun trainingsmengsels.
• Transparantie: Het adresseren van de opaciteit van de ontwikkeling van frontier-modellen waarbij de gewichten wel worden gedeeld, maar de data-recepten niet.

De auteurs benadrukken dat deze aanpak het traditionele forward-only paradigma van domeinmix-optimalisatie doorbreekt, door een praktische methode te bieden om de "ingrediënten" van een model af te leiden wanneer enkel het "eindgerecht" (de gewichten) beschikbaar is.