Measuring Task-Agnostic Training Data Influence Across Language Model Pretraining

Technische Samenvatting: Het meten van taak-agnostische trainingsdata-invloed tijdens de pretraining van taalmodellen

Probleemstelling
Bestaande methoden voor het meten van de invloed van trainingsdata op taalmodellen (LM's) vertrouwen doorgaans op taakspecifieke doelen, zoals de loss op een specifiek testpunt of de prestaties op een downstream benchmark. Hoewel deze nuttig zijn voor specifieke doelen, kennen ze aanzienlijke beperkingen in de context van pretraining, die gericht is op het ontwikkelen van brede, algemene capaciteiten in plaats van het optimaliseren voor één specifieke taak. Het selecteren van downstream taken of validatiesets die representatief zijn voor de algemene capaciteiten van een model gedurende het gehele traject van de pretraining is moeilijk. Bovendien zijn invloestschattingen die gekoppeld zijn aan de prestaties van tussenliggende checkpoints op specifieke taken vaak inconsistent en moeilijk te vergelijken over verschillende stadia van training, aangezien vroege checkpoints relevante capaciteiten kunnen bezitten zonder de doeltaak al volledig te hebben opgelost.

Methodologie
De auteurs stellen een taak-agnostische maatstaf voor de invloed van trainingsdata voor, gedefinieerd door de mate waarin een individuele trainingsvoorbeeld het model naar de uiteindelijke parameters van een gegeven pretraining-run beweegt.

• Definitie van Invloed: De invloed van een mini-batch $B_t$ wordt gekwantificeerd als de reductie in de gekwadrateerde $L_2$-afstand tussen de huidige parameters $\theta_t$ en de uiteindelijke gepretrainde parameters $\theta^*$, veroorzaakt door de update op stap $t$. Wiskundig gezien is dit $Cont(B_t) = \|\theta^* - \theta_t\|_2^2 - \|\theta^* - \theta_{t+1}\|_2^2$. Dit breidt uit naar $2\Delta_t^\top(\theta^* - \theta_t) - \|\Delta_t\|_2^2$, waarbij de eerste term de uitlijning meet met de richting naar de uiteindelijke parameters, en de tweede term de gekwadrateerde norm van de update bestraft.
• Decompositie op Voorbeellniveau: Uitgaande van standaard Stochastic Gradient Descent (SGD), wordt de invloed van de mini-batch gedecomposeerd in individuele bijdragen van voorbeelden. De invloed van een voorbeeld $x_k^t$ wordt gedefinieerd als $Cont(x_k^t) = 2\Delta_{t,k}^\top(\theta^* - \theta_t) - \Delta_{t,k}^\top \Delta_t$. Deze formulering houdt rekening met de interactie tussen voorbeelden binnen een mini-batch.
• Checkpoint-gebaseerde Benadering: Om de methode hanteerbaar te maken voor grootschalige pretraining zonder opnieuw te hoeven trainen, leiden de auteurs een benadering af met behulp van periodiek opgeslagen checkpoints. In plaats van updates op elke stap te berekenen, benaderen zij de staat $\theta_t$ en de update $\Delta_t$ met behulp van de parameters aan het begin ($\theta_c$) en het einde ($\theta_{c'}$) van een checkpoint-interval. Dit maakt post-hoc schatting van invloed mogelijk op basis van publiekelijk beschikbare checkpoints.

Belangrijkste Bijdragen

1. Taak-agnostische Herformulering: Het artikel herformuleert de invloed van trainingsdata over de pretraining heen in termen van progressie naar de uiteindelijke parameters, waardoor de afhankelijkheid van specifieke downstream taken of validatiesets wordt weggenomen.
2. Checkpoint-gebaseerde Schatting: De auteurs leiden een praktische benaderingsmethode af die de schatting van invloed op voorbeeldniveau mogelijk maakt vanuit tussenliggende checkpoints, zonder het model vanaf nul opnieuw te hoeven trainen.
3. Empirische Karakterisering: De studie karakteriseert de evolutie van de databijdrage gedurende de pretraining, waarbij systematische, stadium-afhankelijke variaties over verschillende soorten data worden onthuld.
4. Betrouwbaarheidsanalyse: Het werk stelt de betrouwbaarheid van de voorgestelde analyse vast over checkpoint-benaderingen, referentie-endpoints en diverse modelconfiguraties (groottes, initialisaties en data-orderingen).

Experimentele Resultaten
De methode werd toegepast op 18 configuraties uit de Pythia- en PolyPythia-suites, variërend van modelgroottes van 70M tot 12B parameters en gebruikmakend van 154 checkpoints per run.

• Dynamiek van Bijdrage: De gemiddelde bijdrage neemt significant toe na de vroege trainingsfase, piekt rond de 40k stappen en neemt daarna geleidelijk af. De standaarddeviatie volgt een vergelijkbaar patroon. Opvallend genoeg blijft het aandeel "opponent"-voorbeelden (die een negatieve bijdrage leveren, door het model weg te bewegen van de uiteindelijke parameters) laag (<1%) tijdens de vroege en middelste stadia, maar stijgt dit naar 8–10% in de latere stadia.
• Tekstmoeilijkheid: Teksten met een hogere perplexiteit (PPL) (moeilijker voor het model) vormen een groter deel van de genormaliseerde bijdrage tijdens de middelste fase van de pretraining, terwijl de bijdrage meer gelijkmatig verdeeld is over verschillende moeilijkheidsgraden in de vroege en late stadia.
• Domeinverschuiving (De Crossover): Er werd een systematische temporele verschuiving waargenomen in de invloedrijke datadomeinen:
  • Vroege Training: Literatuur-gerelateerde data (bijv. Boeken, Hobby's) zijn sterker uitgelijnd met de trajectorie naar de uiteindelijke parameters.
  • Late Training: STEM-gerelateerde data (bijv. Wetenschap, Computers en Elektronica) worden steeds meer uitgelijnd met de trajectorie.
  • Deze kwalitatieve crossover is breed consistent over verschillende modelconfiguraties, hoewel de timing van de transities kan variëren met de modelschaal (grotere modellen vertonen transities eerder).
• Validatie: De checkpoint-gebaseerde benadering vertoont een sterke correlatie (Pearson $r > 0.94$ in de latere stadia) met exacte voorbeeld-niveau bijdragen die berekend zijn via hertraining op kleinere modellen. De resultaten zijn robuust tegen variaties in gewichtsinitialisatie en data-ordering, hoewel data-ordering iets meer variatie introduceert dan initialisatie.
• Vergelijking met Taakspecifieke Methoden: In tegen tegenstelling tot taakspecifieke TracIn-stijl analyses, die attributiepatronen opleveren die sterk afhankelijk zijn van de gekozen validatiedomein, onthult de voorgestelde taak-agnostische maatstaf consistent de Literatuur-naar-STEM crossover, ongeacht de specifieke downstream target.

Significantie en Claims
Het artikel claimt een hanteerbaar, traject-niveau overzicht te bieden van hoe invloedrijke data veranderen tijdens de pretraining. Door de invloetanalyse los te koppelen van specifieke downstream taken, biedt het werk een perspectief dat bestaande taakspecifieke analyses aanvult.

De resultaten suggereren dat de trainingsvoorbeelden die het model het sterkst richting de uiteindelijke parameters bewegen, niet statisch zijn tijdens de pretraining. Deze bevinding motiveert stadium-bewuste benaderingen voor de samenstelling van pretrainingdata en curriculumontwerp. Specifiek biedt de geobserveerde verschuiving naar STEM-data in latere stadia empirische ondersteuning voor recente LLM-pretraining recepten die de allocatie van wiskunde- en code-data in latere trainingsstadia verhogen. De auteurs positioneren hun werk als een instrument om meer genuanceerde pretraining-strategieën te sturen die de datacompositie aanpassen over de verschillende trainingsstadia, in plaats van een enkele datamix als even geschikt te beschouwen gedurende het gehele proces.

De auteurs blijven bescheiden over causale claims, waarbij zij opmerken dat hun analyse karakteriseert hoe de bijdrage varieert over de training, in plaats van direct het causale effect van het veranderen van datamixen op downstream prestaties vast te stellen. Zij erkennen ook beperkingen, zoals de afhankelijkheid van de gekwadrateerde parameterruimte-afstand (die gevoelig is voor parametrisatie) en de aanname van SGD voor decompositie, ondanks het gebruik van adaptieve optimizers in de praktijk.