Technische Samenvatting: Van Memorizatie naar Parameterinterferentie

Probleemstelling

Moderne deep learning leunt zwaar op een pijplijn waarbij open-weight fundamentmodellen worden voorgetraind op algemene data en vervolgens worden gefinetuned op gespecialiseerde taken om "expert"-modellen te creëren. Deze experts worden vaak samengevoegd (merged) om capaciteiten te combineren tot één enkel, krachtiger model. Een heersende aanname in deze workflow is dat verbeteringen tijdens de fine-tuning fase (d.w.z. het behalen van een hogere nauwkeurigheid op de specifieke taak van de expert) doorwerken naar een verbeterde prestatie van het samengevoegde model.

Dit paper daagt die aanname uit. De auteurs onderzoeken de relatie tussen de duur van de expert fine-tuning en de effectiviteit van model merging. Zij stellen dat het "overtrainen" van experts—het optimaliseren van hen tot convergentie of daarna op hun individuele taken—de prestaties van het resulterende samengevoegde model daadwerkelijk kan verslechteren, ondanks dat de experts beter presteren op hun eigen specifieke taken.

Methodologie

De studie voert een systematische empirische analyse uit over visuele en linguïstische modaliteiten, gebruikmakend van diverse modelfamilies (ViT-B-32, ViT-L-14, T5-Base/Large/3B, BERT-Base) en adaptatieregimes (Full Fine-Tuning en Low-Rank Adaptation/LoRA).

Experimentele Opzet:

• Datasets: 8 beeldclassificatietaken (bijv. Cars, MNIST, SVHN) en 7 NLP-taken (bijv. QASC, Winogrande).
• Trainingsduur: Experts werden gefinetuned voor variërende aantallen stappen ($s \in \{2, \dots, 2048\}$).
• Merging Methoden: De auteurs evalueerden meerdere merging-technieken, waaronder eenvoudige Parameter Averaging, Task Arithmetic (TA), TIES, DARE, en SVD-gebaseerde methoden (Iso-C, Iso-CTS, TSV-M).
• Evaluatie: De primaire metriek is de ruwe, niet-genormaliseerde gemiddelde testnauwkeurigheid over alle taken van het samengevoegde model. De auteurs vermijden expliciet genormaliseerde nauwkeurigheidsmetrieken om inconsistenties te voorkomen die voortkomen uit variërende expertprestaties tussen verschillende experimenten.

Analytische Instrumenten:
Om de geobserveerde fenomenen te verklaren, maken de auteurs gebruik van data moeilijkheidsscores (specifiek de EL2N-score) om trainingsvoorbeelden te categoriseren in bins van moeilijkheid (van makkelijkst naar moeilijkst). Zij analyseren:

1. Memorizatie: Gebruikmakend van het Feldman-memorizatieframework om te meten hoeveel de zekerheid van een model op een specifiek voorbeeld afhangt van het feit of dat voorbeeld tijdens de training is gezien.
2. Parameterinterferentie: Het kwantificeren van het conflict tussen taakvectoren met behulp van metrieken zoals sign conflict percentage, parameter overlap, magnitude ratio en per-parameter variantie.
3. Causale Isolatie: Het uitvoeren van experimenten waarbij specifieke subsets van data (makkelijk, gemiddeld, moeilijk) worden uitgesloten om hun individuele impact op modelgedrag en merging-uitkomsten te meten.

Belangrijkste Bevindingen

1. Overtrainen Schaadt Merging

In tegen tegenstelling tot de aanname dat betere experts leiden tot betere merges, vinden de auteurs dat langere fine-tuning leidt tot een verslechterde merging-prestatie.

• Visie & Taal: In beide domeinen piekt de merging-nauwkeurigheid bij intermediaire trainingsstappen (bijv. 256 stappen voor T5, 128 voor ViT-LoRA) en neemt deze significant af naarmate de training doorgaat naar 2048 stappen.
• Omvang van de Impact: De degradatie is ernstig. Voor LoRA-geadapteerde modellen kan de merging-nauwkeurigheid met meer dan 16% dalen (bijv. de TIES-methode) wanneer men overgaat van optimale early stopping naar overgetrainde checkpoints.
• Expert vs. Samengevoegd Prestatie: Terwijl de expert-nauwkeurigheid op hun specifieke taken blijft verbeteren met langere training, verslechtert de prestatie van het samengevoegde model. Bijvoorbeeld, in NLP verbeterde de expert-nauwkeurigheid met 3,7% van 256 naar 2048 stappen, terwijl de merging-nauwkeurigheid voor alle methoden met ten minste 2,4% daalde.

2. Het Mechanisme: Memorizatie en Interferentie

Het paper herleidt deze degradatie naar de memorizatie van moeilijke voorbeelden tijdens de latere trainingsfasen.

• Memorizatie van Harde Voorbeelden: Vroege training wordt gedomineerd door het leren van gemeenschappelijke kenmerken (makkelijke voorbeelden). Latere trainingsfasen worden gedreven door de memorizatie van een klein fractie van "harde" voorbeelden (outliers of ruisende labels).
• Idiosyncratische Updates: De memorizatie van deze harde voorbeelden leidt tot idiosyncratische parameter-updates die niet generaliseren over taken heen.
• Negatieve Parameterinterferentie: Bij het samenvoegen veroorzaken deze taakspecifieke, gememoriseerde updates negatieve interferentie. De auteurs tonen aan dat harde voorbeelden onevenredig vaak worden vergeten tijdens het mergingproces (meer dan 50% van de vergeten datapunten behoort tot de moeilijkste 30% van de voorbeelden), terwijl makkelijke voorbeelden correct geclassificeerd blijven.
• Kwantitatief Bewijs: Parameterinterferentie-metrieken (sign conflict, overlap, variantie) nemen systematisch toe met de trainingsduur, wat bevestigt dat langere training leidt tot meer conflicterende parameter-updates.

3. De Noodzaak van Enig Mate van Memorizatie

De auteurs demonstreren dat hoewel excessieve memorizatie schadelijk is, sommige memorizatie noodzakelijk is voor optimale merging. Het verwijderen van de moeilijkste voorbeelden uit de training verslechtert de merging-prestaties consistent, wat suggereert dat een balans vereist is waarbij generaliseerbare kenmerken worden geleerd zonder te overfitten op idiosyncratische ruis.

4. Early Stopping als Oplossing

Het paper stelt agressieve early stopping voor als een algemeen principe om overtraining te mitigeren.

• Taakafhankelijke Strategieën: Door de training te stoppen wanneer de validatienauwkeurigheid een plateau bereikt (in plaats van te trainen voor een vast aantal stappen), bereiken de auteurs een merging-prestatie die de beste resultaten van fixed-step training evenaart of zelfs overtreft, ook al zijn de individuele experts minder accuraat op hun specifieke taken.
• LoRA Specifieke Aspecten: Early stopping is bijzonder effectief voor LoRA-adapters, waarbij de optimale merging-nauwkeurigheid wordt teruggewonnen die anders verloren gaat bij standaard langdurige training.

Betekenis en Claims

Het paper claimt een kritieke nieuwe dimensie te introduceren in het veld van model merging: de duur van de expert training.

• Paradigmaverschuiving: Het daagt de standaardpraktijk uit om experts tot convergentie te trainen voordat ze worden samengevoegd. De auteurs beargumenteren dat de "beste" expert voor merging vaak een "ondergetrainde" expert is die nog niet de moeilijke, idiosyncratische voorbeelden heeft gememoriseerd.
• Praktische Richtlijnen: Het werk biedt bruikbare richtlijnen voor beoefenaars:
  1. Publiceer Intermediaire Checkpoints: Aangezien het optimale mergingpunt vaak voorafgaat aan convergentie, is het vrijgeven van intermediaire checkpoints cruciaal.
  2. Prioriteer Early Stopping: Wanneer experts voor merging worden getraind, kan agressieve early stopping betere downstream resultaten opleveren dan volledige convergentie.
• Efficiëntie: Door de benodigde trainingstijd voor optimale merging te verminderen, kunnen deze bevindingen de computationele en milieukosten die gepaard gaan met het trainen en mergen van AI-modellen aanzienlijk verlagen.
• Generaliseerbaarheid: Het fenomeen blijkt robuust over modelmaten (van 220M tot 3B parameters), architecturen (ViT, T5, BERT), en adaptatiemethoden (FFT, LoRA), evenals alternatieve upcycling-strategieën zoals Model MoErging.

De auteurs concluderen dat zorgvuldig beheer van de expert trainingsdynamiek, specifelijk het vermijden van de laatstadium-memorizatie van harde voorbeelden, essentieel is voor het ontsluiten van het volledige potentieel van model merging-pijplijnen.