Geometry Conflict: Explaining and Controlling Forgetting in LLM Continual Post-Training

Technische Samenvatting: Meetkundig Conflict: Verklaring en Besturing van Vergeten bij Continue Post-Training van LLM's

Probleemstelling
Continue post-training beoogt Large Language Models (LLM's) uit te breiden met nieuwe kennis, vaardigheden en gedragingen via een reeks updates. Dit proces staat echter voor de uitdaging van catastrofaal vergeten, waarbij het leren van een nieuwe taak eerder verworven capaciteiten ondermijnt. Bestaande mitigatiestrategieën—zoals sequentiële fine-tuning, methoden gebaseerd op replay, regularisatie en modelmerging—ontberen vaak principiële criteria om te bepalen wanneer een nieuwe parameterupdate moet worden geïntegreerd. Specifiek blijft het onduidelijk wanneer sequentiële updates capaciteitsoverdracht mogelijk maken versus wanneer ze interferentie veroorzaken. Huidige methoden vertrouwen vaak op grove metrieken zoals de grootte van de update of geïsoleerde paarwijze compatibiliteit, die niet volledig in staat zijn om vergeten in heterogene, sequentiële settings te verklaren of te besturen.

Methodologie: Taakmeetkunde en GCWM
De auteurs stellen een raamwerk voor gebaseerd op taakmeetkunde om continue post-training te analyseren en te besturen.

1. Representatie van Taakmeetkunde: In plaats van updates uitsluitend te bekijken op basis van hun norm, stelt de methode elke taak voor door zijn parameterupdate-matrix $\Delta_t$. Voor elke laag wordt de "taakmeetkunde" gedefinieerd als de covariantiematrix $C_t = \Delta_t^\top \Delta_t$, die de dominante richtingen en spectrale structuur van de update vastlegt.
2. Meetkundig Conflict: Het artikel introduceert meetkundig conflict als een genormaliseerde Bures-Wasserstein-afstand tussen de covariantiemeetkundes van taken. Cruciaal definiëren de auteurs een state-gerelateerde variant, die de discrepantie meet tussen de meetkunde van een binnenkomende taak en de meetkunde van de evoluërende modelstatus (die reeds eerdere updates omvat).
3. Kerninzicht: Door empirische analyse over Qwen3-modellen (0,6B–14B) vinden de auteurs dat vergeten het beste wordt verklaard als een state-gerelateerd falen van update-integratie. Vergeten treedt op wanneer de door een nieuwe taak geïnduceerde covariantiemeetkunde in strijd is met de meetkunde van de huidige modelstatus. Overdracht treedt op wanneer de nieuwe update compatibel blijft met deze status. Dit state-gerelateerde signaal presteert beter dan ruwe updatenormen, subspace-alignementratio's (SAR) en paarwijze gradiëntconflicten bij het voorspellen van verlies door vergeten.
4. Geometry-Conflict Wasserstein Merging (GCWM): Gemotiveerd door deze bevindingen stellen de auteurs GCWM voor, een datavrije methode voor update-integratie.
   • Constructie van een Gedeelde Metriek: GCWM construeert een gedeelde Wasserstein-metriek voor de huidige set actieve taken met behulp van Gaussische Wasserstein-barycentra.
   • Conflictafgestuurde Correctie: Het berekent een laagsgewijze score voor meetkundig conflict. Deze score fungeert als poort voor een meetkunde-bewuste correctietak. Als het conflict hoog is (wat incompatibiliteit aangeeft), beperkt de methode de integratie van de meetkunde-bewuste update; als het conflict laag is, staat het sterkere integratie toe.
   • Incrementele Update: De methode past uitsluitend de incrementele verandering toe ten opzichte van de vorige gemergde status, zodat het model evolueert op basis van nieuw geïnduceerde, compatibiliteitsgecontroleerde veranderingen.
   • Theoretische Onderbouwing: De auteurs leveren theoretische grenzen aan die aantonen dat de extra verliezen die door GCWM worden veroorzaakt ten opzichte van een eenvoudige merge, worden gecontroleerd door het meetkundige conflict en de verplaatsing van de gepoorteerde merge.

Kernbijdragen

1. Analytisch Raamwerk: Het artikel ontwikkelt een analyse van taakmeetkunde die aantoont dat vergeten een state-gerelateerd fenomeen is, dat beter wordt verklaard door de misalignement van door taken geïnduceerde covariantiemeetkundes met de evoluerende modelstatus dan door updatenormen of geïsoleerde paarwijze compatibiliteit.
2. Nieuw Signaal: Het introduceert meetkundig conflict (een Bures-Wasserstein-afstand over door taken geïnduceerde covariantiemeetkundes) als zowel een verklarend signaal voor vergeten als een praktisch besturingssignaal voor update-integratie.
3. Algoritme: Het stelt GCWM voor, een datavrije methode die een gedeelde Wasserstein-metriek construeert en meetkundig conflict gebruikt om meetkunde-bewuste correcties laagsgewijs te poorten.
4. Empirische Validatie: De methode wordt gevalideerd op Qwen3-modellen (0,6B tot 14B) in settings voor domein-continuïteit (14 MMLU-Pro subdomeinen) en capaciteit-continuïteit (wiskunde en code).

Resultaten

• Prestaties: GCWM presteert consequent beter dan datavrije baselines (waaronder Localize-and-Stitch, AIMMerging en OPCM) zonder gebruik van replay-data.
  • In settings voor domein-continuïteit bereikt GCWM de sterkste algehele prestatie zonder MTL (Multi-Task Learning) over alle schalen, met verbeteringen tot +1,61 punten ten opzichte van de beste datavrije baseline op Qwen3-1,7B.
  • In settings voor capaciteit-continuïteit leidt GCVM de datavrije baselines gemiddeld over de 1,7B- en 14B-modellen, met significante winsten in behoud en uiteindelijke prestaties op benchmarks zoals GSM8K, HumanEval en MMLU-Pro.
• Ablatie: Het verwijderen van de conflictpoort of het vervangen van het Wasserstein-barycentrum door een eenvoudige gemiddelde metriek verslechtert de prestaties, wat de noodzaak bevestigt van zowel de gedeelde metriek als het conflictafgestuurde poortmechanisme.
• Schaalbaarheid: De methode blijft effectief over modelgroottes, waarbij het state-gerelateerde meetkundige signaal een sterkere voorspeller van vergeten wordt naarmate de modelgrootte toeneemt (bijvoorbeeld, de correlatie met verlies door vergeten bereikt -0,86 voor Qwen3-14B).

Betekenis en Claims
Het artikel claimt dat meetkundig conflict een dubbele rol vervult:

1. Verklarend: Het biedt een mechanistische verklaring voor catastrofaal vergeten, door dit te identificeren als een falen van state-gerelateerde update-integratie in plaats van eenvoudige parameterdrift.
2. Besturend: Het fungeert als een praktisch, datavrij signaal om te besturen hoe sterk sequentiële updates worden geïntegreerd.

De auteurs positioneren GCWM als een methode die continue aanpassing van LLM's praktischer maakt door de afhankelijkheid van replay-data te verminderen. Ze benadrukken dat, hoewel de methode het behoud en de prestaties verbetert, deze opereert in de ruimte van parameterupdates en inherent geen veiligheidswaarborgen biedt; daarom moet deze worden gecombineerd met standaard veiligheidscontroles. Het werk suggereert dat het begrijpen van de spectrale en meetkundige structuur van updates cruciaal is voor het beheersen van de afweging tussen het leren van nieuwe capaciteiten en het behouden van oude in grote taalmodellen.