Technische Samenvatting: Spectraal Vergeten via DG-Hard

Probleemstelling

Het fijnafstemmen van grote taalmodellen (LLMs) voor specifieke doeltaken leidt routinematig tot catastrofaal vergeten, waarbij vaardigheden die aanwezig waren in het vooraf getrainde basismodel ($W_{base}$) worden verslechterd of vernietigd, zelfs als de trainingsdata die vaardigheden nooit expliciet bedreigde. Dit fenomeen manifesteert zich als een "bijwerking" in de gewichtsupdate $\Delta = W_{ft} - W_{base}$: terwijl de update een gestructureerd, laag-rang signaal bevat dat is afgestemd op de nieuwe taak, accumuleert deze ook een IID-achtig ruisresidu van stochastische gradiëntafdaalstappen (SGD). Dit ruisresidu vervormt vooraf getrainde kenmerken, wat leidt tot prestatiecrashes op vastgehouden benchmarks (bijvoorbeeld een medisch fijnafstemmen dat redeneren in wiskunde drastisch reduceert).

Bestaande herstelmethoden na het feit proberen deze verloren vaardigheden te herstellen door te opereren in coördinatenruimte (bijvoorbeeld scalair interpoleren zoals WiSE-FT, willekeurig weglaten zoals DARE, of magnitude/teken-pruning zoals TIES en FAPM). Deze benaderingen staan echter voor een fundamenteel representatieprobleem: taakrelevante entries en schadelijke residu-entries zijn door elkaar heen geweven op basis van magnitude, teken en positie, waardoor het moeilijk is om signaal van ruis te scheiden zonder ofwel de winst op de doeltaak ofwel de herstelde vaardigheden op te offeren.

Methodologie: DG-Hard

Het artikel stelt DG-Hard voor, een herstelmethode na het feit, zonder data en zonder gradiënten, die opereert in singulariteitswaarde-ruimte in plaats van coördinatenruimte. De kernhypothese is dat de fijnafstem-update $\Delta$ volgt uit een signaal-plus-ruis-model:
$$\Delta = \Delta_{signaal} + \Delta_{ruis}$$
waarbij $\Delta_{signaal}$ een laag-rang, taak-gealigneerde update is, en $\Delta_{ruis}$ een IID-residu dat gradiëntafdaal geen prikkel heeft om te verwijderen.

De Spectrale Benadering

1. Signaal-plus-ruis Decompositie: De methode behandelt de gewichtsdelta $\Delta$ voor elke 2D-gewichtsmatrix als een som van een gestructureerd laag-rang component en een component van willekeurige matrixruis. Empirisch bewijs suggereert dat het spectrum van het ruiscomponent de Marchenko-Pastur (MP) verdeling volgt, terwijl het signaal verschijnt als een eindig aantal uitbijtende singulariteitswaartspikes.
2. Optimale Hard-drempelwaarde: In plaats van willekeurige pruning of interpolatie, past DG-Hard de Donoho-Gavish optimale hard singulariteitswaarde-drempelwaarde toe op de Singular Value Decomposition (SVD) van $\Delta$.
   • De drempelwaarde $\tau^*$ is afgeleid om de Asymptotische Gemiddelde Kwartieke Fout (AMSE) van het gereconstrueerde signaal te minimaliseren.
   • Het wordt berekend als $\tau^* = \omega(\beta) \hat{\sigma} \sqrt{\max(m, n)}$, waarbij $\hat{\sigma}$ wordt geschat vanuit de mediaan van de singulariteitswaarden, en $\omega(\beta)$ een constante is die afhankelijk is van de matrix-aspectratio $\beta$.
3. Gesloten-vorm Herstel: De procedure omvat:
   • Berekenen van de SVD van $\Delta = U \text{diag}(s) V^\top$.
   • Hard-drempelwaarden toepassen op de singulariteitswaarden: $s'_i = s_i \cdot \mathbb{1}\{s_i > \tau^*\}$.
   • Reconstrueren van de gepreinde delta $\Delta^* = U \text{diag}(s') V^\top$.
   • Vormen van het gerepareerde checkpoint: $W^* = W_{base} + \Delta^*$.

Dit proces vereist geen extra trainingsdata, geen gradiëntberekening en draait binnen enkele minuten op een enkele GPU, waardoor herstel wordt gereduceerd tot een gesloten-vorm SVD-filterstap.

Belangrijkste Bijdragen

1. Formulering van Herstel na het feit: De auteurs framen het herstel van catastrofaal vergeten als een herstel-bewaringprobleem: het herstellen van beschadigde vastgehouden vaardigheden terwijl de winst op de doeltaak en incidentele verbeteringen op vastgehouden benchmarks behouden blijven.
2. Spectrale Structuur Identificatie: Het artikel demonstreert empirisch dat schadelijke residuen zich concentreren in de singulariteitswaarde-bulk (in overeenstemming met voorspellingen van willekeurige matrices), terwijl taakrelevante updates verschijnen als singulariteitswaartspikes. Dit verklaart waarom methoden in coördinatenruimte worstelen met de afweging tussen herstel en bewaring.
3. DG-Hard Algorithmus: De introductie van een herstelmethode zonder data die de statistisch optimale Donoho-Gavish hard-drempelwaarde toepast op fijnafstem-delta's, waardoor het gestructureerde signaal effectief wordt gescheiden van het ruisresidu.
4. Partition-voorwaardelijke Evaluatie: De auteurs introduceren een nieuwe reeks metrieken die afzonderlijk heling (herstel op beschadigde benchmarks), bewaring (behoud van verbeterde benchmarks), niet-schade (stabiliteit op onveranderde benchmarks) en op-taak behoud bijhouden. Dit vermijdt de valkuilen van gemiddelde nauwkeurigheid, die falen per benchmark kan verbergen of een simpele terugkeer naar het basismodel kan belonen.

Experimentele Resultaten

De methode werd geëvalueerd over 14 (model, taak) instellingen (met gebruik van Qwen3.5-4B en Llama-3.2-3B-Instruct) en negen cross-domein vastgehouden benchmarks.

• Gebalanceerde Prestaties: DG-Hard bereikt de sterkste gebalanceerde herstel onder post-hoc baselines. Het is de enige methode die $\ge 80$ scoort op zowel Opruimen (heling + niet-schade) als Behoud (bewaring + op-taak behoud), met een Gecombineerde score van 83,3.
• Vergelijking met Baselines:
  • FAPM en V-SoftMask vertegenwoordigen uitersten: FAPM herstelt schade goed (91,9 Opruimen) maar vernietigt bewaring (0,0 Behoud); V-SoftMask behoudt winst (97,1 Behoud) maar faalt in heling (24,9 Opruimen).
  • WiSE-FT (lineaire interpolatie) komt het dichtst in de buurt maar blijft tekort op Behoud (71,0) vergeleken met DG-Hard.
  • LoRA en CoFi-Tune lijden onder laag behoud of niet-positieve bewaring op specifieke cohorten.
• Veiligheidsalignatie: DG-Hard herstelt veiligheidsalignatie die is verslechterd door onschadelijk fijnafstemmen op drie onafhankelijke assen (HarmBench, XSTest, StrongREJECT) zonder gebruik van alignatiedata. Dit suggereert dat veiligheidsverslechtering ook een bijproduct is van het ruisresidu dat door de spectrale snit wordt verwijderd.
• Cognitie versus Kennis: De methode toont bijzondere sterkte in het Cognitie-cohort (redeneertaken), waar andere baselines vaak instorten op bewaring.

Betekenis en Claims

Het artikel claimt dat een deel van de door fijnafstemmen veroorzaakte verlies aan vaardigheden geen onvermijdelijk gevolg van specialisatie is, maar eerder een verwijderbaar spectraal residu binnen de gewichtsupdate zelf.

• Mechanisme: De resultaten suggereren dat de "ruis" die tijdens fijnafstemmen wordt geaccumuleerd, functioneel inert en schadelijk is, terwijl het "signaal" geconcentreerd is in een laag-dimensionale deelruimte. Door de spectrale bulk te verwijderen, herstelt DG-Hard vaardigheden zonder hertraining.
• Generaliteit: De methode werkt zonder toegang tot vooraftrainingsdata, alignatiedata of de originele trainingshyperparameters, en vertrouwt uitsluitend op de basis- en fijnafgestemde checkpoints.
• Veiligheid: De onverwachte herstel van veiligheidsalignatie impliceert dat veiligheid en vaardigheden zijn gekoppeld via dezelfde spectrale structuur, en dat "onschadelijk" fijnafstemmen onbedoeld veiligheid kan eroderen via hetzelfde ruismechanisme dat redeneren erodeert.

De auteurs concluderen dat spectrale vergeten een principiële, efficiënte en datavrije weg biedt om catastrofaal vergeten te mitigeren, wat de notie uitdaagt dat specialisatie noodzakelijkerwijs het permanente verlies van algemene vaardigheden vereist.