Technische Samenvatting: DualSFT – Één Algorithmus, Twee Doelen voor LLM-Finetuning

1. Probleemstelling

Het finetunen van Large Language Models (LLM) kent bij moderne schalen onaanvaardbare kosten, wat onderzoek stimuleert naar twee verschillende efficiency-strategieën: Parameter-Efficient Fine-Tuning (PEFT) en Data-Efficient Fine-Tuning (DEFT). PEFT-methoden (bijv. parameterselectie, LoRA) verminderen het geheugen voor trainbare toestanden, terwijl DEFT-methoden (bijv. dataselectie, herweging) de optimalisatiewerklast verkleinen.

Momenteel opereren deze strategieën onafhankelijk van elkaar. Wanneer zowel een parametermasker als een datasubset worden toegepast om updates te beperken, hanteren bestaande benaderingen doorgaans aparte scoremechanismen. Deze scheiding leidt tot redundante computatiekosten en creëert een coördinatieprobleem: een parametermasker dat is geselecteerd zonder rekening te houden met de specifieke datasubset (en vice versa), kan leiden tot suboptimale gezamenlijke prestaties. Het artikel stelt dat, aangezien parametermaskers en datasubsets gezamenlijk de beperkte updates bepalen, deze via een gedeelde scoreregel moeten worden geselecteerd in plaats van via ontkoppelde mechanismen.

2. Methodologie: DualSFT

De auteurs stellen DualSFT (Dual-Selection Fine-Tuning) voor, een eenmalig algoritme dat parameterbelang en data-utility gezamenlijk extrahert uit gedeelde gradientstatistieken. De kerntheoretische inzichten bestaan erin dat parameter- en dataselectie worden gezien als twee gezichtspunten van één enkel lokaal respons-surrrogaat-probleem onder een gemeenschappelijke validatiedoelstelling.

2.1 Theoretische Fundamenten: Bilevel Formuleren en Surrogaatmodellen

Het selectieproces wordt geformuleerd als twee bilevel-optimalisatieproblemen die een externe validatiedoelstelling delen $\mathcal{L}_{val} = \mathcal{L}_{new} + \lambda \mathcal{L}_{prior}$, waarbij $\mathcal{L}_{new}$ de verliesfunctie voor de doeltaak is en $\mathcal{L}_{prior}$ de vooraf getrainde capaciteiten behoudt.

• Externe Niveau: Selecteert een begrens masker (parametermasker $\mathbf{m}_\theta$ of datamasker $\mathbf{m}_D$).
• Interne Niveau: Berekent de optimale parameterupdate $\delta^*$ die wordt veroorzaakt door het geselecteerde masker.

Het exact oplossen hiervan is onuitvoerbaar voor LLM's. De auteurs benaderen de interne respons met een één-staps gradientupdate bij een gemeenschappelijk warmup-checkpoint $\bar{\theta}$. Dit levert lokale surrogaatmodellen op waarbij de updaterichting afhangt van de geselecteerde subset.

2.2 De Gedeelde Interactiematrix

Door de validatiedoelstelling rondom $\bar{\theta}$ te ontwikkelen met behulp van Taylor-benaderingen van de eerste en tweede orde, leiden de auteurs een gradientinteractiematrix $\mathbf{M} \in \mathbb{R}^{N \times D}$ af (waarbij $N$ het aantal samples is en $D$ de parameterdimensie).

• Parameterbelang: Doet zich voor als de kolomsgewijze aggregatie van $\mathbf{M}$.
• Data-utility: Doet zich voor als de rijgewijze aggregatie van $\mathbf{M}$.

Deze structuur onthult een rij-kolom dualiteit: beide signalen zijn afgeleid van hetzelfde algebraïsche object. De gesloten-vorm scores staan een Shapley-waarde interpretatie toe, waarbij de selectie wordt behandeld als een coöperatief spel waarbij de interactiematrix de toewijzing van krediet verzorgt.

2.3 Het DualSFT Algoritme-pijplijn

Het algoritme wordt uitgevoerd in drie fasen:

1. Pilot Warmup: Een lichtgewicht warmup (1 epoch, 5% van de data) vestigt een stabiel checkpoint $\bar{\theta}$ en schat de diagonale kromming $\hat{c}$ met behulp van de tweede-moment buffer van AdamW.
2. Eenmalige Dual Scoring:
   • Er wordt een projectievector voor validatieverbetering $\mathbf{u}$ geconstrueerd: $\mathbf{u} = \eta_{sc}(\nabla \mathcal{L}_{new} + \lambda \nabla \mathcal{L}_{prior}) - \frac{\eta_{sc}^2}{2} \hat{c} \odot \mathbf{G}$, waarbij $\mathbf{G}$ de geaccumuleerde trainingsgradient is.
   • Parameterscores: $s_{\theta, d} = u_d G_d$ (kolomaggregatie).
   • Datascores: $s_{D, n} = \langle \mathbf{u}, \mathbf{g}_n \rangle$ (rijaggregatie, berekend via Ghost Dot Product om het materialiseren van per-sample gradients te vermijden).
   • De top-$k$ parameters en top-$b$ samples worden geselecteerd op basis van deze gesigneerde scores.
3. Beperkte Finetuning: Het model wordt gefinetuned op de geselecteerde datasubset met uitsluitend de geselecteerde parameters.

2.4 Behoudsmechanisme

Om catastrofaal vergeten te mitigeren zonder toegang tot voortrainingsdata, hanteert DualSFT Confidence-Weighted Self-Distillation (CWSD). Dit construeert de behoudsrichting $\nabla \mathcal{L}_{prior}$ door de KL-divergentie te minimaliseren tussen het huidige model en het originele voorgetrainde model op een ankerset, gewogen naar de zekerheid van de voorspellingen van het originele model.

3. Belangrijkste Bijdragen

1. Gecentraliseerde Scoretheorie: De afleiding van een gedeelde respons-surrrogaat scoreregel die aparte parameter- en dataselectieproblemen transformeert in rijgewijze en kolomgewijze aggregaties van één enkele gradientinteractiematrix, ondersteund door een gelokaliseerde Shapley-interpretatie.
2. DualSFT Algoritme: Een praktisch, eenmalig dual-scoring algoritme dat parameter- en dataselectie gelijktijdig coördineert, waardoor redundante scorepasses en coördinatiekloven die voorkomen in sequentiële hybride baselines worden geëlimineerd.
3. Behoudsrichting: Een corpus-vrije behoudsrichting met behulp van CWSD die vergeten tijdens beperkte finetuning effectief mitigeert.
4. Empirische Validatie: Uitgebreide experimenten op 3B–9B LLM's (Llama-3.2, Gemma-3, Qwen-3.5) over codegeneratie en wiskundig redeneertaken.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op Magicoder (code) en MetaMathQA (wiskunde) met overeenkomende budgetten (10% data, 5% parameters).

• Prestaties: DualSFT presteert beter dan single-axis baselines (bijv. LESS, S2FT, NanoAdam) en sequentiële hybriden (bijv. LESS + S2FT, SPICE + NanoAdam).
  • Op Llama-3.2-3B (Magicoder) behaalde full DualSFT een 47,10% Overall score, wat de sterkste sequentiële hybride (SPICE + NanoAdam met 44,71%) 2,39 punten overtreft.
  • DualSFT-varianten leidden consistent hun respectievelijke vergelijkingsgroepen in zowel plasticiteit (doeltaakprestaties) als stabiliteit (behoud van algemene capaciteiten).
• Efficiency: DualSFT verlaagt de kosten voor finetuning. Full DualSFT behaalde zijn resultaten met 7,4 GPU-uren en 28,5 GB piekgeheugen voor selectie, en presteerde beter dan sequentiële hybriden in de gezamenlijk-beperkte trade-off.
• Ablaties:
  • Het verwijderen van de warmup-stap schaarde de plasticiteit aanzienlijk.
  • Het verwijderen van CWSD schaarde de stabiliteit aanzienlijk.
  • Het gebruik van alleen first-order scoring (het negeren van diagonale kromming) veroorzaakte de grootste daling in Overall-prestaties, wat de tweede-orde benadering valideert.
• Diagnostische Analyse: Het artikel bevestigt dat eenmalige scoring het grootste deel van de gezamenlijke structuur vastlegt, aangezien vastzijdige herselectie (opnieuw scoren van één as na het vaststellen van de andere) marginale winsten oplevert (<0,12 punten) ten koste van aanzienlijk verhoogde berekening.

5. Betekenis en Claims

Het artikel stelt dat DualSFT een verschuiving vertegenwoordigt van het behandelen van parameter- en dataselectie als onafhankelijke heuristieken naar het zien ervan als gekoppelde aanpassingsbronnen. Door beide signalen af te leiden uit één enkel surrogaat voor validatieverbetering, bereikt de methode:

• Reductie van Redundantie: Elimineert de behoefte aan aparte scoremechanismen en herhaalde conditionele passes.
• Verbeterde Coördinatie: Stemt de selectie-assen af voordat de gezamenlijke update plaatsvindt, waardoor de "coördinatiekloof" wordt vermeden waarbij onafhankelijke selecties ongeverifieerde signalen mengen.
• Balans in Trade-offs: Bereikt een gunstigere stabiliteit-plasticiteit-efficiency frontier dan bestaande sequentiële of single-axis methoden onder overeenkomende budgetten.

De auteurs merken bescheiden op dat de methode vertrouwt op een lokaal surrogaat, wat betekent dat de scorebetrouwbaarheid kan afnemen naarmate de optimalisatie ver weg beweegt van het warmup-checkpoint. Zij suggereren dynamische herselectie als een toekomstige richting voor langere aanpassingshorizons, maar benadrukken dat de eenmalige aanpak zeer kosteneffectief is voor de onderzochte budgetten.