Technische Samenvatting: De Fine-Tuning Valstrik in Sub-1B Mathematisch Redeneren

Probleemstelling

De inzet van Small Language Models (SLM's) op edge-apparaten vereist efficiënte adaptatiestrategieën die de algemene capaciteiten niet degraderen. Dit artikel identificeert echter een kritieke kwetsbaarheid in modellen met minder dan 300 miljoen parameters: Full Fine-Tuning (Full FT) induceert vaak "negatieve transfer", wat de prestaties actief schaadt en de nauwkeurigheid onder de zero-shot baselines brengt. Dit fenomeen, de "Fine-Tuning Valstrik" genoemd, suggereert dat voor sub-1B modellen standaard fine-tuning niet louter een keuze voor efficiëntie is, maar een vereiste voor stabiliteit. De auteurs stellen dat SLM's opereren nabij "capaciteitverzadiging", waarbij dichte pre-trained kennis geen redundante parameters meer overlaat om nieuwe taakspecifieke gradiënten te absorberen zonder de kern van linguïstische en redeneercapaciteiten te overschrijven.

Methodologie

De studie hanteert een systematisch empirisch kader om vijf decoder-only architecturen te benchmarken binnen een parameterrange van 135M tot 2B.

• Modelselectie: De evaluatie beslaat drie regimes:
  • Tiny Regime (<500M): SmolLM2-135M en SmolLM2-360M.
  • Transition Regime (~500M): Qwen2.5-0.5B (hoogwaardig uitgelijnd).
  • Reference Regime (>1B): OLMo-1B en Gemma-2B.
• Taken: De primaire focus ligt op mathematisch redeneren, waarbij een gestratificeerde subset van 10.000 voorbeelden uit OrcaMath wordt gebruikt voor training. De evaluatie omvat GSM8K (in-distributie redeneren), SVAMP (out-of-distribution robuustheid) en MATH (problemen met een hoge moeilijkheidsgraad).
• Fine-Tuning Strategieën: De studie vergelijkt:
  • Full FT: Het updaten van alle parameters.
  • PEFT (Parameter-Efficient Fine-Tuning): Specifiek LoRA (Low-Rank Adaptation) en DoRA (Weight-Decomposed LoRA).
• Trainingsprotocol: Experimenten werden uitgevoerd op H100-nodes. De auteurs gebruikten onderscheidende hyperparameters voor stabiliteit, waarbij een hogere learning rate voor PEFT ($2 \times 10^{-4}$) werd gehanteerd vergeleken met Full FT ($2 \times 10^{-5}$) om rekening te houden met de zero-initialisatie van adapters versus de noodzaak om priors te behouden bij Full FT.
• Analyse: De auteurs analyseerden de trainingsdynamiek via gradiëntnormen, loss-trajecten en Hessian spectrale analyse om de optimalisatiestabiliteit te begrijpen.

Belangrijkste Bijdragen

1. Identificatie van een Stabiliteitsdrempel: Het artikel stelt een "Faseovergang" vast bij ongeveer 500M parameters. Onder deze drempel faalt Full FT consistent, wat vaak resulteert in catastrofaal vergeten. Boven 1B parameters herwint Full FT zijn effectiviteit naarmate modellen over voldoende "slack" capaciteit beschikken.
2. Theoretische Formalisering van Instabiliteit: De auteurs modelleren het falen van Full FT in kleine modellen via drie lenzen:
   • Intruder Dimensions: Onbeperkte updates via Full FT bewegen door orthogonale subruimtes ($W_{pre}^\perp$) die gekenmerkt worden door hoge kromming (grote Hessian eigenwaarden), wat leidt tot instabiliteit. PEFT beperkt updates tot het pre-trained manifold.
   • Architecturale Conditionering: Moderne SLM's gebruiken vaak "Deep and Thin" architecturen. Dit vergroot de conditienummer van de input-output Jacobiaan exponentieel, wat extreme gradiëntvariantie veroorzaakt die Full FT niet kan balanceren, terwijl LoRA updates ontkoppelt om dit te mitigeren.
   • Beperken van Vergeten: PEFT-methoden beperken strikt de verplaatsing van de pre-trained gewichten ($\delta_{PEFT}$), waardoor het model binnen een "vertrouwensregio" blijft, in tegen tegenstelling tot de onbeperkte verplaatsing van Full FT.
3. Vergelijkende Dynamiek van PEFT: De studie biedt een gedetailleerde analyse die laat zien dat hoewel LoRA en DoRA beide de training stabiliseren, hun sterktes verschillen. DoRA (die magnitude en richting ontkoppelt) blinkt uit in complexe redeneertaken (GSM8K), terwijl LoRA domineert in patroonherkenning (OrcaMath).
4. Hardware en Economische Trade-offs: Het artikel herdefinieert de waarde van PEFT voor SLM's. Op high-end hardware (H100) is Full FT feitelijk 2x sneller in wall-clock tijd vanwege geoptimaliseerde dichte matrix kernels, terwijl PEFT last heeft van kernel overhead. Echter, PEFT is essentieel voor toegankelijkheid, door de VRAM-vereisten te verminderen van ~16GB (Full FT) naar <4GB, wat training op consumentenhardware (bijv. RTX 4090) mogelijk maakt waar Full FT de geheugenlimieten zou overschrijden.

Empirische Resultaten

• De Optimalisatieklif: Voor het 135M model (SmolLM2) plateauerde de Full FT loss vroegtijdig op ~0.82 met instabiele gradiëntnormen, terwijl PEFT-methoden convergeerden naar ~0.74. De Full FT nauwkeurigheid op OrcaMath daalde naar 4.80% (onder de 6.00% zero-shot baseline).
• Alignment Collapse: Bij het uitgelijnde Qwen2.5-0.5B model bereikte Full FT hoge in-distributie scores, maar resulteerde dit in 0.00% nauwkeurigheid op de SVAMP robuustheid benchmark. Dit geeft aan dat Full FT de veiligheids- en robuustheidsvectoren heeft overschreven met de smalle taakdistributie. PEFT-methoden behielden deze capaciteiten.
• Kwalitatieve Falen: Full FT op kleine modellen leidde tot "repetition loops" (oneindige berekeningsstappen) en "verlies van rekenlogica" (onzinnige tussenliggende wiskunde), wat wijst op schade aan de attention heads die verantwoordelijk zijn voor de discourse structuur.
• Succes in het Reference Regime: Voor modellen >1B (OLMo, Gemma), presteerde Full FT beter dan PEFT (bijv. Gemma-2B Full FT: 19.8% GSM8K vs. LoRA: 18.5%), wat bevestigt dat voldoende capaciteit full-rank updates toestaat zonder instorting.

Betekenis en Aanbevelingen

Het artikel concludeert dat de "Stabiliteit-Capaciteit Trade-off" een strikte operationele grens dicteert voor SLM's:

1. De <500M Gevaarzone: Voor modellen zoals SmolLM2 is Full FT actief schadelijk. Praktijkgebruikers zouden standaard voor PEFT moeten kiezen om het instorten van redeneren te voorkomen.
2. Het Alignment Mandaat: Voor uitgelijnde modellen (bijv. Qwen2.5) vernietigt Full FT de robuustheid en veiligheids-alignment. PEFT is verplicht om de "veiligheidssubruimte" van de pre-trained gewichten te behouden, waarbij het fungeert als een "safety sandbox".
3. De Terugkeer naar Schaal: Full FT wordt pas weer levensvatbaar wanneer de parameteraantallen de 1B overschrijden, waar intrinsieke capaciteit full-rank updates kan absorberen.

De auteurs adviseren om standaard voor PEFT te kiezen voor alle uitgelijnde sub-1B modellen en waarschuwen tegen Full FT voor elke architectuur kleiner dan 500M parameters. Ze benadrukken dat hoewel Full FT sneller kan zijn op clusters, PEFT de cruciale facilitator is voor het democratiseren van SLM-training op edge-apparaten en het handhaven van de veiligheid en robuustheid die vereist is voor gereguleerde industrieën.