🤖 machine learning

Procedural-skill SFT across capacity tiers: A W-Shaped pre-SFT Trajectory and Regime-Asymmetric Mechanism on 0.8B-4B Qwen3.5 Models

Dit artikel toont aan dat hoewel procedurale vaardigheidstraining via SFT uniforme absolute winsten oplevert voor Qwen3.5-modellen van 0,8B tot 4B, de resulterende prestatiecurve een W-vormig patroon volgt, gedreven door regime-asymmetrische basiscapaciteiten, waarbij SFT de meest significante absolute verbetering biedt aan modellen die aanvankelijk moeite hebben met de procedure.

Oorspronkelijke auteurs: Igor Strozzi

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Igor Strozzi

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Recept Leren aan Verschillende Koks

Stel je voor dat je drie koks hebt met verschillende ervaringsniveaus:

De Nieuweling (0.8B): Een keukenhulp die enthousiast is maar zich snel overweldigd voelt.
De Leerling (2B): Een kok die de basis kent, maar soms lui wordt of stappen overslaat.
De Sous-chef (4B): Een zeer bekwame kok die meestal zelfstandig uit de voeten kan.

De onderzoekers wilden zien wat er gebeurt als ze alle drie de koks een specifiek, geschreven 5-staps recept (een "procedurale vaardigheid") geven om te volgen voor 200 verschillende kookuitdagingen. Ze wilden weten: Helpt het hen om het recept te volgen om beter te koken, of doen ze net alsof ze het volgen?

De Hoofdontdekking: De "W"-Vorm

De onderzoekers vonden iets verrassends. Voordat ze iemand het recept gaven, volgde het vermogen van de koks om de taak aan te pakken een vreemde "W"-vorm als je ze bekijkt van klein naar groot:

De Nieuweling (0.8B): Toen ze het recept voor de training kregen, deden ze het slechter. De 5 stappen waren te ingewikkeld; ze raakten in de war bij stap 1 en bedierf het hele gerecht. Het recept was een last.
De Leerling (2B): Toen ze het recept kregen, deden ze het beter. Ze zaten in het "sweet spot". Het recept fungeerde als stabilisatiewieltjes, waardoor ze hun werk konden controleren en fouten konden vermijden die ze normaal maakten.
De Sous-chef (4B): Toen ze het recept voor de training kregen, deden ze het iets slechter (of bleven gelijk). Ze waren al zo goed in koken dat het lezen van het recept voelde als extra administratie. Het vertraagde hen zonder waarde toe te voegen.

De Twist: Nadat de onderzoekers de koks trainden met behulp van het recept (een proces genaamd SFT), gebeurde er iets magisch. De hoeveelheid verbetering was bijna hetzelfde voor alle drie de koks.

De Nieuweling leerde de stappen te volgen zonder in de war te raken.
De Leerling werd iets scherper.
De Sous-chef leerde het recept niet meer als vervelende administratie te behandelen, maar als een nuttig hulpmiddel te gebruiken.

De Les: De training (SFT) werkt het hardst waar de kok het meest worstelt. Het lost de verwarring van de Nieuweling en de luiheid van de Sous-chef op, wat resulteert in een vergelijkbare "boost" voor iedereen, ook al begonnen ze vanuit zeer verschillende uitgangsposities.

De "Formaat"-Valstrik (Een Grote Fout die Ze Oplossen)

Het paper benadrukt een enorme fout die ze bijna maakten.

Stel je voor dat een strenge rechter alleen antwoorden accepteert die op een specifieke lijn zijn geschreven: "ANTWOORD: [De Naam van het Gerecht]".

De Nieuweling en Sous-chef schreven het antwoord vaak in een zin, zoals: "Ik concludeer dat het gerecht Pizza is."
De strenge rechter (een computerscript) kon het woord "ANTWOORD" niet vinden en beoordeelde hen als mislukt, zelfs al hadden ze het juiste antwoord.
De Leerling had per toeval precies het formaat geschreven dat de rechter wilde, dus leek hij de winnaar.

De onderzoekers realiseerden zich dat hun "rechter" bevooroordeeld was. Het mat geen kookvaardigheid, maar typevaardigheid.

De Oplossing: Ze schakelden over naar een mensachtige rechter (een AI die de hele zin leest).

Resultaat: De scores van de Nieuweling en Sous-chef schoten omhoog!
De Vooroordelen: De strenge rechter had de koks die in "vrije vorm" zinnen schreven onterecht gestraft. De onderzoekers ontdekten dat de "gecurateerde" (receptvolgende) groep eigenlijk zwaarder werd gestraft door de strenge rechter, omdat hun gedetailleerde uitleg het uiteindelijke antwoord vaak in de tekst verstopte.

Het "Plafond" en de "Voorgrens"**

De onderzoekers vergeleken hun getrainde Sous-chef (4B) met een Wereldberoemde Sterkok (genaamd "Haiku-4-5").

Voor de training was de Sous-chef goed, maar niet helemaal op het niveau van de Sterkok.
Na training met het recept evenaarde de Sous-chef de Sterkok. Ze haalden allebei 197 van de 200 gerechten perfect.
Dit bewijst dat de training de Sous-chef niet alleen liet "lijken" alsof ze stappen volgden; het maakte hen daadwerkelijk even goed als de besten ter wereld voor deze specifieke taken.

Wat Niet Werkte (De "Negatieve" Resultaten)

De onderzoekers probeerden de Nieuweling (0.8B) beter te maken door het trainingsrecept aan te passen (de tekst veranderen, delen van de stappen verwijderen, etc.).

Resultaat: Niets werkte. De Nieuweling kon de gerechten nog steeds niet perfect koken.
Waarom: De Nieuweling had simpelweg niet genoeg hersencapaciteit om alle stappen tegelijk in het hoofd te houden. Hoe ze hen ook probeerden te leren, het "plafond" was de eigen limiet van de Nieuweling, niet de leermethode.

Samenvatting van Belangrijkste Leerpunten

Training helpt iedereen, maar om verschillende redenen: Het redt de verwarde, scherpt de bekwame af en heractiveert de zelfverzekerde. De "boost" is verrassend vergelijkbaar in alle gevallen.
Vertrouw geen stijve rechters: Als je alleen kijkt naar specifieke opmaak (zoals "ANTWOORD: X"), kun je het feit missen dat een model het probleem eigenlijk correct heeft opgelost.
Grootte telt, maar niet zoals je denkt: Een klein model kan leren een procedure te gebruiken net zo goed als een groot model, maar het kan de hele taak niet noodzakelijkerwijs perfect uitvoeren als de taak te zwaar is voor de hersengrootte.
De "W"-Kromme: Kleine modellen raken in de war door procedures; middelgrote modellen houden ervan; grote modellen vinden ze vervelend totdat ze getraind zijn om de waarde ervan te zien.

Kortom: Het paper toont aan dat het leren van een stap-voor-stap proces een krachtig hulpmiddel is, maar je moet het eerlijk meten (door stijve opmaakregels te negeren) en begrijpen dat de grootte van een model bepaalt hoe goed het de stappen kan uitvoeren, zelfs als het leert ze net zo goed te volgen als een groter model.

Technische Samenvatting: Procedurale Vaardigheids-SFT Over Capaciteitsniveaus

Probleemstelling
Het artikel onderzoekt of expliciete procedurale instructies tijdens Supervised Fine-Tuning (SFT) kleinere taalmodellen leren om redeneerprocedures effectief te gebruiken tijdens inferentie, of dat ze de modellen slechts aanzetten om de vorm van het antwoord na te bootsen (formaatleren). Specifiek wordt de bijdrage van procedurale vaardigheids-SFT onderzocht over verschillende modelcapaciteitsniveaus (0,8B, 2B en 4B parameters) met behulp van de Qwen3.5 dense serie. Een centrale uitdaging die wordt aangepakt, is de potentie voor evaluatie-artefacten, met name formaat-compliance bias in deterministische beoordelaars, die formaatlering kunnen verwarren met ware toepassing van procedures.

Methodologie
De studie hanteert een zelfbevattende pijplijn die omvat:

Dataconstructie: Een handmatig samengestelde catalogus van 40 declaratieve vaardigheden (waaronder logische drogredenen, deductieve vormen, cognitieve biases, etc.), herschreven naar procedurale vormen door Opus 4.7. Een synthesizer genereerde 600 taken (400 train, 200 holdout), waarbij een 1:1 mapping tussen taak en vaardigheid werd gegarandeerd.
SFT-corpus: Een gecureerd chat-formaat corpus van 353 rijen, gegenereerd door Opus 4.7-antwoorden te traceren met ingevoegde procedurale vaardigheidsblokken. Het corpus bestaat uit demonstraties van (systeemprompt met vaardigheidsblok, gebruikers taak, assistent Chain-of-Thought + ANTWOORD-lijn).
Modellen: Drie Qwen3.5 dense modellen (0,8B, 2B, 4B) die zijn fijngefine-tuned met LoRA. Een frontier-referentie, Claude Haiku 4.5, werd opgenomen voor vergelijking.
Evaluatieprotocol:
- Voorwaarden: Baseline (solver prompt zonder vaardigheidsblok) versus Gecureerd (solver prompt met bijpassend procedueel vaardigheidsblok).
- Scoren: Er werden twee paden gebruikt: (1) Deterministisch-gemengd (native bench dispatch met regex-extractors voor gestructureerde antwoorden en Opus 4.7 voor vrije vorm), en (2) Uitsluitend LLM (Opus 4.7 beoordelaar voor alle taaktypes om formaat-compliance poorten te omzeilen).
- Maten: Slagingspercentages en de differentiële lift ( $\Delta = \text{pass\_rate}_{\text{gecureerd}} - \text{pass\_rate}_{\text{baseline}}$ ).
- Validatie: Cross-family validatie met GPT-5.4 op 2.800 gekoppelde episodes om beoordelaar-overlap bias te begrenzen.

Belangrijkste Bevindingen

Uniforme SFT-bijdrage ( $\Delta$ -lift): Onder gesloten-pad, uitsluitend LLM-scoren is de aan SFT toe te schrijven procedurale lift ongeveer uniform over modelgroottes: +0,070 (0,8B), +0,040 (2B) en +0,075 (4B). Dit suggereert dat het differentiële werk dat SFT verricht (het leren van het model om de procedure te gebruiken versus het niet gebruiken ervan) capaciteitsinvariant is binnen een band van 4 procentpunten.
W-vormige Pre-SFT-traject: De variatie in post-SFT prestaties wordt gedomineerd door een niet-monotoon pre-SFT basis-traject.
- 0,8B: Diepe trog ( $\Delta = -0,075$ ). De basis mist de capaciteit om de 5-staps procedure te volgen, wat leidt tot cumulerende fouten.
- 2B: Positieve piek ( $\Delta = +0,060$ ). De basis bevindt zich in een "sweet spot" waar de procedure controles biedt die het model anders zou overslaan.
- 4B: Ondiepe trog ( $\Delta = -0,010$ ). De basis is bekwaam genoeg om taken direct op te lossen; de procedure voegt overhead toe zonder signaal, wat soms leidt tot minder verdedigbare conclusies.
- Frontier (Haiku-4-5): Bescheiden positief ( $\Delta = +0,030$ ).
Regime-Asymmetrisch Mechanisme: SFT werkt in absolute termen het hardst waar de basis worstelt met de procedure. Het redt het 0,8B-model van een procedure-inefficiënt regime naar neutraal en draait het 4B-model om van een procedure-overhead regime naar een procedure-bevorderend regime. Het mechanisme is regime-asymmetrisch in plaats van strikt capaciteits-afhankelijk.
Formaat-compliance Artefact: De studie identificeert een systematische bias in de deterministische ANTWOORD-lijn extractor die door 83,5% van de bench wordt gebruikt. Deze extractor telt vrije vorm proza-conclusies onder, wat het gecureerde conditie (waar conclusies vaak zijn ingebed in procedurale vertelling) en de frontier-referentie (Haiku) systematisch bestraft. De uitsluitend LLM-nabewerking onthulde deze bias, waarbij bleek dat de prestatie van Haiku met +18,5 pp verbeterde op de gecureerde conditie toen formatbeperkingen werden verwijderd.
0,8B Capaciteitsplafond: Iteratieve receptvariaties bij 0,8B (corpus-samenstelling, gedeeltelijk fine-tuning, verwijderen van vaardigheidsblokken) slaagden er niet in het absolute slagingspercentage te verhogen boven een band van 2 pp. Dit bevestigt dat het 0,8B absolute plafond wordt begrensd door de basisredeneercapaciteit, niet door het SFT-recept. De differentiële lift ( $\Delta$ ) bleef echter consistent met grotere modellen.
Frontier Pariteit: Het 4B-model met SFT (v2.0) komt overeen met de Haiku-4-5 referentie op het effectieve plafond van de bench (0,985 slagingspercentage) onder eerlijke scoren. Dit wordt toegeschreven aan SFT plus basisschaling, aangezien het pre-SFT 4B-basis (0,840) Haiku niet evenaarde.

Betekenis en Aanspraken
Het artikel claimt twee eerdere kaders te overtreffen: "uitsluitend formaatleren bij 0,8B" (onthuld als een path-mismatch artefact) en "SFT-bijdrage krimpt bij 4B" (onthuld als een misverstand van het pre-SFT basis-traject).

Empirische Bijdrage: Het biedt bewijs dat procedurale vaardigheids-SFT een consistente differentiële lift oplevert over schalen, maar dat het netto voordeel sterk afhankelijk is van het bestaande procedurale regime van het basismodel.
Methodologische Bijdrage: Het benadrukt een kritiek formaat-compliance artefact in standaard benchmarks dat SFT-aanspraken bevooroordeelt tegen gecureerde condities en frontier-modellen. Het demonstreert de noodzaak van format-tolerante evaluatie (uitsluitend LLM-beoordeling) om formaatleren te scheiden van procedurale toepassing.
Falsifieerbare Voorspelling: Het artikel voorspelt dat bij grotere schalen (8B/14B) het pre-SFT-traject zal herstellen naar positieve waarden (gelijk aan Haiku), en dat de SFT $\Delta$ -lift zal krimpen naar 2B-niveaus naarmate de basis van nature procedure-vriendelijk wordt.

Beperkingen
De auteurs wijzen expliciet op enkele beperkingen:

Evaluatie met enkele seed: Resultaten zijn punt-schattingen zonder multi-seed replicatie.
Corpus-Beoordelaar Overlap: Opus 4.7 werd gebruikt voor taaksynthese, trace-generatie en beoordeling. Hoewel cross-family validatie (GPT-5.4) de bias in de beoordelingsfase begrenst, blijft de overlap in corpus-generatie structureel onbegrensd.
Taakuitlijning: De bench meet procedurale toepassing op procedure-uitgelijnde taken, niet algemene vaardigheidsrouting of compositief gebruik van vaardigheden.
Geen Generieke Controle: De studie omvatte geen controletraining op generieke instructie-tuning data om kwantitatief formaat versus procedure-bijdragen te ontleden, hoewel de differentiële lift wordt aangevoerd als bewijs van het laatste.