Procedural-skill SFT across capacity tiers: A W-Shaped pre-SFT Trajectory and Regime-Asymmetric Mechanism on 0.8B-4B Qwen3.5 Models

Riepilogo Tecnico: SFT su Abilità Procedurali tra Livelli di Capacità

Enunciato del Problema
Il documento indaga se le istruzioni procedurali esplicite durante il Supervised Fine-Tuning (SFT) insegnino ai modelli linguistici più piccoli a utilizzare efficacemente le procedure di ragionamento al momento dell'inferenza, o se inducano semplicemente i modelli a imitare la forma della risposta (apprendimento del formato). Nello specifico, esamina il contributo dell'SFT su abilità procedurali attraverso diversi livelli di capacità del modello (0,8B, 2B e 4B parametri) utilizzando la serie densa Qwen3.5. Una sfida centrale affrontata è il potenziale di artefatti di valutazione, in particolare i bias di conformità al formato nei giudici deterministici, che potrebbero confondere l'apprendimento del formato con l'applicazione procedurale genuina.

Metodologia
Lo studio impiega una pipeline autonoma che coinvolge:

• Costruzione dei Dati: Un catalogo curato a mano di 40 abilità dichiarative (che coprono fallacie logiche, forme deduttive, bias cognitivi, ecc.) riscritte in forme procedurali da Opus 4.7. Un sintetizzatore ha generato 600 compiti (400 per l'addestramento, 200 per il mantenimento), garantendo una mappatura 1:1 tra compito e abilità.
• Corpus SFT: Un corpus curato di 353 righe in formato chat generato tracciando le risposte di Opus 4.7 con blocchi di abilità procedurali iniettati. Il corpus è composto da dimostrazioni (prompt di sistema con blocco di abilità, compito utente, Catena di Pensiero dell'assistente + riga RISPOSTA).
• Modelli: Tre modelli densi Qwen3.5 (0,8B, 2B, 4B) fine-tunati utilizzando LoRA. Un riferimento all'avanguardia, Claude Haiku 4.5, è stato incluso per il confronto.
• Protocollo di Valutazione:
  • Condizioni: Baseline (prompt di risoluzione senza blocco di abilità) vs. Curata (prompt di risoluzione con blocco di abilità procedurale corrispondente).
  • Punteggio: Sono stati utilizzati due percorsi: (1) Deterministico-misto (dispatch nativo del bench che utilizza estrattori regex per risposte strutturate e Opus 4.7 per il formato libero), e (2) Solo-LLM (giudice Opus 4.7 per tutti i tipi di compito per aggirare i gate di conformità al formato).
  • Metriche: Tassi di successo e il guadagno differenziale ($\Delta = \text{pass\_rate}_{\text{curated}} - \text{pass\_rate}_{\text{baseline}}$).
  • Validazione: Validazione cross-famiglia utilizzando GPT-5.4 su 2.800 episodi accoppiati per delimitare il bias di sovrapposizione del giudice.

Risultati Chiave

1. Contributo Uniforme dell'SFT (Guadagno $\Delta$): Sotto il punteggio Solo-LLM su percorsi corrispondenti, il guadagno procedurale attribuibile all'SFT è approssimativamente uniforme tra le dimensioni del modello: +0,070 (0,8B), +0,040 (2B) e +0,075 (4B). Ciò suggerisce che il lavoro differenziale svolto dall'SFT (insegnare al modello a usare la procedura rispetto al non usarla) è invariante rispetto alla capacità entro una banda di 4 punti percentuali.
2. Traiettoria Pre-SFT a Forma di W: La variazione nelle prestazioni post-SFT è dominata da una traiettoria di base pre-SFT non monotona.
   • 0,8B: Profondo avvallamento ($\Delta = -0,075$). La base manca della capacità di seguire la procedura a 5 passaggi, portando a errori cumulativi.
   • 2B: Picco positivo ($\Delta = +0,060$). La base si trova in un "punto dolce" dove la procedura funge da impalcatura per i controlli che il modello altrimenti salterebbe.
   • 4B: Avvallamento superficiale ($\Delta = -0,010$). La base è abbastanza competente da risolvere i compiti direttamente; la procedura aggiunge overhead senza segnale, portando talvolta a conclusioni meno difendibili.
   • Avanguardia (Haiku-4-5): Moderatamente positivo ($\Delta = +0,030$).
3. Meccanismo Asimmetrico per Regime: L'SFT lavora di più in termini assoluti dove la base fatica con la procedura. Risana il modello 0,8B da un regime di incompetenza procedurale a uno neutro e inverte il modello 4B da un regime di overhead procedurale a uno in cui la procedura è utile. Il meccanismo è asimmetrico per regime piuttosto che strettamente condizionato dalla capacità.
4. Artefatto di Conformità al Formato: Lo studio identifica un bias sistematico nell'estratto della riga RISPOSTA deterministico utilizzato dall'83,5% del bench. Questo estrattore sottostima le conclusioni in prosa libera, penalizzando sistematicamente la condizione curata (dove le conclusioni sono spesso incorporate nella narrazione procedurale) e il riferimento all'avanguardia (Haiku). La rivalutazione Solo-LLM ha rivelato questo bias, mostrando che le prestazioni di Haiku sono migliorate di +18,5 punti percentuali nella condizione curata quando i vincoli di formato sono stati rimossi.
5. Tetto di Capacità 0,8B: Le variazioni iterative della ricetta a 0,8B (composizione del corpus, fine-tuning parziale, rimozione dei blocchi di abilità) non sono riuscite ad alzare il tasso di successo assoluto oltre una banda di 2 punti percentuali. Ciò conferma che il tetto assoluto a 0,8B è vincolato dalla capacità di ragionamento di base, non dalla ricetta SFT. Tuttavia, il guadagno differenziale ($\Delta$) è rimasto coerente con i modelli più grandi.
6. Parità con l'Avanguardia: Il modello 4B con SFT (v2.0) pareggia il riferimento Haiku-4-5 al tetto effettivo del bench (tasso di successo 0,985) sotto punteggio equo. Ciò è attribuito all'SFT più al scaling di base, poiché la base 4B pre-SFT (0,840) non corrispondeva a Haiku.

Significato e Affermazioni
Il documento afferma di superare due precedenti formulazioni: "apprendimento solo di formato a 0,8B" (rivelato come un artefatto di disallineamento del percorso) e "il contributo SFT si riduce a 4B" (rivelato come un fraintendimento della traiettoria di base pre-SFT).

• Contributo Empirico: Fornisce prove che l'SFT su abilità procedurali offre un guadagno differenziale coerente attraverso le scale, ma il beneficio netto dipende fortemente dal regime procedurale preesistente del modello di base.
• Contributo Metodologico: Evidenzia un artefatto critico di conformità al formato nei benchmark standard che distorce le affermazioni sull'SFT contro le condizioni curate e i modelli all'avanguardia. Dimostra la necessità di una valutazione tollerante al formato (giudizio Solo-LLM) per separare l'apprendimento del formato dall'applicazione procedurale.
• Previsione Falsificabile: Il documento prevede che a scale maggiori (8B/14B), la traiettoria pre-SFT si riprenderà verso valori positivi (simili a Haiku), e il guadagno $\Delta$ dell'SFT si ridurrà verso i livelli 2B man mano che la base diventa naturalmente favorevole alla procedura.

Limitazioni
Gli autori notano esplicitamente diverse limitazioni:

• Valutazione a singolo seme: I risultati sono stime puntuali senza replicazione multi-seme.
• Sovrapposizione Corpus-Giudice: Opus 4.7 è stato utilizzato per la sintesi dei compiti, la generazione delle tracce e il giudizio. Sebbene la validazione cross-famiglia (GPT-5.4) delimiti il bias nella fase di giudizio, la sovrapposizione nella generazione del corpus rimane strutturalmente illimitata.
• Allineamento dei Compiti: Il bench misura l'applicazione procedurale su compiti allineati alla procedura, non sul routing generale delle abilità o sull'uso compositivo delle abilità.
• Nessun Controllo Generico: Lo studio non ha incluso un addestramento di controllo su dati di instruction-tuning generici per decomporre quantitativamente i contributi di formato rispetto alla procedura, sebbene il guadagno differenziale sia argomentato come prova di quest'ultima.