💬 NLP

Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum

Questo studio dimostra che l'efficacia degli obiettivi di addestramento per il fine-tuning supervisionato dei grandi modelli linguistici dipende criticamente dal loro livello di capacità, rivelando che approcci basati sulle probabilità che penalizzano i token a bassa probabilità superano la classica verosimiglianza negativa nei modelli avanzati, mentre quest'ultima rimane superiore per i modelli meno capaci.

Autori originali: Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

Pubblicato 2026-03-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un cuoco esperto (il modello linguistico) che ha già passato anni a cucinare in una cucina enorme piena di libri di ricette, notizie e conversazioni (il pre-training). Questo cuoco sa già quasi tutto: sa come si fa una pizza, come si risolve un'equazione matematica di base o come si cura un raffreddore.

Ora, vuoi insegnargli a cucinare un nuovo piatto specifico (il fine-tuning o SFT). La domanda è: come lo correggi quando sbaglia?

Il Problema: La "Sgridata" Classica (NLL)

Finora, tutti hanno usato lo stesso metodo per correggere il cuoco: la Log-Likelihood Negativa (NLL).
Immagina che questa sia una sgridata matematica molto severa e uniforme. Se il cuoco dice "la pizza vuole 200 grammi di farina" (ma la ricetta dice 250), la sgridata classica gli urla: "Sbagliato! Sbagliato! Sbagliato!" per ogni singola parola, indipendentemente da quanto era vicino alla verità.

Il problema è che questo metodo è nato per imparare da zero (come un bambino che impara l'alfabeto). Ma il nostro cuoco è già un esperto! Se gli urli "sbagliato" anche quando sta per indovinare, o se gli fai ripetere parole che sa già a memoria, potresti confonderlo o fargli perdere la sua intuizione naturale.

La Scoperta: Non esiste un "metodo unico"

Gli autori di questo paper hanno scoperto che non esiste un modo migliore per correggere tutti. Tutto dipende da quanto è bravo il cuoco in quel specifico argomento. Hanno creato una "scala di abilità" (il continuum delle capacità del modello).

Ecco i tre scenari, spiegati con metafore:

1. Il Cuoco Esperto (Model-Strong)

Scenario: Vuoi insegnargli a risolvere problemi di matematica avanzata. Lui ha già letto milioni di libri di matematica. Sa già l'80% della strada.
Il problema della sgridata classica: Se il cuoco è al 90% sicuro della risposta, ma la sgridata classica si concentra anche sui 10% di dubbio (le parole "sbagliate" o incerte), finisce per distrarlo. È come se un allenatore di calcio, con un giocatore che sta per segnare, si mettesse a urlare per ogni piccolo errore di passo, facendogli perdere il ritmo.
La soluzione migliore (Prior-Leaning): Invece di urlare su tutto, dici: "Bravo, quella parte è giusta! Concentrati solo sull'ultimo dettaglio!".
- In termini tecnici, usano funzioni che ignorano le parole a bassa probabilità (quelle di cui il cuoco non è sicuro) e premiano quelle ad alta probabilità.
- Risultato: Il cuoco diventa un genio della matematica perché si fida della sua intuizione e affina solo i dettagli.

2. Il Cuoco Novellino (Model-Weak)

Scenario: Vuoi insegnargli a risolvere un puzzle di parole fatto con font strani (es. "figfont puzzles") che non esistono in nessun libro che ha mai letto.
Il problema della soluzione "esperta": Se usi il metodo "fatti guidare dall'intuizione" (Prior-Leaning), il cuoco dirà: "Non ho mai visto questo font, ma intuisco che la parola è 'mela' perché è la più comune". Si fida della sua intuizione sbagliata e peggiora.
La soluzione migliore (Prior-Averse / NLL classica): Qui devi usare la sgridata classica e severa. Devi dirgli: "No, non è 'mela'. Sbagliato! Devi imparare da zero, parola per parola, anche se sembra strano".
- Devi forzare il modello a imparare da tutte le parole, anche quelle che sembrano impossibili, perché la sua intuizione precedente non serve a nulla.
- Risultato: Il cuoco impara il nuovo puzzle perché è costretto a non fidarsi delle vecchie abitudini.

3. Il Cuoco "Così Così" (Model-Intermediate)

Scenario: La medicina. Il cuoco ha letto molti libri di medicina (quindi sa qualcosa), ma non ha visto ogni singolo caso clinico specifico.
La situazione: Qui non c'è un vincitore chiaro. A volte aiuta fidarsi dell'intuizione, a volte aiuta essere severi. È una zona grigia dove il metodo migliore dipende dal caso specifico.

La Metafora Finale: La Mappa e il Territorio

Immagina che il modello sia un viaggiatore con una mappa vecchia (i dati di pre-training).

Se il territorio è una città famosa (Matematica): La mappa è quasi perfetta. Se il viaggiatore si allontana di un millimetro dalla strada giusta, non serve urlargli "Sbagliato!" per ogni passo. Basta dirgli: "Sei sulla strada giusta, continua così". (Metodo Prior-Leaning).
Se il territorio è una giungla inesplorata (Puzzle nuovi): La mappa è inutile. Se il viaggiatore segue la sua intuizione basata sulla mappa vecchia, si perderà. Devi dirgli: "Non guardare la mappa! Guarda solo il terreno sotto i tuoi piedi e impara da zero". (Metodo NLL classico).

Perché è importante?

Fino a oggi, tutti pensavano che la "sgridata classica" (NLL) fosse sempre la migliore. Questo paper ci dice: "Fermati! Guarda quanto è bravo il tuo modello prima di decidere come correggerlo."

Se il modello è forte su quell'argomento, lascialo guidare e correggi solo i dettagli (usa funzioni che ignorano il rumore).
Se il modello è debole su quell'argomento, costringilo a imparare da zero (usa la sgridata classica).

In sintesi: non esiste un metodo di insegnamento universale. Bisogna adattare il metodo di correzione alle capacità del "studente" (il modello) e alla difficoltà dell'argomento. È un cambio di paradigma che rende l'addestramento delle Intelligenze Artificiali molto più intelligente ed efficiente.

1. Il Problema

Il Supervised Fine-Tuning (SFT) è l'approccio standard per il post-training dei Large Language Models (LLM). Tuttavia, spesso mostra una capacità di generalizzazione limitata. Gli autori identificano la causa principale di questo limite nell'obiettivo di training predefinito: la Negative Log Likelihood (NLL), ovvero $-\log p$ .

Sebbene la NLL sia teoricamente ottimale per l'addestramento da zero (from scratch) su compiti di classificazione semplici, il contesto del post-training degli LLM è fondamentalmente diverso:

I modelli di base possiedono già priors rilevanti per il compito acquisiti durante il pre-training su larga scala.
La supervisione può essere lunga (catene di pensiero) e rumorosa (token intermedi possono essere errati o ambigui).
Richiedere al modello di replicare ogni token alla lettera (come fa la NLL) può ostacolare la generalizzazione, specialmente quando il modello ha già una forte conoscenza a priori.

Il paper sfida l'idea che esista una funzione di perdita "universale" e indaga perché la NLL fallisca in certi scenari di post-training.

2. Metodologia

Gli autori propongono un quadro unificato basato su una famiglia parametrica di obiettivi probabilistici e analizzano come questi interagiscono con la capacità del modello.

A. Famiglia di Obiettivi Probabilistici

Invece di usare solo la NLL, gli autori generalizzano l'obiettivo di apprendimento in una famiglia di funzioni $f_\alpha(p)$ :
$f_\alpha(p) = \frac{1 - p^\alpha}{\alpha}$

Quando $\alpha \to 0$ , l'obiettivo diventa la NLL ( $-\log p$ ).
Quando $\alpha = 1$ , l'obiettivo diventa $1-p$ (massimizzazione dell'accuratezza attesa).
Quando $\alpha > 1$ (es. $\alpha=10$ ), si ottengono obiettivi che down-weightano i token a bassa probabilità.

B. Classificazione degli Obiettivi

Gli obiettivi sono classificati in base alla forma del loro gradiente rispetto alla classe corretta:

Prior-leaning (A favore del prior): Obiettivi concavi (es. $-p$ , $-p^{10}$ ) che concentrano il peso del gradiente su token ad alta o media probabilità. Rafforzano le previsioni già confacenti del modello, ignorando i token a bassa probabilità (rumore).
Prior-averse (Avverso al prior): Obiettivi convessi (es. NLL, $-\log p$ ) che concentrano il gradiente su token a bassa probabilità. Forzano il modello a imparare da tutte le previsioni, anche quelle in cui è meno sicuro, correggendo errori sistematici.

C. Il Continuum della Capacità del Modello

Il contributo centrale è l'identificazione di un continuum di capacità del modello, definito dalla forza dei segnali a priori ereditati dal pre-training:

Model-Strong (MS): Domini dove il modello ha forti priors (es. matematica, dove il pre-training contiene molti token matematici). Qui i token corretti hanno già alta probabilità prima del fine-tuning.
Model-Weak (MW): Domini dove il modello non ha priors rilevanti (es. puzzle di font specifici o lingue a risorse basse). Qui le previsioni iniziali sono quasi uniformi o casuali.
Model-Intermediate (MI): Domini con conoscenza parziale (es. ragionamento medico).

3. Contributi Chiave

Dimostrazione Sperimentale: Attraverso esperimenti su 8 backbone di modelli, 27 benchmark e 7 domini, gli autori dimostrano che nessun obiettivo è universalmente superiore.
Il Continuum di Performance:
- Nella regione Model-Strong: Gli obiettivi prior-leaning (es. $-p$ ) superano costantemente la NLL (fino al 16% in più). Ignorare i token a bassa probabilità (rumore) permette di affinare le conoscenze esistenti.
- Nella regione Model-Weak: La NLL domina. Poiché i priors sono errati o assenti, il modello deve imparare da tutti i token, inclusi quelli a bassa probabilità, per correggere le sue previsioni iniziali.
- Nella regione Intermedia: Non c'è un vincitore chiaro; le performance sono simili.
Analisi Teorica: Forniscono una giustificazione teorica basata sul flusso di gradiente, dimostrando che la riduzione del rischio (risk reduction) è maggiore per gli obiettivi prior-leaning nella regione MS e per la NLL nella regione MW.
Analisi della Convessità: Mostrano che la convessità/concavità dell'obiettivo agisce come un proxy per il grado di rispetto dei priors del modello, invertendo il proprio effetto a seconda della regione del continuum.

4. Risultati Principali

Matematica (Model-Strong): Utilizzando modelli come LLaMA-3 e Qwen2.5-Math su dataset come NuminaMath, l'obiettivo $-p$ ha ottenuto risultati significativamente superiori alla NLL. Anche una versione "thresholded" della NLL (che esclude token con $p < 0.2$ ) ha migliorato le prestazioni, confermando che i token a bassa probabilità sono dannosi in questo contesto.
Medicina (Model-Intermediate): Su dataset come MedMCQA e MedQA, la differenza tra $-p$ e $-\log p$ è stata trascurabile, suggerendo che in questo regime non si ottengono guadagni significativi cambiando solo l'obiettivo.
Puzzle e Lingue a Risorse Basse (Model-Weak): Su puzzle di font (figfont) e lingue come lo Swahili o lo Yoruba, la NLL ha superato nettamente gli obiettivi prior-leaning. In questi casi, gli obiettivi che ignorano i token a bassa probabilità falliscono perché il modello non ha alcuna conoscenza preesistente da "affinare".
Instruction Tuning Generale: L'analisi su modelli di dimensioni crescenti (da 3B a 14B) mostra che all'aumentare della capacità del modello, l'obiettivo preferito si sposta dalla NLL verso gli obiettivi prior-leaning.

5. Significato e Implicazioni

Questo lavoro ribalta la visione tradizionale secondo cui la NLL è l'obiettivo di default per qualsiasi fine-tuning supervisionato.

Adattività: Suggerisce che la scelta della funzione di perdita deve essere adattata alla capacità del modello di base e alla natura del dominio (quanto è supportato dai dati di pre-training).
Efficienza: Per modelli forti in domini ricchi di conoscenza, l'uso di obiettivi prior-leaning permette di ottenere migliori risultati ignorando il rumore nei dati di supervisione, senza bisogno di tecniche complesse di Reinforcement Learning (RL).
Fondamento Teorico: Fornisce una base teorica per comprendere perché tecniche ispirate al RL (che spesso down-weightano le azioni a bassa probabilità) funzionano bene in certi contesti ma falliscono in altri.

In sintesi, il paper stabilisce che non esiste una perdita ottimale universale: la scelta tra obiettivi "prior-leaning" e "prior-averse" dipende criticamente da dove il compito si colloca lungo il continuum della capacità del modello.