🤖 machine learning

Compute Aligned Training: Optimizing for Test Time Inference

Questo articolo introduce "Compute Aligned Training", un nuovo framework che allinea gli obiettivi di addestramento dei Large Language Models alle strategie di inferenza al momento del test derivando nuove funzioni di perdita, migliorando così in modo significativo la scalabilità delle prestazioni rispetto agli approcci SFT e RL standard.

Autori originali: Adam Ousherovitch, Ambuj Tewari

Pubblicato 2026-04-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Adam Ousherovitch, Ambuj Tewari

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di preparare uno studente per un tipo molto specifico di esame finale.

Il Vecchio Metodo (Addestramento Standard):
Tradizionalmente, quando insegniamo ai modelli di intelligenza artificiale (come quelli che scrivono saggi o risolvono problemi matematici), agiamo come un insegnante severo che corregge ogni singolo compito assegnato individualmente. Se lo studente risponde correttamente a una domanda, diciamo "Bravo!" e se sbaglia, diciamo "Riprova". Vogliamo che lo studente sia perfetto nel dare la risposta giusta al primo tentativo ogni singola volta.

Il problema è che questo non li prepara per il vero esame. Nel mondo reale, non chiediamo al modello una sola risposta. Gli chiediamo di generare molte risposte diverse (come chiedere a uno studente di scrivere 10 bozze diverse di un saggio) e poi ne scegliamo la migliore, oppure votiamo per quella più comune.

Se addestri uno studente a essere perfetto nella prima bozza, potrebbe diventare troppo sicuro di sé e smettere di esplorare nuove idee. Potrebbe rimanere intrappolato in un modo di pensare "sicuro". Quando gli chiedi di generare 10 bozze in seguito, potrebbe scrivere semplicemente 10 versioni leggermente diverse della stessa risposta "sicura", e nessuna di esse potrebbe essere la soluzione brillante e creativa di cui avevi bisogno.

Il Nuovo Metodo (Addestramento Allineato al Calcolo - CAT):
Gli autori di questo articolo propongono un nuovo metodo di addestramento chiamato Addestramento Allineato al Calcolo (CAT). Invece di valutare lo studente su un singolo compito assegnato, lo valutano in base a quanto bene si comporterebbe nel formato dell'effettivo esame.

Ecco come funziona, utilizzando alcune analogie:

1. L'Analogia "Pass@N" (Il Biglietto della Lotteria)

Immagina che l'esame ti permetta di acquistare N biglietti della lotteria (diciamo 64 biglietti) per una domanda. Vinci se uno qualsiasi dei tuoi 64 biglietti è il numero vincente.

Addestramento Standard: Se lo studente ha già il 50% di possibilità di vincere con un biglietto, l'insegnante continua a spingerlo per arrivare al 90% o al 99%. Ma in una lotteria da 64 biglietti, una volta che hai il 50% di possibilità, acquistare altri biglietti garantisce comunque la vittoria. L'insegnante sta sprecando energia cercando di rendere uno studente "bravo" "perfetto" su una domanda facile, ignorando le domande difficili dove lo studente ha solo l'1% di possibilità.
Addestramento CAT: L'insegnante si rende conto: "Ehi, questo studente ha già buone probabilità di vincere con 64 biglietti. Smetto di valutare così duramente questa domanda facile". Invece, concentra tutta la sua energia sulle domande difficili dove lo studente sta attualmente fallendo. Insegnano allo studente a distribuire le proprie possibilità, assicurandosi che almeno uno dei 64 biglietti sia un vincitore, piuttosto che cercare di rendere perfetto un singolo biglietto specifico.

2. L'Analogia "Voto di Maggioranza" (L'Elezioni)

Immagina che l'esame chieda al modello di generare 10 risposte e che la classe voti per quella più popolare.

Addestramento Standard: L'insegnante cerca di rendere la prima risposta dello studente assolutamente la più popolare, anche se sta già vincendo a mani basse. È come un candidato che sta già vincendo il 90% dei voti; l'insegnante continua a dirgli di fare campagna più intensamente, il che è una perdita di tempo.
Addestramento CAT: L'insegnante guarda al "punto di svolta". Se la risposta dello studente sta attualmente perdendo di poco, l'insegnante gli dà una grande spinta per aiutarlo a superare il traguardo. Se lo studente sta già vincendo comodamente, l'insegnante smette di assegnargli punti extra. Questo costringe il modello a concentrarsi sulle domande "di spartiacque" dove un piccolo sforzo in più può ribaltare il voto.

3. L'Analogia "Migliore tra N" (Il Talent Show)

Immagina che il modello generi 10 canzoni e tu ne conservi solo la singola migliore.

Addestramento Standard: L'insegnante cerca di rendere la media delle canzoni suonata bene. Questo porta a musica sicura, noiosa, "di mezzo", che non è mai brutta, ma non è mai nemmeno straordinaria.
Addestramento CAT: L'insegnante dice al modello: "Va bene se 9 delle tue canzoni sono terribili, purché la decima sia un capolavoro". Questo incoraggia il modello a correre rischi e a provare idee strane ad alta varianza. Impara a produrre una vasta gamma di output, sapendo che il processo di "ricerca" (scegliere il migliore) filtrerà i fallimenti e manterrà il vincitore.

Cosa Hanno Fatto Effettivamente?

I ricercatori hanno testato questa idea in tre modi specifici:

Problemi Matematici: Hanno addestrato modelli di intelligenza artificiale a risolvere problemi matematici. Quando hanno usato il CAT per preparare i modelli al "Pass@N" (generare molte risposte e scegliere quella giusta), i modelli sono diventati significativamente migliori nel risolvere problemi difficili rispetto al metodo standard.
Voto: Hanno addestrato modelli a generare risposte per un "Voto di Maggioranza". Ancora una volta, i modelli CAT hanno ottenuto risultati migliori quando è stata applicata la strategia di voto.
Progettazione di Proteine: Hanno persino testato questo su un tipo di intelligenza artificiale completamente diverso che progetta proteine (i mattoni della vita). In uno scenario in cui l'IA doveva trovare una struttura proteica rara e di alta qualità tra molte scarse, i modelli addestrati con il CAT erano molto migliori nel trovare la proteina "premio" rispetto ai modelli standard.

La Conclusione

L'articolo sostiene che il modo in cui addestri un modello dovrebbe corrispondere al modo in cui lo utilizzi.

Se prevedi di usare il modello per generare molte opzioni e scegliere la migliore, non dovresti addestrarlo a essere perfetto al primo tentativo. Dovresti addestrarlo a essere bravo a creare un pool di opzioni dove è probabile trovare quella migliore.

Chiamano questo "Addestramento Allineato al Calcolo" perché allinea il processo di addestramento con il "calcolo" (il potere di pensiero aggiuntivo) utilizzato al momento del test. È un modo per ottenere risultati migliori senza bisogno di computer più potenti o più tempo di addestramento; cambi semplicemente le regole del gioco per adattarle alla realtà di come il modello verrà utilizzato.

1. Enunciato del Problema: Il Disallineamento tra Addestramento e Inferenza

Il paper affronta una disconnessione fondamentale nello sviluppo moderno dei Modelli Linguistici di Grande Dimensione (LLM): gli obiettivi di addestramento sono ottimizzati per le prestazioni su singolo campione, mentre il deployment si basa sempre più su strategie di calcolo al momento dell'inferenza (search).

Lo Status Quo: I metodi standard di post-addestramento come il Fine-Tuning Supervisionato (SFT) e l'Apprendimento per Rinforzo (RL) ottimizzano la probabilità di un singolo output corretto (ad esempio, minimizzando l'Entropia Incrociata o massimizzando la ricompensa attesa di un singolo campione).
Il Conflitto: Le strategie di inferenza moderne (ad esempio, Pass@N, Voto di Maggioranza, Best-of-N) generano molteplici soluzioni candidate e le aggregano per trovare la risposta migliore.
- Esempio (Pass@N): Se un modello ha il 50% di probabilità di essere corretto, portarlo al 90% rende i rendimenti marginali decrescenti per una metrica Pass@100 (dove il successo è già quasi certo). L'addestramento standard, tuttavia, continua a spingere verso una probabilità del 100%, sprecando capacità su campioni "facili".
- Esempio (Voto di Maggioranza): Un modello ha bisogno solo di una pluralità (ad esempio, una probabilità del 35%) per vincere contro i rivali. L'addestramento standard spinge verso $p \to 1.0$ , incoraggiando vittorie "schiaccianti" piuttosto che un consenso robusto, il che può degradare le prestazioni quando il modello è costretto ad agire come un ensemble.
Conseguenza: Questo disallineamento causa il collasso della politica (ridotta diversità) e impedisce ai modelli di utilizzare efficacemente i budget di calcolo aumentati al momento dell'inferenza.

2. Metodologia: Compute Aligned Training (CAT)

Gli autori propongono il Compute Aligned Training (CAT), un framework che allinea gli obiettivi di addestramento con la specifica strategia di inferenza utilizzata al momento dell'inferenza.

Concettualizzazione di Base

Gli autori concettualizzano le strategie di inferenza non come euristiche post-hoc, ma come operatori differenziabili ( $T$ ) che trasformano la politica di base $\pi_\theta$ in una distribuzione effettiva al momento dell'inferenza $\tilde{\pi}_\theta$ :
$\tilde{\pi}_\theta(y|x) = T(\pi_\theta(\cdot|x), \phi)$
dove $\phi$ rappresenta gli iperparametri (ad esempio, il budget di campioni $N$ ).

La Funzione di Perdita Unificata

Invece di minimizzare il log-verosimiglianza negativo della verità fondamentale sotto la politica di base ( $\pi_\theta$ ), il CAT minimizza la perdita sotto la politica effettiva a livello di sistema ( $\tilde{\pi}_\theta$ ):
$L_{CAT}(\theta) = -\mathbb{E}_{(x, y^*)} [\log \tilde{\pi}_\theta(y^*|x)]$

Meccanismo di Scalatura del Gradiente

Per rendere questo computazionalmente fattibile senza campionare l'intero spazio di output, gli autori derivano un'approssimazione diagonale del gradiente. Dimostrano che il gradiente dell'obiettivo CAT può essere approssimato scalando il gradiente standard per un fattore di peso $w(p, \phi)$ :
$\nabla_\theta L_{CAT} \approx w(p, \phi) \cdot \nabla_\theta L_{CE}$
Qui, $p$ è la probabilità di base della risposta corretta, e $w$ rappresenta l'utilità marginale dell'aumento di $p$ rispetto alla strategia al momento dell'inferenza.

Fattori di Scalatura Chiave Derivati:

Pass@N (SFT & RL):
- $w(p, N) = \frac{N p (1-p)^{N-1}}{1 - (1-p)^N}$
- Comportamento: Sopprime i gradienti per i campioni facili (alta $p$ ) dove il successo è già garantito, focalizzando l'apprendimento su campioni "difficili" dove i guadagni marginali migliorano la copertura.
Voto di Maggioranza (SFT & RL):
- $w(p, N, k) \approx \frac{k \binom{N}{k} p^k (1-p)^{N-k}}{\sum_{i=k}^N \binom{N}{i} p^i (1-p)^{N-i}}$
- Comportamento: Concentra la massa del gradiente vicino alla soglia di consenso ( $p \approx k/N$ ). Ignora i campioni che stanno già vincendo o che sono irrimediabilmente perdenti, focalizzandosi solo sul "punto di svolta".
Best-of-N (RL):
- $w \propto N (P_{<y})^{N-1}$
- Comportamento: Crea dinamiche "chi vince prende tutto". I gradienti rinforzano solo i campioni con la ricompensa più alta in un batch, incoraggiando il modello a esplorare le code ad alta varianza e ad alta ricompensa della distribuzione piuttosto che collassare su una media sicura.

Garanzie Teoriche

Il paper dimostra che per le Strategie Competitive (dove aumentare la probabilità di un rivale danneggia il successo), l'approssimazione diagonale è una sottostima conservativa del gradiente vero. Ciò garantisce che l'ottimizzatore non faccia mai un passo nella direzione sbagliata, agendo come un stabilizzatore naturale contro il collasso della politica.

3. Contributi Chiave

Framework Unificato degli Operatori: Formalizza le strategie al momento dell'inferenza come operatori differenziabili, derivando un meccanismo generale per allineare l'addestramento a strategie di inferenza arbitrarie (SFT e RL).
Estensione Oltre Pass@N: Generalizza lavori precedenti (ad esempio, Ottimizzazione Diretta della Copertura) al Voto di Maggioranza e Best-of-N, coprendo sia i paradigmi SFT che RL.
Agnosticismo della Modalità: Dimostra l'applicabilità del framework oltre gli LLM ai Modelli Linguistici delle Proteine (PLM), mostrando prestazioni migliorate in paesaggi di ricompensa complessi e multi-modali.
Analisi della Varianza: Fornisce un'analisi teorica ed empirica dell'inflazione della varianza del gradiente, proponendo tecniche di normalizzazione (ad esempio, stimatori ponderati in logaritmo) per stabilizzare l'addestramento.

4. Risultati Sperimentali

Gli autori hanno valutato il CAT sul benchmark MATH (utilizzando Mistral-7B) e sulla Generazione di Proteine (utilizzando ProtGPT2).

A. Modelli Linguistici (Benchmark MATH)

Pass@N (SFT): I modelli addestrati con CAT per $N=64$ hanno sacrificato l'accuratezza su singolo campione (Pass@1 sceso di circa il 2,3%) ma hanno ottenuto un miglioramento assoluto del 7,8% nella copertura Pass@64 rispetto all'SFT standard.
Voto di Maggioranza (SFT): I modelli CAT hanno costantemente superato le linee di base su tutti i budget di inferenza. È stato osservato un "punto dolce" a $N=16$ , dove il modello ha bilanciato in modo ottimale bias e varianza.
Apprendimento per Rinforzo (GRPO): L'RL standard ha sofferto di collasso della politica, saturando rapidamente (Pass@32 $\approx$ 35,8%). I modelli addestrati con CAT hanno preservato la varianza necessaria per la ricerca, raggiungendo il 40,0% a Pass@32.
Effetto Warmup: Utilizzare il CAT per la fase di warmup SFT ha migliorato significativamente le prestazioni RL successive, aumentando anche l'accuratezza su singolo shot (Pass@1) arricchendo i percorsi di ragionamento del modello.

B. Generazione di Proteine (Modelli Linguistici delle Proteine)

Incondizionato (Valle della Morte): In un paesaggio di ricompensa multi-modale (ottimo locale a $h \approx 0.35$ , ottimo globale a $h \approx 0.75$ , separati da una "valle" di aggregazione), l'RL standard si è bloccato nell'ottimo locale. Il Best-of-N CAT è riuscito a "saltare" la valle, trovando il massimo globale mantenendo un'alta varianza distributiva.
Generazione Condizionata: I modelli CAT hanno imparato a generare sequenze con idrofobicità inversa rispetto agli input, dimostrando una scalabilità superiore e un allineamento migliore con il compito relazionale rispetto all'RL standard.

5. Significato e Implicazioni

Cambio di Paradigma: Il paper sostiene che gli obiettivi di addestramento devono essere progettati tenendo presente la procedura di inferenza a valle. Man mano che il calcolo al momento dell'inferenza diventa la leva principale per scalare le capacità del modello, l'addestramento deve ottimizzare il risultato aggregato, non il singolo campione.
Efficienza: Il CAT ottiene questi guadagni senza aumentare i costi di calcolo dell'addestramento. Semplicemente ripesa i gradienti esistenti in base all'utilità marginale del campione per la strategia al momento dell'inferenza.
Stabilità vs Esplorazione: Il framework fornisce un modo principiato per scambiare la precisione su singolo campione con la diversità distributiva, permettendo ai modelli di utilizzare efficacemente procedure di ricerca come Best-of-N e Voto di Maggioranza senza collassare in comportamenti di ricerca del modo.
Generalizzabilità: Dimostrando l'efficacia sia negli LLM che nei LM delle proteine, il paper suggerisce che il "Compute Aligned Training" è un principio universale per qualsiasi modello generativo che utilizza la ricerca al momento dell'inferenza.

In conclusione, il Compute Aligned Training colma il divario tra apprendimento e ricerca, assicurando che i modelli non siano solo "intelligenti" nel generare una risposta, ma siano ottimizzati per essere "intelligenti" nel trovare la risposta migliore quando viene fornito loro il budget computazionale per cercare.