🤖 machine learning

The Steering Budget: Examples beat Knobs

Questo articolo sostiene che la controllabilità dei modelli generativi sia fondamentalmente limitata da un "budget" inerente ai loro dati di addestramento, dimostrando che mentre i metodi tradizionali basati su "manopole" (come i prompt o le scale di guida) possono accedere solo a una frazione di questo intervallo, fornire esempi concreti permette ai modelli di raggiungere l'intero spettro del potenziale di una proprietà, inclusi obiettivi che non possono essere specificati verbalmente.

Autori originali: Raj Kumar Rajendran

Pubblicato 2026-07-17

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Raj Kumar Rajendran

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un artista robot super intelligente che può disegnare qualsiasi cosa tu gli chieda, da un golden retriever a una struttura cristallina. Per anni, gli scienziati hanno cercato di controllare questo robot fornendogli delle "manopole" da girare. Potresti dire: "Rendilo più luminoso", oppure "Fallo sembrare una foto", o "Gira la manopola della guida al massimo". È come cercare di guidare una nave ruotando un singolo timone. Ma c'è un limite frustrante: non importa quanto duramente giri la manopola, il robot alla fine smette di muoversi. Colpisce un muro. Vuoi che l'immagine sia davvero luminosa, ma il robot la rende solo "piuttosto" luminosa e poi si rifiuta di andare oltre.

Questo articolo pone una domanda semplice ma rivoluzionaria: perché il robot si ferma? È perché il robot è rotto, o c'è un libro di regole nascosto che gli è stato dato prima ancora di iniziare a disegnare? Gli autori hanno scoperto che il robot non è rotto; sta solo lavorando all'interno di un "budget" rigoroso stabilito dai dati che ha appreso. Hanno scoperto che ci sono due modi per parlare con questo robot: Dire e Mostrare. "Dire" significa usare le manopole e le parole per restringere il campo su ciò che desideri. "Mostrare" significa consegnare al robot una pila di esempi e dire: "Crea altre cose come queste". La grande sorpresa? "Mostrare" può raggiungere luoghi che il "Dire" non può nemmeno sognare, e possiamo calcolare esattamente quanto lontano può arrivare ogni metodo prima ancora di accendere il robot.

Il Grande Muro del "Dire" contro la Magia del "Mostrare"

Pensa alla conoscenza del robot come a una gigantesca biblioteca di libri. Ogni libro è un tipo specifico di cosa, come "Scene sulla spiaggia", "Montagne innevate" o "Strutture cristalline".

Dire (La Manopola): Quando usi una manopola, ti trovi all'interno di una sezione specifica della biblioteca, diciamo la sezione "Spiaggia". Puoi chiedere al robot di rendere la spiaggia più soleggiata o la sabbia più bianca. Ma sei bloccato in quella singola sezione. Non puoi trasformare magicamente una scena di spiaggia in una montagna innevata semplicemente girando un dial. Sei limitato alle variazioni che già esistono all'interno della sezione "Spiaggia".
Mostrare (Gli Esempi): Quando mostri degli esempi, non sei bloccato in una sezione. Puoi consegnare al robot un mix di libri: alcuni dalla sezione "Spiaggia", alcuni dalla sezione "Neve" e alcuni dalla sezione "Deserto". Dici: "Crea altre cose che assomiglino a questo mix". All'improvviso, il robot non sta solo apportando piccole modifiche a una cosa; sta esplorando l'intera biblioteca. Può combinare la luminosità di una spiaggia con la consistenza della neve in un modo che una singola manopola non potrebbe mai fare.

L'articolo chiama questo il Budget. Prima ancora che il robot venga addestrato, i dati da cui impara stabiliscono un limite netto su quanto può cambiare.

Il Budget "Within-Bin" (La portata del Dire): Questo è lo spazio di manovra che hai per muoverti all'interno di una singola categoria. Se vuoi che una spiaggia sia più luminosa, il budget è quanto luminosa una spiaggia può diventare in base alle foto che il robot ha visto.
Il Budget "Between-Bin" (La portata del Mostrare): Questo è lo spazio che hai per saltare tra le categorie. Questa è la differenza tra la luminosità media di una spiaggia e la luminosità media di una miniera di carbone. Questo divario è spesso enorme — molto più grande dello spazio di movimento all'interno di una singola categoria.

Gli autori hanno scoperto che per la maggior parte delle cose che vogliamo controllare, il budget "Between-Bin" è quello fondamentale. È l'enorme divario tra tipi diversi di cose. Le manopole (Dire) possono raggiungere solo il piccolo spazio di movimento all'interno di una categoria. Gli esempi (Mostrare) possono raggiungere i grandi divari tra le categorie. Il "Between-Bin" è il grande salto tra le diverse tipologie di cose. Le manopole (Dire) possono raggiungere solo il minuscolo spazio di movimento all'interno di una categoria. Gli esempi (Mostrare) possono raggiungere i grandi divari tra le categorie.

Il Mito della "Manopola" e la Realtà dell' "Esempio"

Potresti pensare: "Se giro la manopola più forte, non funzionerà?". L'articolo dice: No.
Hanno testato questo con due robot molto diversi: uno che disegna immagini (come un artista digitale) e uno che progetta strutture cristalline (come uno scienziato dei materiali).

Nel Laboratorio dei Cristalli: Hanno cercato di creare cristalli con un "band gap" (una specifica proprietà energetica) più ampio. La "manopola" (un semplice tag che diceva "alto band gap") spostava appena l'ago della bilancia. Ma quando hanno mostrato al robot esempi di cristalli che avevano effettivamente alti band gap, l'output del robot è saltato decine o centinaia di volte più lontano di quanto la manopola avrebbe mai potuto fare.
Nel Laboratorio delle Immagini: Hanno cercato di rendere le immagini più "animalesche". Una manopola forte e appresa poteva spostare l'ago di un po', ma solo se iniziava accidentalmente a rendere le immagini simili a animali completamente diversi (rompendo le regole del "bin"). Il metodo "Mostrare", che selezionava le migliori categorie di animali da mixare, ha spostato l'ago 3 volte più lontano rispetto alla migliore manopola.

L'articolo esclude esplicitamente l'idea che "manopole migliori" risolveranno il problema. Sostengono che il limite non è un difetto nel design del robot; è una legge fondamentale dei dati. Se i dati non presentano un grande divario tra le categorie, una manopola potrebbe funzionare bene (come rendere un'immagine leggermente più luminosa). Ma se l'obiettivo richiede di saltare tra tipi diversi di cose, una manopola è strutturalmente incapace di farlo.

Perché questo è importante: Il Problema del "Lo riconosco quando lo vedo"

Ecco la parte più interessante. A volte, gli esperti sanno cosa vogliono ma non riescono a spiegarlo.
Immaginate un montatore cinematografico che guarda cento versioni di una scena e ne sceglie le dieci migliori. Non può spiegare perché quelle dieci siano perfette. Sa solo che lo sono. Se chiedete di descrivere il "vibe" a un robot, potrebbero dire: "Rendilo più emotivo", ma il robot creerà solo una faccia triste generica.

Il "Dire" fallisce qui: Non puoi dare al robot una parola per un sentimento che non riesci a descrivere.
Il "Mostrare" vince qui: Devi solo consegnare al robot i dieci clip che ti sono piaciuti. Non devi spiegare il "perché". Il robot osserva il pattern di quei dieci clip e dice: "Ah, vedo il modello. Creerò altro di questo".

L'articolo mostra che "Mostrare" può raggiungere questi obiettivi "innominabili" perché non ha bisogno di definire l'obiettivo con le parole. Ha solo bisogno di mostrare il pattern. Può persino mixare due cose opposte contemporaneamente — come "veicoli puliti" e "cibo pulito" — cosa che una singola manopola di solito non riesce a fare, offrendo spesso solo una media torbida e confusa di entrambi.

Il Verdetto: Misura prima, poi scegli

L'articolo non si limita a dire "Gli esempi sono meglio". Ti fornisce una ricetta per sapere quando usarli.
Prima ancora di iniziare a generare, puoi fare un rapido "audit" dei tuoi dati. Puoi calcolare il "Budget" per vedere quanta parte del cambiamento che desideri derivi dall'interno di una categoria (spazio di manovra) rispetto al passaggio tra le categorie (i grandi salti).

Se il budget "Between" è piccolo: Una manopola va bene. Non hai bisogno di mostrare esempi.
Se il budget "Between" è enorme: Devi mostrare esempi. Una manopola non ti porterà mai lì.

Gli autori hanno testato questo su immagini e cristalli, e la matematica ha tenuto perfettamente. Hanno persino dimostrato che se provi a "sintonizzare" un robot per essere perfetto in una cosa (come rendere tutto "estetico"), spesso perdi tutta la varietà e finisci con un robot noioso e ripetitivo. Questo perché la sintonizzazione lavora su un'immagine alla volta, restringendo la varietà. "Mostrare", mescolando diverse categorie, è l'unico modo per mantenere viva quella varietà.

In breve, l'articolo ci insegna che per guidare un'IA generativa, non dobbiamo solo girare le manopole. Dobbiamo guardare prima la mappa dei dati. Se la destinazione è lontana, non abbiamo bisogno di un volante migliore; abbiamo bisogno di mostrare la mappa al robot e lasciargli scegliere il percorso migliore. E a volte, il percorso migliore è uno che non possiamo nemmeno nominare, possiamo solo mostrare.

Sintesi Tecnica: Il Budget di Steering: Gli Esempi battono le Manopole

Definizione del Problema

I modelli generativi vengono tipicamente guidati tramite "manopole" (knobs): prompt, scale di guida o tag di proprietà. Tuttavia, i professionatori osservano un limite invalicabile: spingere questi controlli ai loro estremi spesso non riesce a spostare una proprietà target (ad esempio, la luminosità di un'immagine, il band gap di un cristallo) fino al livello desiderato. Il documento sostiene che questa limitazione non è un difetto dell'architettura del modello o del processo di addestramento, ma un vincolo strutturale imposto dai dati di addestramento stessi.

Il problema centrale consiste nel distinguere tra due tipi di operazioni di steering:

Dire (Telling): Descrivere un target tramite un prompt o un tag (es. "cane luminoso"). Questa è un'operazione congiuntiva che restringe la distribuzione di output attraverso l'intersezione di vincoli all'interno di una specifica categoria.
Mostrare (Showing): Fornire un insieme di esempi e chiedere "più come questi". Questa è un'operazione disgiuntiva che unisce istanze diverse, permettendo al modello di catturare target che non possono essere articolati a parole o che richiedono la combinazione di proprietà opposte.

Il documento argomenta che il divario tra ciò che "dire" può ottenere e ciò che "mostrare" può ottenere non è accidentale, ma è un budget fisso determinato dalla struttura della varianza dei dati di addestramento prima ancora che il modello venga addestrato.

Metodologia

Framework Teorico: Il Budget

Gli autori definiscono lo spazio di output di un modello generativo come suddiviso in bin ( $B$ ) basati su un'etichetta "economica" $P$ (es. classe di immagine, chimica dei cristalli). Una proprietà "costosa" $L$ (es. punteggio estetico, band gap) varia all'interno e tra questi bin.

La varianza totale di $L$ nei dati di addestramento ( $J$ ) viene scomposta utilizzando la Legge della Varianza Totale in due budget distinti:

Budget Within-Bin (Entro il Bin - $T$ ): La varianza media di $L$ all'interno di un singolo bin. Rappresenta lo spazio disponibile per il "dire". Poiché "dire" opera ricalibrando i pesi degli output all'interno di un bin fisso, esso è strutturalmente confinato a questo budget.
Budget Between-Bin (Tra i Bin - $E$ ): La varianza delle medie di $L$ attraverso diversi bin. Rappresenta lo spazio disponibile per il "mostrare". "Mostrare" opera cambiando la miscela di bin (la "ricetta" $P$ ) da cui viene estratto il batch, permettendo di accedere a questo budget.

La varianza totale è esattamente:
$\text{Var}_J(L) = \underbrace{\sum_b w_b v_b}_{T \text{ (Within)}} + \underbrace{\sum_b w_b (g_b - \bar{g})^2}_{E \text{ (Between)}}$
dove $w_b$ è la quota del bin, $v_b$ è la varianza entro il bin, e $g_b$ è la media del bin.

La Portata delle Operazioni

Il documento deriva che lo spostamento massimo che un'operazione può ottenere nella media di $L$ è limitato da $\sqrt{\chi^2} \times \text{Budget}$ , dove $\chi^2$ misura la deviazione dalla distribuzione originale.

Dire (Telling): Confinato a $T$ . In pratica, le manopole (come le scale di guida) realizzano un $\chi^2$ piccolo (vicino a 1), limitando la loro portata a circa $T$ .
Mostrare (Showing): Accede a $E$ . Costruendo una ricetta che si discosta significativamente dalla distribuzione dei dati, "mostrare" può realizzare un $\chi^2$ molto più grande (spesso $\sim 100$ ), permettendo di spostare la media molto oltre la portata di qualsiasi manopola.

Validazione Empirica

Gli autori testano queste affermazioni in due domini non correlati:

Immagini: Un Diffusion Transformer (DiT) addestrato su ImageNet. I bin sono le classi di ImageNet; i target includono luminosità, punteggi estetici e punteggi di contenuto CLIP.
Cristalli: Un generatore addestrato su un database di materiali (Alexandria). I bin sono le composizioni chimiche; i target includono band gap, stabilità e densità.

Eseguono un "audit economico" sui dati di addestramento per calcolare $T$ ed $E$ senza generare alcun campione, verificando poi se i modelli reali aderiscono a questi budget.

Contributi Chiave

La Distinzione del Budget: Un resoconto quantitativo preciso che scinde la sterzabilità di una proprietà in una parte "dire" (within-bin) e una parte "mostrare" (between-bin). Questa divisione è calcolabile dai soli dati di addestramento, prima dell'addestramento del modello.
L'Osservazione AND/OR: Una formalizzazione secondo cui "dire" è congiuntivo (intersezione/restrizione) mentre "mostrare" è disgiuntivo (unione/diversità). Questo spiega perché "mostrare" può raggiungere target che coinvolgono condizioni "o" o preferenze tacite che non possono essere nominate.
Lente Unificante sui Modi di Fallimento: Il documento inquadra quattro problemi familiari della modellazione generativa — mode collapse (collasso del modo), alignment tax (tassa sull'allineamento), reward hacking e fallimento della generalizzazione compositiva — come un unico mismatch strutturale: tentare di risolvere un problema di "mostrare" (che richiede una diffusione a livello di collezione) usando metodi di "dire" (ottimizzazione per singolo output).
Framework Predittivo: La capacità di prevedere a priori se un target è raggiungibile tramite manopole o se richiede esempi. Se la quota between-bin ( $E/(E+T)$ ) è alta, gli esempi sono necessari; se è bassa, le manopole sono sufficienti.
Ricetta per lo Steering: Un metodo pratico per costruire la "ricetta" ottimale (miscela di bin) per colpire un target. Per obiettivi di media, la ricetta si concentra sul singolo miglior bin; per obiettivi di diffusione/copertura, mescola i bin per coprire il fronte di Pareto.

Risultati

1. La Divisione è Esatta e si Trasferisce

Esattezza: La decomposizione della varianza in $T$ ed $E$ si è mantenuta esattamente in entrambi i domini.
Trasferibilità (Carry-over): Per le proprietà che il modello riproduce fedelmente (es. densità dei cristalli, luminosità delle immagini), il budget calcolato dai dati di addestramento ha predetto accuratamente il comportamento del modello. Per le proprietà che il modello fatica a riprodurre (es. stabilità dei cristalli), l'audit dei dati è stato un scarso predittore, rendendo necessario un audit diretto degli output del modello.

2. Gli Esempi Battono le Manopole (Quando il Budget lo Richiede)

Magnitudo: Nel dominio dei cristalli, dove la quota between-bin era alta (es. 0.98 per il band gap), scegliere le chimiche (mostrare) ha spostato il target 6.8 volte più lontano rispetto alla più forte manopola entro la stessa chimica.
Limiti delle Manopole: Anche utilizzando le manopole più forti (es. campionamento "best-of-12" o soft-prompt appresi), esse non potevano eguagliare la portata dello "mostrare" su target con alto between-bin.
Eccezioni: Su target con basso between-bin (es. luminosità delle immagini, dove $E/(E+T) \approx 0.17$ ), una manopola appresa forte ha effettivamente superato la semplice miscelazione dei bin, confermando la previsione del budget secondo cui le manopole sono sufficienti quando la varianza del target è prevalentemente entro i bin.

3. Espressività e Copertura

Obiettivi Congiuntivi: Quando richiesto di generare un batch che copra due proprietà opposte (es. "veicoli puliti" AND "cibo pulito"), il "dire" (prompting) o la composizione di condizioni ha prodotto un "centro fangoso" (chimere). Solo lo mostrare (miscelando un bin di veicoli e un bin di cibo) ha prodotto istanze genuine di entrambi.
Steering Tacito: Il framework ha guidato con successo verso "gusti" che gli esperti potevano dimostrare ma non nominare (es. uno specifico stile estetico) usando gli esempi per inferire la miscela di bin, a condizione che la chiave economica (etichetta della classe) potesse distinguere i bin rilevanti.

4. Effetti dell'Addestramento

Il documento dimostra che il fine-tuning standard (filtraggio, RLHF) rimodella il budget in modo prevedibile. Tuttavia, se il fine-tuning è troppo aggressivo e il modello lascia completamente la sua distribuzione di addestramento, il budget lato dati non si applica più e il modello deve essere auditato direttamente.

Significato e Rivendicazioni

Il documento sostiene che lo "Steering Budget" fornisce una comprensione fondamentale e agnostica rispetto al modello dello steering generativo:

Prevedibilità: I professionisti possono misurare il budget sui dati di addestramento per sapere in anticipo se devono passare dal prompting allo steering basato su esempi.
Spiegazione Strutturale: Spiega perché l'ottimizzazione per singolo output (lo standard in RLHF e nel fine-tuning) porta inevitabilmente a una perdita di varietà (mode collapse) perché collassa la diffusione tra i bin ( $E$ ), che è l'unica fonte di diversità a livello di collezione.
Espressività: Valida che lo "mostrare" è l'unico meccanismo capace di guidare verso target che sono intrinsecamente disgiuntivi o taciti, poiché questi target vivono nel budget between-bin che il "dire" non può accedere.

Gli autori sottolineano che questo non è un nuovo termine di generazione, ma un account quantitativo dei limiti e delle capacità delle tecniche esistenti (prompt vs esempi), derivato direttamente dalle proprietà statistiche dei dati.