🤖 AI

From Noise to Diversity: Random Embedding Injection in LLM Reasoning

Questo articolo dimostra che l'inserimento di vettori di embedding casuali privi di addestramento negli input dei Large Language Model migliora efficacemente le prestazioni di ragionamento aumentando la diversità dei token nelle fasi iniziali e ampliando il Pass@N, un meccanismo che potenzia sia l'accuratezza dell'inferenza che i risultati dell'addestramento senza richiedere prompt soft appresi.

Autori originali: Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim

Pubblicato 2026-05-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un bibliotecario brillante ma molto rigido (il Modello Linguistico di grandi dimensioni) che è eccellente nel risolvere problemi di matematica, ma a volte rimane bloccato in una routine. Segue sempre lo stesso percorso per arrivare alla risposta e, se quel percorso porta a un vicolo cieco, si arrende.

Per molto tempo, i ricercatori hanno cercato di risolvere questo problema "addestrando" il bibliotecario con note speciali e personalizzate (chiamate Prompt Soft) per guidarlo verso soluzioni migliori. Hanno assunto che la magia risiedesse nel contenuto di quelle note.

Questo articolo pone una domanda diversa: E se la magia non risiedesse nelle note stesse, ma nel semplice atto di consegnare al bibliotecario un nuovo foglio di carta casuale prima che inizi?

Ecco la spiegazione della loro scoperta, i Prompt Soft Casual (RSP), utilizzando analogie di tutti i giorni:

1. L'esperimento del "Rumore Casuale"

Invece di addestrare una nota speciale, i ricercatori hanno semplicemente preso una manciata di scarabocchi completamente casuali e privi di significato (numeri casuali) e li hanno attaccati all'inizio o alla fine del problema matematico.

La sorpresa: Anche se questi scarabocchi non contenevano alcuna informazione utile, il bibliotecario ha improvvisamente iniziato a risolvere i problemi meglio. In alcuni casi, ha performato esattamente come se gli fosse stata data una nota perfetta e accuratamente addestrata.
La lezione: Il miglioramento non è derivato dall'apprendimento di qualcosa di nuovo. È derivato dall'atto di iniettare qualcosa di nuovo nel mix.

2. Come funziona: L'analogia del "Percorso Ramificato"

Immagina il processo di pensiero del bibliotecario come una passeggiata lungo un corridoio con molte porte.

Senza il foglio casuale: Il bibliotecario cammina dritto lungo il corridoio principale, apre la prima porta che vede e continua su quel percorso. Se quel percorso è un vicolo cieco, fallisce.
Con il foglio casuale: Gli scarabocchi casuali agiscono come una raffica improvvisa e confusa di vento all'inizio stesso del corridoio.
- Fase iniziale (La diramazione): A causa di questo "vento", il bibliotecario si ferma e guarda porte diverse da quelle che guarderebbe di solito. Potrebbe aprire una porta che non avrebbe mai considerato prima. Questo crea una "diramazione" nel suo pensiero, portando a un percorso completamente diverso verso la soluzione.
- Fase successiva (La stabilizzazione): Mentre il bibliotecario cammina più avanti su questo nuovo percorso, il "vento" (il foglio casuale) svanisce perché il corridoio si allunga e il ricordo del bibliotecario dell'inizio si diluisce. Si stabilizza in un passo sicuro su questo nuovo percorso.

3. L'effetto "Lancio dei dadi" (Pass@N)

L'articolo ha scoperto che se chiedi al bibliotecario di provare lo stesso problema 10 volte, ma gli dai uno scarabocchio casuale diverso ogni volta, ottieni 10 percorsi diversi.

Il risultato: Anche se 9 di quei percorsi sono sbagliati, il fatto di aver costretto il bibliotecario a provare 10 punti di partenza diversi significa che è molto più probabile trovare l'unico percorso corretto tra di essi.
Il rovescio della medaglia: Se usi lo stesso scarabocchio casuale per tutti e 10 i tentativi, tutti seguono lo stesso percorso sbagliato. La magia funziona solo se il "vento" cambia ogni volta.

4. Perché questo è importante

È gratuito: Non hai bisogno di passare settimane ad addestrare il modello o insegnargli nuovi fatti. Basta aggiungere rumore casuale.
È strutturale: L'articolo dimostra che la "magia" di questi trucchi avanzati dell'IA deriva spesso dalla struttura dell'aggiunta di token extra, non dal contenuto specifico di quei token. È come se scuotere una scatola di pezzi di puzzle potesse aiutarti a trovare il pezzo d'angolo giusto più velocemente, anche se lo scuotimento in sé non risolve il puzzle.
Aiuta l'addestramento: Hanno anche dimostrato che l'uso di questo "vento" casuale durante l'addestramento del modello (fase di insegnamento) aiuta il modello a imparare più velocemente e meglio, simile a come un allenatore potrebbe variare gli esercizi per evitare che un atleta si annoi o rimanga bloccato in una routine.

Riepilogo

L'articolo afferma che la casualità è uno strumento potente. Iniettando vettori casuali e privi di significato nell'input dell'IA, la si costringe a esplorare diverse "strade" verso la risposta nelle fasi iniziali. Una volta scelta una strada, vi rimane, ma poiché hai iniziato con una strada diversa, potresti arrivare alla destinazione più spesso rispetto a quanto faresti attenendoti alla solita rotta. Si scopre che a volte, sconvolgere le cose è efficace quanto insegnare qualcosa di nuovo.

Riepilogo Tecnico: Dal Rumore alla Diversità: Iniezione di Embedding Casuali nel Ragionamento degli LLM

Enunciato del Problema

La ricerca recente sul ragionamento dei Large Language Model (LLM) si è concentrata sui Soft Prompt, che inseriscono vettori di embedding continui addestrabili negli input del modello per orientarne il comportamento. Sebbene tali metodi (ad esempio Prefix-Tuning, SoftCoT, LTPO) abbiano dimostrato miglioramenti delle prestazioni, rimane un'ambiguità critica: il miglioramento è guidato dal contenuto appreso dei vettori ottimizzati o dall'atto strutturale dell'iniezione stessa? Lavori precedenti attribuiscono i guadagni alle rappresentazioni apprese, eppure i vincoli teorici suggeriscono che i soft prompt influenzano solo l'attenzione in direzioni fisse senza alterare i pattern di attenzione relativi tra i token di contenuto. Inoltre, i metodi esistenti richiedono addestramento specifico per dominio, sono sensibili agli iperparametri e mancano di una spiegazione teorica unificata della loro efficacia.

Metodologia: Soft Prompt Casuali (RSP)

Per disambiguare il contributo del contenuto appreso dall'atto dell'iniezione, gli autori propongono i Soft Prompt Casuali (RSP). Gli RSP sono un'intervento privo di addestramento in cui una sequenza di vettori di embedding casuali viene aggiunta all'input.

Costruzione: I vettori RSP sono campionati indipendentemente da una distribuzione gaussiana isotropa adattata alla media ( $\mu_E$ ) e alla varianza ( $\sigma_E$ ) per elemento della tabella di embedding dei token preaddestrati.
$h_j \sim \mathcal{N}(\mu_E \mathbf{1}_d, \sigma_E^2 \mathbf{I}_d)$
Meccanismo: Il metodo si basa su due fasi teoriche:
1. Esplorazione (Decodifica Iniziale): Quando la cache Key-Value (KV) è breve, la massa di attenzione ( $w$ ) allocata ai token casuali è significativa. Poiché l'RSP è isotropo, perturba lo stato nascosto in tutte le direzioni, potenzialmente spostando le previsioni dei primi $K$ token e aprendo traiettorie di ragionamento diversificate che differiscono dalla baseline.
2. Ricottura (Decodifica Successiva): Man mano che procede la generazione autoregressiva, la cache KV cresce. L'analisi teorica (Teorema 1) dimostra che il limite superiore della massa di attenzione allocata alla sequenza RSP a lunghezza fissa decade monotonicamente all'aumentare del numero di token reali ( $n$ ). Di conseguenza, l'influenza dell'RSP si diluisce naturalmente, permettendo al modello di impegnarsi in un'unica traiettoria di completamento.
Implementazione: Gli RSP vengono iniettati come suffisso (predefinito), prefisso o infisso. Crucialmente, vengono ricampionati di fresco per ogni esecuzione di inferenza o traiettoria di addestramento, garantendo l'indipendenza.

Contributi Chiave

Isolamento degli Effetti di Iniezione: L'RSP fornisce una lente unificata per studiare l'effetto strutturale dell'iniezione di soft prompt. Rimuovendo completamente la fase di addestramento, gli autori dimostrano che l'atto di iniettare vettori casuali da solo può indurre una accuratezza paragonabile a quella dei soft prompt ottimizzati.
Validazione Teorica ed Empirica: Il documento stabilisce un quadro teorico che mostra come la massa di attenzione decada con la crescita della cache KV (Teorema 1) e come la copertura isotropa garantisca la raggiungibilità di stati di diramazione diversificati. Empiricamente, gli RSP replicano le firme di entropia della decodifica iniziale dei metodi ottimizzati (LTPO, SoftCoT, TTSV) senza alcun parametro appreso.
Estensione all'Addestramento: Gli autori estendono l'RSP dall'inferenza al DAPO (un algoritmo di addestramento per apprendimento per rinforzo), dimostrando che il ricampionamento indipendente degli RSP durante le roll-out si combina con la preservazione della diversità a livello di perdita per produrre ulteriori guadagni nelle prestazioni.

Risultati Sperimentali

Gli autori hanno valutato l'RSP su benchmark di ragionamento matematico (MATH-500, GSM8K, AIME24) utilizzando modelli come Qwen2.5-Math e LLaMA-3.1.

Guadagni di Accuratezza: L'RSP raggiunge un'accuratezza paragonabile o superiore ai soft prompt ottimizzati (TTSV, SoftCoT, LTPO) senza addestramento. In modo notevole, in scenari di mismatch di formato (applicazione di template ChatML a modelli base non addestrati per essi), l'RSP ha recuperato un'accuratezza significativa (ad esempio, +29,0 punti percentuali su Qwen2.5-Math-1.5B per MATH-500).
Diversità e Pass@N:
- Livello Token: L'RSP induce uno spostamento distinto nella distribuzione del primo token ( $\rho$ di Spearman = 0,709 contro 1,0 per la scalatura della temperatura), espandendo il supporto oltre i primi 10 token della baseline.
- Livello Traiettoria: L'RSP genera percorsi di ragionamento semanticamente diversificati (distanza inter-cluster più elevata) mantenendo la coerenza all'interno del gruppo.
- Livello Esito: Il Pass@N (probabilità di almeno una risposta corretta in $N$ tentativi) scala significativamente con il ricampionamento indipendente. Condividere un singolo RSP tra i campioni non produce guadagni, confermando che la diversità nasce dall'iniezione stocastica e non da una perturbazione fissa.
Integrazione nell'Addestramento: Nell'addestramento DAPO, l'aggiunta di RSP alle roll-out ha portato a una maggiore accuratezza media di picco (54,36% contro il 53,20% per DAPO da solo) e ha ritardato il degrado delle prestazioni, suggerendo dinamiche esplorazione-sfruttamento migliorate.

Significato e Affermazioni

Il documento afferma che una parte sostanziale del successo attribuito ai soft prompt "appresi" è in realtà un prodotto collaterale strutturale del meccanismo di iniezione stesso. L'atto di introdurre perturbazioni casuali e isotrope al livello di input:

Aumenta la diversità dei token nelle fasi iniziali, permettendo al modello di esplorare traiettorie di ragionamento che potrebbero essere inaccessibili tramite la scalatura standard della temperatura (che preserva l'ordine di rango).
Si attenua automaticamente man mano che procede la generazione, impedendo che il rumore casuale destabilizzi la risposta finale.
Funge da controllo che rivela i limiti dell'assunzione dei lavori precedenti secondo cui il contenuto appreso è il principale motore dei miglioramenti nel ragionamento.

Gli autori concludono che l'RSP offre un'alternativa semplice e priva di addestramento per migliorare la diversità e l'accuratezza del ragionamento, in particolare in scenari dove l'allineamento del formato è scarso o dove l'esplorazione indipendente delle traiettorie è critica per l'addestramento basato su RL. Evidenziano limitazioni riguardo alla spiegazione teorica del decadimento per livelli e all'applicabilità a compiti non matematici, inquadrando il lavoro come un'analisi fondamentale delle dinamiche di iniezione piuttosto che come una soluzione deployata.