🤖 machine learning

Representation-Based Exploration for Language Models: From Test-Time to Post-Training

Questo articolo dimostra che l'incorporazione di un semplice bonus di diversità basato sulle rappresentazioni, derivato dagli stati latenti di modelli pre-addestrati, sia nel campionamento durante l'inferenza che nell'apprendimento per rinforzo post-addestramento, migliora significativamente le prestazioni e l'efficienza di campionamento dei modelli linguistici promuovendo la scoperta di comportamenti nuovi piuttosto che il semplice perfezionamento di quelli esistenti.

Autori originali: Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy, Jordan T. Ash

Pubblicato 2026-07-16

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy, Jordan T. Ash

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i computer non si limitino a seguire istruzioni, ma imparino davvero a pensare con la propria testa, risolvendo enigmi e scrivendo codice provando, fallendo e riprovando. Questo è il regno dell'Apprendimento per Rinforzo (Reinforcement Learning - RL), un ramo dell'intelligenza artificiale in cui un agente impara interagendo con il proprio ambiente per massimizzare le ricompense. Pensate all'addestramento di un cane: se si siede, riceve un premio; se salta, non riceve nulla. Con il tempo, il cane impara i comportamenti migliori per ottenere il maggior numero di premi.

Nel mondo dei grandi modelli linguistici (i chatbot super intelligenti che usiamo oggi), questo processo viene chiamato "post-training". Gli scienziati forniscono al modello un problema matematico o un compito di programmazione, lo lasciano generare una risposta e controllano se è corretta. Se lo è, il modello riceve una "ricompensa" e impara a fare quella specifica cosa meglio la prossima volta. Tuttavia, c'è un problema. I metodi attuali spesso agiscono come uno studente che si limita a memorizzare le risposte del libro di testo. Diventano bravissimi negli specifici trucchi che già conoscono, ma raramente scoprono nuovi modi per risolvere i problemi. Si limitano a diventare più esperti in ciò che già sanno fare. La grande domanda che gli scienziati si pongono è: possiamo insegnare a questi modelli di IA ad essere esploratori curiosi invece che semplici memorizzatori? Possiamo incoraggiarli a provare approcci strani, nuovi e diversificati per trovare soluzioni che il loro addestramento di base non ha mai mostrato loro?

Questo articolo, intitolato "Representation-Based Exploration for Language Models", approfondisce esattamente questa domanda. I ricercatori, Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy e Jordan T. Ash, propongono un nuovo modo intelligente per far esplorare l'IA. Invece di lasciare che il modello indovini casualmente o si limiti a ripetere ciò che sa, gli forniscono un "bonus di diversità". Immaginate di cercare un tesoro nascosto in una foresta gigante. Un cercatore casuale potrebbe vagare senza meta, mentre un cercatore intelligente potrebbe cercare di visitare ogni tipo distinto di albero per assicurarsi di non perdere alcun indizio. Questo articolo suggerisce di utilizzare i "pensieri" interni dell'IA (i suoi stati nascosti) per misurare quanto un'idea sia diversa da quelle già provate. Se un'idea sembra "nuova" o "originale" rispetto ai suoi tentativi precedenti, riceve un bonus di ricompensa, incoraggiando il modello a continuare a esplorare quel nuovo percorso.

Il team ha testato questa idea in due modi principali. Per prima cosa, hanno esaminato l'esplorazione "al tempo di inferenza" (inference-time), che è come un test una tantum. Hanno generato migliaia di risposte a un singolo problema matematico e hanno usato il loro "bonus di diversità" per scegliere quelle più interessanti da controllare. Hanno scoperto che questo metodo è incredibilmente efficiente. Ad esempio, su un difficile dataset matematico chiamato MATH, utilizzando il loro metodo con un modello chiamato Qwen-2.5-14b-Instruct, l'efficienza nel trovare una risposta corretta è migliorata di oltre il 50% rispetto alla semplice scelta casuale delle risposte. In effetti, per alcuni compiti, hanno avuto bisogno di 3 o 13 volte meno tentativi per trovare una soluzione corretta usando questa strategia di esplorazione.

In secondo luogo, hanno integrato questa strategia di esplorazione nel processo di addestramento effettivo (post-training). Volevano vedere se questo potesse aiutare il modello a imparare nuovi comportamenti piuttosto che limitarsi ad affinare quelli vecchi. I risultati sono stati promettenti. Quando hanno addestrato il modello con questo bonus di esplorazione, non si è limitato a migliorare nei soliti trucchi; ha iniziato a generare risposte che apparivano molto più nuove e creative. Su un difficile dataset di competizioni matematiche chiamato AIME 2024, il loro modello potenziato dall'esplorazione ha ottenuto prestazioni paragonabili a un metodo di addestramento standard che utilizzava quattro volte più campioni. Ciò suggerisce che, incoraggiando deliberatamente la diversità, possono aiutare i modelli di IA a scoprire nuove capacità senza la necessità di enormi quantità di dati extra o potenza di calcolo.

Tuttovia, gli autori sottolineano con cautela che questo non è un rimedio magico che risolve tutto. Hanno scoperto che il metodo funziona meglio con modelli più forti e capaci; i modelli più deboli a volte non ne hanno beneficiato o sono addirittura peggiorati. Hanno anche dimostrato che, sebbene questo approccio aiuti il modello a trovare nuove soluzioni, non significa necessariamente che il modello sia "più intelligente" in senso generale, bensì che è più bravo a navigare nel vasto spazio delle possibili risposte per trovare quella giusta. L'articolo suggerisce che questa "esplorazione deliberata" è una via pratica per il futuro, offrendo un modo per andare oltre il semplice affinamento delle abilità esistenti e verso la scoperta di comportamenti genuinamente nuovi nei modelli linguistici.

Sintesi Tecnica: Esplorazione Basata sulle Rappresentazioni per i Modelli di Linguaggio

Definizione del Problema

L'apprendimento per rinforzo (RL) ha mostrato grande potenziale nel potenziare i modelli di linguaggio (LM) per compiti con ricompense verificabili, come il ragionamento matematico e la generazione di codice. Tuttavia, un limite critico delle attuali tecniche di post-training tramite RL è l'incertezza sul fatto che esse scoprano realmente nuovi comportamenti o si limitino a "affilare" (amplificare) capacità già presenti nel modello base con una probabilità modesta. Le evidenze esistenti suggeriscono che le ricette standard di RL spesso non riescono a sbloccare capacità assenti nel modello pre-addestrato, convergendo invece su soluzioni note. Inoltre, la cura dei dati e gli interventi algoritmici per mitigare questo problema stanno diventando colli di bottiglia, particolarmente in domini complessi e aperti.

Il paper sostiene che l'esplorazione deliberata — ovvero l'incentivare esplicitamente il modello a scoprire comportamenti veramente nuovi e diversificati — è essenziale per realizzare il pieno potenziale dell'RL per il ragionamento dei modelli di linguaggio. La sfida centrale consiste nel quantificare la novità e la diversità all'interno dello spazio combinatoriamente vasto del linguaggio in modo scalabile, sfruttando al contempo la conoscenza pregressa incorporata nei modelli pre-addestrati per guidare questa ricerca in modo efficiente.

Metodologia

Gli autori propongono una strategia di esplorazione basata sulle rappresentazioni, utilizzando bonus ellittici derivati dagli stati latenti del modello di linguaggio pre-addestrato. La metodologia è valutata attraverso un approccio a due fronti:

1. Selezione al Tempo di Inferenza

Per isolare il ruolo della diversità dall'ottimizzazione e dalla generalizzazione, gli autori definiscono innanzitutto un problema di selezione al tempo di inferenza. Dato un prompt $x$ e un ampio insieme di $N$ risposte candidate generate da un modello fisso $\pi$ , l'obiettivo è selezionare un sottoinsieme di $k$ risposte che sia massimamente diversificato e abbia un'alta probabilità di contenere una risposta corretta.

Meccanismo (RepExp): L'algoritmo seleziona iterativamente le risposte per massimizzare un bonus ellittico. Per una risposta $y$ , il vettore di caratteristiche $\bar{h}_\theta(x, y)$ viene costruito mediando gli stati latenti dell'ultimo livello del modello sui token della risposta.
Metrica di Diversità: La novità di un candidato $y$ rispetto a un insieme di risposte precedentemente selezionate è definita come $div(y) = \bar{h}_\theta(x, y)^\top \Sigma^{-1} \bar{h}_\theta(x, y)$ , dove $\Sigma$ è la matrice di covarianza delle caratteristiche selezionate. La covarianza inversa viene aggiornata efficientemente utilizzando l'identità di Woodbury.
Obiettivo: Questo approccio seleziona un "coreset" di risposte diversificate per interrogare un verificatore, con l'obiettivo di migliorare l'efficienza del verificatore (riducendo il numero di campioni necessari per trovare una risposta corretta).

2. Post-Training con RL

Gli autori integrano questa strategia di esplorazione nella pipeline di post-training GRPO (Group Relative Policy Optimization).

Augmentation della Ricompensa: Invece di selezionare un sottoinsieme, il bonus ellittico viene aggiunto direttamente alla ricompensa estrinseca. Per un rollout $y_i$ , la ricompensa diventa $r(x, y_i) + \beta \cdot \bar{h}_\theta(x, y_i)^\top \Sigma^{-1} \bar{h}_\theta(x, y_i)$ .
Implementazione: La matrice di covarianza $\Sigma$ viene riinizializzata per ogni batch di rollout di addestramento per misurare la novità rispetto all'attuale batch. I vettori di caratteristiche vengono proiettati in una dimensione inferiore (ad esempio 512) tramite proiezione casuale sparsa per garantire la scalabilità.

3. Estensione a Livello di Token (Preliminare)

Come prova di concetto, gli autori esplorano anche la modifica del processo di generazione autoregressiva stesso. Perturbando i logit a livello di token con un bonus ellittico ad ogni step di generazione, mirano a guidare la diversità durante il processo di generazione piuttosto che tramite selezione post-hoc.

Contributi Chiave e Risultati

1. Miglioramento dell'Efficienza del Verificatore (Tempo di Inferenza)

Il paper dimostra che l'esplorazione basata sulle rappresentazioni migliora significativamente l'efficienza del verificatore attraverso una vasta gamma di modelli (Phi, Llama, Qwen) e task (MATH, GSM8K, MBPP+, Game of 24).

Risultato: Per modelli come Qwen-2.5-14b-Instruct, il metodo ottiene un miglioramento superiore al 50% nel numero di campioni necessari per trovare una risposta corretta rispetto al campionamento casuale.
Correlazione con la Forza del Modello: I benefici dell'esplorazione scalano con la forza del modello; i modelli più forti (ad esempio Qwen-32B) beneficiano significativamente, mentre i modelli più deboli potrebbero non vedere alcun miglioramento o subire un degrado.
Sensibilità alla Difficoltà: Il metodo fornisce i maggiori guadagni di efficienza sulle domande più difficili (ad esempio, il top 20% più difficile in MATH).

2. Prestazioni e Diversità Potenziate nel Post-Training

L'integrazione dell'esplorazione basata sulle rappresentazioni nel post-training con RL produce prestazioni superiori rispetto al GRPO standard e alle baseline di "Unlikeliness".

Miglioramento del Pass@k: Il metodo mantiene o migliora i tassi di pass@k per valori elevati di $k$ , mentre il GRPO standard spesso degrada le prestazioni rispetto al modello base per grandi valori di $k$ (un fenomeno noto come "collasso della diversità").
Efficienza del Campionamento: Sul benchmark AIME 2024, il modello post-addestrato Qwen-2.5-7b-Instruct utilizzando RepExp raggiunge un pass@80 che eguaglia il pass@256 del GRPO standard, rappresentando un miglioramento di 3 volte nell'efficienza del campionamento al tempo di test.
Anti-Affilamento (Anti-Sharpening): L'analisi delle log-likelihood sotto il modello base rivela che RepExp genera risposte che sono significativamente più nuove (minore likelihood) rispetto a quelle del GRPO standard, che tende ad affilare la distribuzione del modello base. Ciò suggerisce che il metodo riesce a sfuggire al "regime di affilamento".

3. Applicazione alla Verifica ad Alto Costo

In un esperimento preliminare sulla generazione di sequenze proteiche (dove la verifica tramite esperimenti di laboratorio è costosa), il metodo ha migliorato l'efficienza del verificatore fino a 56.9x rispetto al campionamento casuale, dimostrando un potenziale utilità in domini in cui la verifica è onerosa.

Significato e Rivendicazioni

Il paper sostiene che l'esplorazione deliberata, guidata da una nozione di diversità basata sulle rappresentazioni e dai principi formali, è una via pratica per scoprire nuovi comportamenti nei modelli di linguaggio oltre il semplice affilamento.

Novità dell'Approccio: A differenza del lavoro precedente che si basa su reti ausiliarie (ad esempio, Random Network Distillation) o complessa cura dei dati, questo metodo sfrutta gli stati latenti del modello pre-addestato stesso, senza richiedere macchinari di apprendimento aggiuntivi.
Strategia di Validazione: Gli autori sottolineano il valore del loro approccio di valutazione in due fasi (selezione al tempo di inferenza seguita dal post-training) come modo per disgiungere i benefici della diversità da altri meccanismi di RL.
Ambito Modesto: Gli autori riconoscono che la loro implementazione attuale è uno schema "semplice e basato su principi". Non pretendono di aver risolto tutte le sfide dell'esplorazione, ma suggeriscono che questo approccio fornis la una solida base e un framework per comprendere i compromessi di strategie più sofisticate. Notano che, sebbene l'esplorazione a livello di token sia promettente, essa comporta attualmente costi computazionali più elevati che richiedono ottimizzazione.

In sintesi, il paper argomenta che, incentivando esplicitamente la scoperta di comportamenti diversificati attraverso bonus basati sulle rappresentazioni, i modelli di linguaggio possono essere guidati a trovare soluzioni nuove che il normale post-training con RL perde, espandendo così le loro capacità di ragionamento in modo più efficace.