Sintesi Tecnica: Selezione dei Prompt Guidata da Kalman (KGPS) per il Fine-tuning RL Adattivo

1. Definizione del Problema

Il fine-tuning tramite Reinforcement Learning (RL) migliora significativamente le capacità di ragionamento dei Large Language Models (LLM), ma la sua efficacia dipende fortemente dalla selezione di prompt di addestramento con una difficoltà appropriata rispetto alla policy attuale. Una sfida critica in questo dominio è la non-stazionarietà: man mano che la policy migliora, la difficoltà dei prompt evolve. I prompt che precedentemente erano informativi possono diventare banali, mentre quelli un tempo troppo difficili possono diventare apprendibili.

I metodi esistenti di selezione dei prompt online affrontano un compromesso:

• Gli approcci basati sulla valutazione (es. Dynamic Sampling) sono accurati ma computazionalmente costosi, richiedendo massicci rollouts aggiuntivi per stimare i tassi di successo dei prompt, il che spesso risulta in un overhead di inferenza 7× superiore rispetto all'addestramento standard.
• Gli approcci basati sulla predizione (es. MoPPS, GRESO) sono efficienti ma tipicamente modellano la difficoltà del prompt come un parametro latente stazionario. Si affidano a fattori di decadimento euristici per gestire la non-stazionarietà, il che fallisce nel tracciare accuratamente il mutamento del panorama della difficoltà indotto dai continui aggiornamenti della policy, portando a errori di stima persistentemente elevati.

L'articolo sostiene che sia necessario un passaggio fondamentale dalla stima di parametri statici alla stima di stato dinamico per mantenere l'allineamento con l'evoluzione della policy senza incorrere in costi di inferenza aggiuntivi.

2. Metodologia: Selezione dei Prompt Guidata da Kalman (KGPS)

KGPS riformula la selezione dei prompt come un problema di stima dello stato dinamico. Invece di trattare il tasso di successo di un prompt come un parametro fisso, KGPS lo modella come uno stato latente variabile nel tempo all'interno di un modello di spazio di stato lineare-gaussiano (SSM).

Componenti Core:

1. Formulazione dello Spazio di Stato nello Spazio dei Logit:

   • Il tasso di successo latente $\phi^t_\tau$ di un prompt $\tau$ al passo $t$ viene trasformato nello spazio dei logit: $\psi^t_\tau = \text{logit}(\phi^t_\tau)$.
   • Evoluzione dello Stato: Lo stato latente evolve come un random walk: $\psi^t_\tau = \psi^{t-1}_\tau + w^t_\tau$, dove la varianza del rumore di processo $Q_t$ è esplicitamente accoppiata all'entità dell'aggiornamento della policy: $Q_t = \gamma \cdot \|\theta^t - \theta^{t-1}\|^2$. Ciò assicura che l'incertezza aumenti quando la policy cambia sostanzialmente, riflettendo il potenziale spostamento della difficoltà del prompt.
   • Modello di Osservazione: Quando un prompt viene selezionato e sottoposto a $k$ rollout, il tasso di successo empirico viene trasformato tramite il metodo delta per approssimare un'osservazione gaussiana nello spazio dei logit.

2. Filtro di Kalman per il Mantenimento della Posterior:

   • KGPS impiega un filtro di Kalman per mantenere una distribuzione a posteriori gaussiana $N(\hat{\psi}^t_\tau, P^t_\tau)$ per ogni prompt nel pool.
   • Passaggio di Predizione: Ad ogni passo di addestramento, la varianza $P^t_\tau$ di tutti i prompt (selezionati o meno) viene gonfiata da $Q_t$. Questo meccanismo aumenta naturalmente il punteggio di incertezza per i prompt che non sono stati valutati di recente, impedendo che vengano ignorati permanentemente.
   • Passaggio di Aggiornamento: Per i prompt selezionati nel passo precedente, il filtro incorpora le nuove osservazioni dei rollout per aggiornare la media e ridurre la varianza.

3. Selezione dell'Utilità Attesa dalla Posterior:

   • Invece di selezionare i prompt basandosi su una stima puntuale della difficoltà, KGPS seleziona i prompt massimizzando un'utilità di addestramento attesa dalla posterior: $\tilde{A}(\tau, t) = \mathbb{E}_{\psi \sim N(\hat{\psi}^t_\tau, P^t_\tau)}[h(\psi)]$, dove $h(\psi) = \sigma(\psi)(1-\sigma(\psi))$ raggiunge il picco a una difficoltà intermedia.
   • Questa aspettativa integra l'intera distribuzione a posteriori. Di conseguenza, i prompt con alta incertezza (grande $P^t_\tau$) ricevono naturalmente punteggi più elevati, bilanciando l'esplorazione dei prompt incerti con lo sfruttamento delle stime correnti.
   • L'aspettativa è calcolata efficientemente utilizzando la quadratura di Gauss–Hermite, senza richiedere campionamento stocastico.

Caratteristica di Efficienza Chiave: KGPS opera interamente sui risultati dei rollout già generati per l'addestramento standard della policy. Non richiede nessun rollout aggiuntivo o inferenze LLM per il processo di selezione stesso.

3. Contributi Principali

L'articolo identifica tre contributi primari:

1. Riformulazione del Tracciamento della Difficoltà: Gli autori propongono di modellare la difficoltà del prompt come un problema di stima dello stato dinamico utilizzando un SSM lineare-gaussiano, dove il rumore di processo è accoppiato all'entità degli aggiornamenti della policy, anziché trattarlo come un parametro stazionario.
2. Derivazione del Filtro di Kalman e Punteggio di Utilità: Derivano un filtro di Kalman per il tracciamento online della difficoltà e introducono un punteggio di utilità attesa dalla posterior che bilancia esplorazione e sfruttamento senza programmi di decadimento regolati manualmente.
3. Validazione Empirica: Esperimenti estesi dimostrano che KGPS supera costantemente gli existing baseline sia in termini di accuratezza finale che di efficienza dei rollout in compiti di ragionamento matematico, pianificazione e geometria.

4. Risultati Sperimentali

Gli autori hanno valutato KGPS su tre benchmark di ragionamento (Matematica, Pianificazione/Countdown, Geometria Visiva) utilizzando varie scale di modelli (da Qwen3-0.6B a DeepSeek-R1-Distill-7B) e algoritmi RL (GRPO, PPO, Reinforce++).

• Performance vs. Costo dei Rollout: Sul modello DeepSeek-R1-Distill-7B, KGPS ha ottenuto prestazioni comparabili o leggermente superiori all'Oracle di valutazione (Dynamic Sampling) utilizzando l'83% in meno di rollout. Rispetto al baseline di predizione MoPPS, KGPS ha migliorato la performance media di 0.12 punti su sei benchmark matematici utilizzando lo stesso budget di rollout.
• Guadagni di Accuratezza: In tutti i modelli e i task, KGPS ha costantemente raggiunto la massima accuratezza di test tra i metodi di selezione online, superando spesso l'Oracle (DS) che comporta costi computazionali massicci.
• Accuratezza della Stima: KGPS ha mantenuto un Errore Assoluto Medio (MAE ≈ 0.15) significativamente più basso tra i tassi di successo previsti ed empirici rispetto a MoPPS (MAE ≈ 0.40), dimostrando un tracciamento superiore della non-stazionarietà della difficoltà.
• Studi di Ablazione:
  • Rimuovere l'aspettativa della posterior (usando stime puntuali) ha ridotto la performance di circa 1.09 punti.
  • Disaccoppiare il rumore di processo dall'entità dell'aggiornamento della policy (usando rumore fisso) ha ridotto la performance di circa 1.21 punti, confermando l'importanza dell'incertezza adattiva.
  • Rimuovere l'inizializzazione del warmup ha causato un lieve calo delle prestazioni, validando la necessità di una priori stabile.

5. Significato e Rivendicazioni

L'articolo afferma che KGPS stabilisce un nuovo stato dell'arte per la selezione dei prompt online nel fine-tuning RL. La sua importanza risiede nella risoluzione della tensione tra efficienza e adattività:

• Raggiunge l'accuratezza dei costosi metodi basati sulla valutazione senza il loro overhead computazionale.
• Supera i limiti dei metodi di predizione statica grazie alla modellazione rigorosa della natura non stazionaria della dinamica di addestramento RL.
• Trattando la difficoltà come uno stato dinamico invece che come un parametro statico, KGPS fornisce un meccanismo principato per la gestione dell'incertezza che revisita naturalmente i prompt trascurati, garantendo che il curriculum di addestramento rimanga allineato con la competenza evolutiva del modello.

Gli autori concludono che la stima dello stato dinamico è un'alternativa pratica e superiore alle approssimazioni di difficoltà statica per il fine-tuning RL adattivo.