🤖 machine learning

Subspace Inference Enables Efficient Active Reward Learning from Preferences

Questo articolo introduce PreferenceEKF, un metodo di apprendimento attivo efficiente in termini di campionamento che sfrutta il filtro di Kalman esteso all'interno di un sottospazio di parametri a bassa dimensionalità per consentire una quantificazione dell'incertezza scalabile per i modelli di ricompensa delle reti neurali, migliorando così l'efficienza e le prestazioni dell'apprendimento per rinforzo tramite feedback umano.

Autori originali: Yutai Zhou, Erdem Bıyık

Pubblicato 2026-09-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yutai Zhou, Erdem Bıyık

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo dell'intelligenza artificiale, esiste una sfida persistente nota come "inefficienza campionaria" nell'apprendimento dal feedback umano. Immaginate di insegnare a un complesso programma per computer come comportarsi in modo da allinearsi ai valori umani. Il metodo più potente attualmente disponibile consiste nel chiedere alle persone di confrontare due diversi esiti — come due movimenti di un robot o due risposte scritte — e dichiarare quale preferiscono. Sebbene questo feedback sia facile da fornire per gli esseri umani, è incredibilmente rado; una singola preferenza fornisce solo una minuscola frazione di informazione. Per costruire un modello affidabile di ciò che gli esseri umani desiderano, un algoritmo deve porre migliaia di queste domande. Se il computer pone le domande sbagliate, spreca tempo e denaro. Se pone quelle giuste, impara molto più velocemente. La difficoltà risiede nel sapere quali domande saranno le più informative. Per farlo, il computer ha bisogno di comprendere ciò che non sa ancora, un concetto chiamato incertezza. Tuttavia, calcolare questa incertezza per le enormi reti neurali moderne è notoriamente difficile e computazionalmente costoso, richiedendo spesso l'addestramento di decine di modelli separati solo per ottenere una stima approssimativa.

Un team di ricercatori della University of Southern California ha sviluppato un nuovo approccio per risolvere questo collo di bottiglia, permettendo ai computer di apprendere dalle preferenze umane con una velocità e un'efficienza molto maggiori. Hanno introdotto un metodo chiamato PreferenceEKF, che tratta il processo di apprendimento delle preferenze come un problema di filtraggio continuo e passo dopo passo, piuttosto che come un enorme calcolo unico. Invece di cercare di mappare tutte le possibili variazioni di una gigantesca rete neurale in una volta sola, i ricercatori hanno compreso che il comportamento della rete poteva essere tracciato accuratamente all'interno di uno spazio molto più piccolo e a bassa dimensionalità. Concentrando i loro calcoli su questo sottospazio compatto, sono riusciti a utilizzare uno strumento matematico classico, l'esteso filtro di Kalman, per aggiornare la comprensione del modello in tempo reale man mano che arrivano nuove risposte. Questa tecnica ha permesso loro di generare istantaneamente migliaia di versioni diverse del modello di ricompensa, senza l'elevato costo computazionale dell'addestramento di molteplici reti indipendenti.

I ricercatori hanno testato il loro metodo contro diverse tecniche esistenti utilizzando una varietà di benchmark standard per il controllo robotico e il processo decisionale. Hanno scoperto che il loro approccio non era solo significativamente più veloce — operando fino a quaranta volte più rapidamente di alcune delle più avanzate alternative — ma era anche più accurato nelle sue previsioni. Negli esperimenti in cui l'obiettivo era apprendere un modello di ricompensa da un numero limitato di confronti umani, il nuovo metodo ha costantemente appreso le preferenze corrette utilizzando meno domande rispetto agli altri metodi. Inoltre, i modelli prodotti erano meglio calibrati, il che significa che la fiducia del computer nelle proprie risposte corrispondeva più da vicino all'effettiva accuratezza di tali risposte. Questa precisione è vitale per l'apprendimento attivo, dove il sistema deve decidere quale domanda porre successivamente; se il sistema è incerto, pone una domanda per risolvere tale incertezza, e se è fiducioso, procede oltre. Il nuovo metodo eccelleva in questo equilibrio, portando a modelli di ricompensa che potevano addestrare con successo politiche robotiche per eseguire compiti complessi, eguagliando le prestazioni di politiche addestrate con metodi molto più costosi e dispendiosi in termini di tempo.

Uno degli aspetti più sorprendenti di questo lavoro è come esso cambi il flusso di lavoro dell'addestramento di questi sistemi. I metodi tradizionali richiedono spesso al computer di ri-addestrare o ri-valutare la sua intera comprensione del mondo ogni volta che riceve un nuovo pezzo di feedback, un processo che diventa più lento man mano che il sistema cresce. Il nuovo metodo, al contrario, aggiorna la sua conoscenza in modo sequenziale, incorporando solo l'ultimo pezzo di informazione pur mantenendo una stima corrente di ciò che ha appreso finora. Ciò consente al sistema di scalare in modo efficiente, gestendo reti neurali più grandi e generando più campioni di possibili modelli di ricompensa senza esaurire la memoria o il tempo. I ricercatori hanno anche dimostrato che questo approccio funziona anche partendo da nessun dato iniziale, utilizzando una tecnica di proiezione casuale per costruire il sottospazio necessario da zero, e ha mostrato potenziale quando applicato a compiti basati su immagini, dove i dati di input sono molto più complessi di semplici numeri.

Sebbene il metodo mostri grande promessa, i ricercatori sono attenti a sottolinearne i confini. Il framework matematico che hanno utilizzato presuppone che le preferenze apprese provengano da una singola fonte coerente. Quando hanno testato il sistema con dati provenienti da diversi annotatori umani che potevano avere opinioni contrastanti, il metodo ha faticato a catturare la piena complessità di tali opinioni divergenti. Ciò suggerisce che, sebbene l'approccio sia uno strumento potente per snellire il processo di apprendimento, sia più adatto a scenari in cui viene modellata un'unica, coerente serie di preferenze. Ciononostante, i risultati indicano un passo avanti significativo nel rendere l'intelligenza artificiale più adattabile all'intento umano. Rendendo il processo di apprendimento dal feedback più veloce ed efficiente, questo lavoro rimuove una barriera importante alla distribuzione di sistemi intelligenti in contesti del mondo reale, dalle raccomandazioni personalizzate ai robot autonomi, dove il costo del tempo umano è elevato e la necessità di un apprendimento rapido e accurato è critica.

Riepilogo Tecnico: L'inferenza in sottospazio abilita un apprendimento del reward attivo ed efficiente dalle preferenze

Problematica

L'Apprendimento per Rinforzo con Feedback Umano (RLHF) è una tecnica dominante per allineare gli agenti con le intenzioni umane, tuttavia soffre di una scarsa efficienza campionaria. Poiché il feedback delle preferenze umane fornisce al massimo un bit di informazione per query, l'apprendimento di un modello di ricompensa (Reward Model, RM) richiede spesso migliaoli di confronti, il che non è scalabile. L'apprendimento attivo affronta questo problema selezionando con giudizio le query per massimizzare il guadagno di informazione. Tuttavia, un apprendimento attivo efficace richiede una robusta quantificazione dell'incertezza (UQ) del modello di ricompensa.

Sebbene i metodi bayesiani offrano una rappresentazione principesca dell'incertezza, essi faticano a scalare verso modelli di ricompensa basati su reti neurali (NN) a causa dell'intrattabilità computazionale dell'inferenza a posteriori su spazi di parametri ad alta dimensionalità. Al contrario, le popolari alternative come i metodi ensemble o il dropout sono o computazionalmente costose (richiedendo l'addestramento di molteplici modelli indipendenti) o forniscono approssimazioni della distribuzione a posteriori scadenti. La sfida principale è sviluppare un metodo che consenta un apprendimento attivo campionario ed efficiente per i modelli di ricompensa a rete neurale senza l'overhead dell'addestramento di ensemble.

Metodologia: PreferenceEKF

Gli autori propongono PreferenceEKF, un approccio campionario efficiente che inquadra l'apprendimento attivo delle preferenze come un problema di filtraggio bayesiano sequenziale. Il metodo sfrutta due intuizioni chiave:

Filtraggio Sequenziale: Invece dell'addestramento in batch, il metodo aggiorna la distribuzione a posteriori del modello di ricompensa sequenzialmente man mano che arrivano nuove query di preferenza, utilizzando un Filtro di Kalman Esteso (EKF).
Inferenza in Sottospazio: Riconoscendo che le reti neurali sono sovraparametrizzate e che le soluzioni risiedono spesso in un sottospazio a bassa dimensionalità, il metodo esegue l'inferenza EKF all'interno di questo sottospazio piuttosto che nello spazio dei parametri completo.

Workflow Tecnico

Costruzione del Sottospazio:
- Un dataset iniziale viene utilizzato per eseguire alcuni iterazioni di Stochastic Gradient Descent (SGD).
- Le iterazioni risultanti dei parametri vengono utilizzate per costruire un sottospazio a bassa dimensionalità. Ciò avviene tramite la Decomposizione ai Valori Singolari (SVD) delle iterazioni SGD per ottenere una matrice di proiezione $A$ , o alternativamente tramite proiezioni casuali.
- Lo spazio dei parametri completo $\theta$ è approssimato da una mappatura affine $\theta(z) = Az + \theta^*$ , dove $z$ rappresenta i parametri del sottospazio a bassa dimensionalità ( $|z| \ll |\theta|$ ).
Filtraggio Bayesiano Sequenziale (EKF):
- Il metodo tratta i parametri della rete neurale come stati nascosti che evolvono nel tempo.
- Modello di Dinamica: Assume una funzione identità con rumore gaussiano additivo ( $p(\theta_i | \theta_{i-1}) = \mathcal{N}(\theta_i | \theta_{i-1}, U)$ ).
- Modello di Misura: Utilizza il modello di Bradley-Terry (BT) per predire le etichette di preferenza date coppie di traiettorie. La verosimiglianza BT è linearizzata attorno alla media a posteriori corrente per adattarsi al framework EKF.
- Step di Aggiornamento: Al ricevimento di una nuova coppia query-risposta $(Q_i, y_i)$ , l'EKF aggiorna la distribuzione a posteriori dei parametri del sottospazio $z$ in forma chiusa. La distribuzione a posteriori rimane gaussiana: $b_i = \mathcal{N}(\mu'_i, \Sigma'_i)$ .
Ciclo di Apprendimento Attivo:
- Il metodo campiona un numero arbitrario di modelli dalla distribuzione a posteriori del sottospazio appreso.
- Questi campioni vengono proiettati nuovamente nello spazio completo per calcolare le funzioni di acquisizione. Gli autori utilizzano specificamente InfoGain (informazione mutua tra l'etichetta della query e i parametri del modello) per selezionare la query più informativa.
- A differenza dei metodi ensemble che riaddestrano su tutti i dati, PreferenceEKF aggiorna solo sull'ultima query ricevuta, rendendolo computazionalmente efficiente.

Contributi Chiave

Primo Filtraggio in Sottospazio per Modelli di Ricompensa NN: Il paper sostiene di essere il primo a sfruttare il filtraggio in sottospazio per addestrare modelli di ricompensa a rete neurale partendo dal feedback delle preferenze.
Inferenza Bayesiana Scalabile: Limitando l'inferenza a un sottospazio a bassa dimensionalità, il metodo rende trattabile l'Extended Kalman Filter per le reti neurali profonde, evitando la complessità $O(|\theta|^2)$ delle matrici di covarianza complete.
Calcolo Efficiente della Funzione di Acquisizione: La capacità di campionare un numero arbitrario di modelli dalla distribuzione a posteriori del sottospazio consente il calcolo scalabile di InfoGain, una funzione di acquisizione allo stato dell'arte precedentemente limitata a modelli a bassa dimensionalità.
Nessun Overhead di Addestramento per l'Ensemble: A differenza di DeepEnsembles, PreferenceEKF non richiede l'addestramento di molteplici modelli indipendenti, riducendo significativamente l'uso di runtime e memoria.

Risultati Sperimentali

Gli autori hanno valutato PreferenceEKF sui benchmark D4RL e V-D4RL su 12 task che coinvolgono locomozione MuJoCo, manipolazione Adroit e navigazione Maze2D. Hanno confrontato il metodo con quattro baseline: DeepEnsemble, Dropout, Laplace Approximation e Last-Layer MCMC (LLMCMC).

Efficienza Campionaria: PreferenceEKF ha performato in modo pari o superiore a tutti i baseline di deep learning bayesiano in termini di efficienza campionaria e log-likelihood finale sulle query di test tenute fuori dal set (held-out).
Runtime e Scalabilità:
- PreferenceEKF ha ottenuto uno speedup di circa 5x rispetto a DeepEnsemble e oltre 40x rispetto a LLMCMC.
- Il metodo scala agevolmente sia con il numero di campioni della distribuzione a posteriori ( $M$ ) che con la dimensione dell'architettura della rete neurale, mentre i baseline (specialmente gli ensemble) soffrono di vincoli di memoria o problemi di scalabilità lineare.
Calibrazione: PreferenceEKF ha dimostrato una calibrazione del modello superiore, ottenendo l'Errore di Calibrazione Attesa (ECE) più basso tra tutti i metodi e il secondo Brier score più basso.
Ottimizzazione della Policy: Quando i modelli di ricompensa appresi sono stati utilizzati per l'apprendimento per rinforzo offline (tramite Implicit Q-Learning), le policy risultanti hanno raggiunto prestazioni competitive con quelle addestrate con modelli di ricompensa di altri metodi, spesso eguagliando o superando leggermente la policy della ricompensa reale (ground-truth).
Robustezza: Il metodo è rimasto efficace anche senza un dataset di warm-up iniziale (usando proiezioni casuali) e ha mostrato potenziale in contesti di feedback sparso (dati di robot reali) e task basati su pixel (usando embedding di immagini pre-addestrate).

Significato e Rivendicazioni

Il paper posiziona PreferenceEKF come una soluzione valida per scalare l'apprendimento bayesiano profondo verso grandi modelli di ricompensa a rete neurale nell'RLHF. Gli autori sostengono che il loro approccio riesca a bilanciare la necessità di una quantificazione principesca dell'incertezza con la trattabilità computazionale.

Efficienza: Il contributo primario è migliorare l'efficienza campionaria dell'apprendimento della ricompensa basato su preferenze riducendo drasticamente il costo computazionale di addestramento e inferenza rispetto ai metodi bayesiani esistenti.
Praticità: Il metodo consente l'uso di funzioni di acquisizione ad alta dimensionalità come InfoGain per le reti neurali, cosa precedentemente impraticabile.
Limitazioni: Gli autori riconoscono con modestia che l'assunzione gaussiana di EKF limita il metodo a scenari con singolo annotatore (distribuzioni a posteriori unimodali) e che estendere il metodo a modelli di ricompensa su scala foundation model o a distribuzioni di preferenza multimodali (es. diversi annotatori umani) rimane una sfida aperta. Notano inoltre che, sebbene i loro modelli di ricompensa portino a policy competitive, la correlazione diretta tra la log-likelihood del modello di ricompensa e la performance finale della policy è complessa e non è garantito che possa essere migliorata esclusivamente con un migliore apprendimento della ricompensa.

In conclusione, il lavoro dimostra che l'inferenza in sottospazio tramite EKF offre un'alternativa scalabile, efficiente e ben calibrata ai metodi di deep learning bayesiano basati su ensemble per l'apprendimento attivo della ricompensa dalle preferenze umane.