🤖 machine learning

Subspace Inference Enables Efficient Active Reward Learning from Preferences

Dit artikel introduceert PreferenceEKF, een steekproefefficiënte active learning-methode die extended Kalman filtering binnen een laagdimensionale parameteronderruimte benut om schaalbare onzekerheidskwantificatie voor neurale netwerkbeloningsmodellen mogelijk te maken, waardoor de efficiëntie en prestaties van reinforcement learning from human feedback worden verbeterd.

Oorspronkelijke auteurs: Yutai Zhou, Erdem Bıyık

Gepubliceerd 2026-09-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yutai Zhou, Erdem Bıyık

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van kunstmatige intelligentie bestaat een hardnekkige uitdaging die bekend staat als de "sample-inefficiëntie" van leren van menselijke feedback. Stel je voor dat je een complex computerprogramma leert om zich te gedragen op een manier die in lijn is met menselijke waarden. De krachtigste methode die momenteel beschikbaar is, houdt in dat mensen twee verschillende uitkomsten laten vergelijken — zoals twee robotbewegingen of twee geschreven reacties — en aangeven welke zij de voorkeur geven. Hoewel deze feedback gemakkelijk door mensen te geven is, is het ongelooflijk schaars; een enkele voorkeur biedt slechts een minuscuul beetje informatie. Om een betrouwbaar model te bouwen van wat mensen willen, moet een algoritme duizenden van deze vragen stellen. Als de computer de verkeerde vragen stelt, verspilt hij tijd en geld. Als hij de juiste vragen stelt, leert hij veel sneller. De moeilijkheid ligt in het weten welke vragen het meest informatief zullen zijn. Om dit te doen, moet de computer begrijpen wat hij nog niet weet, een concept dat onzekerheid wordt genoemd. Het berekenen van deze onzekerheid voor enorme, moderne neurale netwerken is echter berucht moeilijk en rekentechnisch duur, omdat het vaak vereist dat er tientallen afzonderlijke modellen worden getraind om slechts een ruwe schatting te krijgen.

Een team onderzoekers aan de University of Southern California heeft een nieuwe aanpak ontwikkeld om deze flessenhals op te lossen, waardoor computers met veel meer snelheid en efficiëntie kunnen leren van menselijke voorkeuren. Ze introduceerden een methode genaamd PreferenceEKF, die het proces van het leren van voorkeuren behandelt als een continu, stapsgewijs filterprobleem in plaats van een enorme, eenmalige berekening. In plaats van te proberen elke mogelijke variatie van een gigantisch neuraal netwerk in één keer in kaart te brengen, realiseerden de onderzoekers zich dat het gedrag van het netwerk nauwkeurig gevolgd kon worden binnen een veel kleinere, lager-dimensionale ruimte. Door hun berekeningen te richten op deze compacte subruimte, konden ze een klassiek wiskundig hulpmiddel, het uitgebreide Kalman-filter (extended Kalman filter), gebruiken om het begrip van het model in realtime bij te werken naarmate er nieuwe antwoorden binnenkomen. Deze techniek stelde hen in staat om duizenden verschillende versies van het beloningsmodel direct te genereren, zonder de zware rekenkosten van het trainen van meerdere onafhankelijke netwerken.

De onderzoekers testten hun methode tegenover verschillende bestaande technieken met behulp van een verscheidenheid aan standaard benchmarks voor robotbesturing en besluitvorming. Ze ontdekten dat hun aanpak niet alleen aanzienlijk sneller was — tot wel veertig keer sneller dan sommige van de meest geavanceerde alternatieven — maar ook nauwkeuriger in zijn voorspellingen. In experimenten waarbij het doel was om een beloningsmodel te leren van een beperkt aantal menselijke vergelijkingen, leerde de nieuwe methode consequent de juiste voorkeuren met minder vragen dan de andere methoden. Bovendien waren de geproduceerde modellen beter gekalibreerd, wat betekent dat het vertrouwen van de computer in zijn antwoorden nauwer overeenkwam met de werkelijke nauwkeurigheid van die antwoorden. Deze precisie is essentieel voor actief leren, waarbij het systeem moet beslissen welke vraag het als volgende stelt; als het systeem onzeker is, stelt het een vraag om die onzekerheid op te lossen, en als het zelfverzekerd is, gaat het verder. De nieuwe methode blonk uit in dit evenwicht, wat leidde tot beloningsmodellen die in staat waren om robotbeleid te trainen om complexe taken uit te voeren, waarbij de prestaties overeenkwamen met die van beleid dat getraind is met veel duurdere en tijdrovendere methoden.

Een van de meest opvallende aspecten van dit werk is hoe het de workflow van het trainen van deze systemen verandert. Traditionele methoden vereisen vaak dat de computer zijn volledige begrip van de wereld opnieuw traint of evalueert telkens wanneer hij nieuwe feedback ontvangt, een proces dat trager wordt naarmate het systeem groter wordt. De nieuwe methode daarentegen werkt zijn kennis sequentieel bij, waarbij alleen de nieuwste informatie wordt opgenomen terwijl een lopende schatting wordt behouden van wat er tot nu toe is geleerd. Dit stelt het systeem in staat om efficiënt te schalen, waarbij grotere neurale netwerken worden afgehandeld en meer monsters van mogelijke beloningsmodellen worden gegenereerd zonder dat het geheugen of de tijd opraakt. De onderzoekers hebben ook aangetoond dat deze aanpak werkt, zelfs wanneer men begint met geen enkele initiële data, door gebruik te maken van een random projectietechniek om de noodzakelijke subruimte vanaf nul op te bouwen, en het toonde veelbelovendheid wanneer het werd toegepast op beeldgebaseerde taken waarbij de invoerdata veel complexer is dan eenvoudige getallen.

Hoewel de methode veelbelovend is, zijn de onderzoekers voorzichtig in het benoemen van de grenzen ervan. Het wiskundige kader dat zij gebruikten, gaat ervan uit dat de voorkeuren die worden geleerd afkomstig zijn van een enkele, consistente bron. Wanneer zij het systeem testten met gegevens van meerdere verschillende menselijke annotatoren die mogelijk conflicterende meningen hadden, had de methode moeite om de volledige complexiteit van die verschillende meningen te vatten. Dit suggereert dat hoewel de aanpak een krachtig hulpmiddel is om het leerproces te stroomlijnen, het het beste geschikt is voor scenario's waarin een enkele, samenhangende set voorkeuren wordt gemodelleerd. Desalniettemin wijzen de resultaten op een belangrijke stap voorwaarts in het toegankelijker maken van kunstmatige intelligentie voor menselijke intentie. Door het proces van leren van feedback sneller en efficiënter te maken, verwijdert dit werk een grote barrière voor de inzet van intelligente systemen in de echte wereld, van gepersonaliseerde aanbevelingen tot autonome robots, waar de kosten van menselijke tijd hoog zijn en de behoefte aan snel en nauwkeurig leren cruciaal is.

Technische Samenvatting: Subspace Inference maakt efficiënt actieve beloningslering uit voorkeuren mogelijk

Probleemstelling

Reinforcement Learning from Human Feedback (RLHF) is een dominante techniek voor het afstemmen van agenten op menselijke intenties, maar het lijdt aan een slechte steekproefefficiëntie. Omdat menselijke voorkeursfeedback maximaal één bit aan informatie per query biedt, vereist het leren van een beloningsmodel (reward model, RM) vaak duizenden vergelijkingen, wat niet schaalbaar is. Active learning pakt dit aan door queries selectief te kiezen om de informatiewinst te maximaliseren. Effectieve active learning vereist echter een robuuste onzekerheidskwantificering (uncertainty quantification, UQ) van het beloningsmodel.

Hoewel Bayesiaanse methoden een principiële representatie van onzekerheid bieden, hebben ze moeite met het schalen naar grote neurale netwerk (NN) beloningsmodellen vanwege de computationele onhaalbaarheid van het uitvoeren van posterior-inferentie over hoogdimensionale parameterruimtes. Daarentegen zijn populaire alternatieven zoals ensemble-methoden en dropout ofwel computationeel duur (het vereist het trainen van meerdere onafhankelijke modellen) of bieden ze een gebrekkige posterior-benadering. De kernuitdaging is het ontwikkelen van een methode die schaalbare, steekproef-efficiënte active learning voor neurale netwerkbeloningsmodellen mogelijk maakt zonder de overhead van het trainen van ensembles.

Methodologie: PreferenceEKF

De auteurs stellen PreferenceEKF voor, een steekproef-efficiënte aanpak die actieve voorkeurslering frameert als een sequentieel Bayesiaans filterprobleem. De methode maakt gebruik van twee belangrijke inzichten:

Sequentiële Filtering: In plaats van batch-training werkt de methode de posterior van het beloningsmodel sequentieel bij naarmate er nieuwe voorkeursqueries arriveren, met behulp van een Extended Kalman Filter (EKF).
Subspace Inference: Door te erkennen dat neurale netwerken overgeparameteriseerd zijn en dat oplossingen vaak in een laagdimensionale subspace liggen, voert de methode EKF-inferentie uit binnen deze subspace in plaats van de volledige parameterruimte.

Technische Workflow

Subspace Constructie:
- Een initiële dataset wordt gebruikt om enkele iteraties Stochastic Gradient Descent (SGD) uit te voeren.
- De resulterende parameteriteraties worden gebruikt om een laagdimensionale subspace te construeren. Dit gebeurt via Singular Value Decomposition (SVD) van de SGD-iteraties om een projectiematrix $A$ te verkrijgen, of alternatief via random projecties.
- De volledige parameterruimte $\theta$ wordt benaderd door een affine mapping $\theta(z) = Az + \theta^*$ , waarbij $z$ de laagdimensionale subspace-parameters vertegenwoordigt ( $|z| \ll |\theta|$ ).
Sequentiële Bayesiaanse Filtering (EKF):
- De methode behandelt neurale netwerkparameters als verborgen toestanden die in de tijd evolueren.
- Dynamisch Model: Gaat uit van een identiteitsfunctie met additieve Gaussische ruis ( $p(\theta_i | \theta_{i-1}) = \mathcal{N}(\theta_i | \theta_{i-1}, U)$ ).
- Meetmodel: Gebruikt het Bradley-Terry (BT) model om voorkeursetiketten te voorspellen op basis van trajectparen. De BT-likelihood wordt gelineariseerd rond de huidige posterior mean om aan het EKF-framework te voldoen.
- Update Stap: Bij ontvangst van een nieuwe query-respons paren $(Q_i, y_i)$ , werkt de EKF de posterior distributie van de subspace-parameters $z$ in gesloten vorm bij. De posterior blijft Gaussisch: $b_i = \mathcal{N}(\mu'_i, \Sigma'_i)$ .
Active Learning Loop:
- De methode samplet een willekeurig aantal modellen uit de geleerde subspace posterior.
- Deze samples worden terug geprojecteerd naar de volledige ruimte om acquisitiefuncties te berekenen. De auteurs maken specifiek gebruik van InfoGain (wederzijdse informatie tussen de query-label en modelparameters) om de meest informatieve query te selecteren.
- In tegenstelling tot ensemble-methoden die op alle data hertrainen, werkt PreferenceEKF alleen op de meest recente query, wat computationeel efficiënt is.

Belangrijkste Bijdragen

Eerste Subspace Filtering voor NN Beloningsmodellen: Het artikel beweert de eerste te zijn die subspace filtering inzet om neurale netwerkbeloningsmodellen te trainen vanuit voorkeursfeedback.
Schaalbare Bayesiaanse Inferentie: Door inferentie te beperken tot een laagdimensionale subspace, maakt de methode de Extended Kalman Filter hanteerbaar voor diepe neurale netwerken, waardoor de $O(|\theta|^2)$ complexiteit van volledige covariantie-matrices wordt vermeden.
Efficiënte Acquisitiefunctie Berekening: Het vermogen om een willekeurig aantal modellen te samplen uit de subspace posterior maakt de schaalbare berekening van InfoGain mogelijk, een state-of-the-art acquisitiefunctie die voorheen beperkt was tot laagdimensionale modellen.
Geen Ensemble Training Overhead: In tegen tegenstelling tot DeepEnsembles vereist PreferenceEKF niet het trainen van meerdere onafhankelijke modellen, wat de runtime en het geheugengebruik aanzienlijk vermindert.

Experimentele Resultaten

De auteurs evalueerden PreferenceEKF op de D4RL en V-D4RL benchmarks over 12 taken met betrekking tot MuJoCo locomotie, Adroit manipulatie en Maze2D navigatie. Ze vergeleken het met vier baselines: DeepEnsemble, Dropout, Laplace Approximation, en Last-Layer MCMC (LLMCMC).

Steekproefefficiëntie: PreferenceEKF presteerde gelijk aan of beter dan alle Bayesiaanse deep learning baselines wat betreft steekproefefficiëntie en de uiteindelijke log-likelihood op held-out test queries.
Runtime en Schaalbaarheid:
- PreferenceEKF behaalde een snelheidswinst van ongeveer 5x vergeleken met DeepEnsemble en meer dan 40x vergeleken met LLMCMC.
- De methode schaalt gracieus met zowel het aantal posterior samples ( $M$ ) als de grootte van de neurale netwerkarchitectuur, terwijl baselines (vooral ensembles) last hebben van geheugenbeperkingen of lineaire schaalingsproblemen.
Kalibratie: PreferenceEKF demonstreerde superieure modelkalibratie, waarbij het de laagste Expected Calibration Error (ECE) behaalde van alle methoden en de op één na laagste Brier score.
Beleidsoptimalisatie: Wanneer de geleerde beloningsmodellen werden gebruikt voor offline reinforcement learning (via Implicit Q-Learning), bereikten de resulterende policies een prestatie die concurrerend was met die getraind met beloningsmodellen van andere methoden, waarbij ze vaak overeenkwamen met of slechts iets onderpresteerden ten opzichte van de ground-truth reward policy.
Robuustheid: De methode bleef effectief, zelfs zonder een initiële warm-up dataset (door random projecties te gebruiken), en toonde veelbelovendheid in sparse feedback settings (echte robotdata) en pixel-gebaseerde taken (met behulp van pretrained image embeddings).

Betekenis en Claims

Het artikel positioneert PreferenceEKF als een levensvatbare oplossing voor het schalen van Bayesiaanse deep learning naar grote neurale netwerkbeloningsmodellen in RLHF. De auteurs beweren dat hun aanpak succesvol de behoefte aan principiële onzekerheidskwantificering balanceert met computationele hanteerbaarheid.

Efficiëntie: De primaire bijdrage is het verbeteren van de steekproefefficiëntie van voorkeursgebaseerde beloningslering, terwijl de computationele kosten van training en inferentie drastisch worden verminderd vergeleken met bestaande Bayesiaanse methoden.
Praktische Bruikbaarheid: De methode maakt het gebruik van hoogdimensionale acquisitiefuncties zoals InfoGain voor neurale netwerken mogelijk, wat voorheen onhaalbaar was.
Beperkingen: De auteurs erkennen bescheiden dat de Gaussische aanname van EKF de methode beperkt tot single-annotator settings (unimodale posteriors) en dat het uitbreiden naar foundation model-schaal beloningsmodellen of multimodale voorkeursverdelingen (bijv. diverse menselijke annotatoren) een openstaand vraagstuk blijft. Ze merken ook op dat hoewel hun beloningsmodellen leiden tot concurrerende policies, de directe correlatie tussen de log-likelihood van het beloningsmodel en de uiteindelijke policy-prestaties complex is en niet gegarandeerd uitsluitend verbeterd wordt door betere beloningslering.

Concluderend toont het artikel aan dat subspace inference via EKF een schaalbare, efficiënte en goed gekalibreerde alternatieve biedt voor ensemble-gebaseerde en andere Bayesiaanse deep learning methoden voor actieve beloningslering uit menselijke voorkeuren.