Technische Samenvatting: Impliciete Veiligheidsuitlijning vanuit Menigtevoorkeuren

Probleemstelling

Reinforcement Learning (RL)-agenten vertrouwen op beloningsfuncties om doelen te bereiken, maar het specificeren van beloningen die het gewenste gedrag volledig vastleggen – met name impliciete veiligheidsbeperkingen – is berucht moeilijk. In complexe scenario's richten ontwerpers zich vaak op taakvoltooiing terwijl ze onbedoeld veiligheidsaspecten verwaarlozen (bijvoorbeeld het handhaven van veiligheidsmarges of het vermijden van agressief gedrag), wat leidt tot gevaarlijk agentgedrag.

Hoewel Reinforcement Learning from Human Feedback (RLHF) is ontwikkeld om agenten uit te lijnen met menselijke voorkeuren, gaan de meeste bestaande methoden uit van één enkele, verenigde set van gebruikerswaarden. In de praktijk komt voorkeursdata vaak voort uit een "menigte" gebruikers met diverse taakdoelen en gedragspatronen. Deze gebruikers delen echter vaak impliciete veiligheidscriteria (bijvoorbeeld het vermijden van onveilige toestanden), ondanks hun verschillende doelen. De kernuitdaging die in dit werk wordt aangepakt, is hoe deze gedeelde, latente veiligheidscriteria kunnen worden ontdekt uit heterogene menigtevoorkeursdata en worden overgedragen aan downstream-taken waar alleen taakbeloningen beschikbaar zijn die veiligheidsaspecten negeren.

De auteurs identificeren een beperking in de "naïeve" aanpak van het simpelweg combineren van een beloningsmodel dat is geleerd uit menigtevoorkeuren met een downstream-taakbeloning. Theoretische en empirische analyses tonen aan dat deze aanpak van beloningscombinatie lijdt aan twee kritieke problemen:

1. Gebruikersspecifieke Bias: Het geleerde beloningsmodel vangt niet alleen gedeelde veiligheidscriteria op, maar ook gebruikersspecifieke componenten. Als de menigtedataset onevenwichtig is (bijvoorbeeld omdat één gebruiker de meerderheid van de data bijdraagt), wordt het geleerde model bevooroordeeld ten opzichte van de doelen van die specifieke gebruiker, wat de prestaties op andere taken verslechtert.
2. Gevoeligheid voor Weging: De prestaties zijn zeer gevoelig voor de afwegingsfactor tussen de voorkeursgeleerde beloning en de taakbeloning, waardoor de methode moeilijk te tunen is.

Methodologie: Veilige Menigtevoorkeursgebaseerde RL

Om deze beperkingen te overwinnen, stellen de auteurs Veilige Menigtevoorkeursgebaseerde Reinforcement Learning voor, een hiërarchisch raamwerk dat vaardigheden componeert in plaats van beloningen te combineren. De methodologie bestaat uit drie hoofdfasen:

1. Vaardigheidsontdekking uit Menigtevoorkeuren

In plaats van één enkele globale beloning te leren, modelleert het raamwerk diverse door gebruikers gewenste gedragingen als laag-niveau vaardigheden.

• Latente Variabele Inference: Aangezien de ware gebruikerscontext $z$ (die specifieke voorkeuren bepaalt) niet wordt waargenomen, gebruikt de methode een Variational Auto-Encoder (VAE) om een latente variabele $z'$ af te leiden uit de menigtevoorkeursdata. Deze $z'$ dient als proxy voor de onderliggende gebruikerscontext.
• Latent-Geconditioneerde Leer: Het raamwerk leert een beloningsfunctie die is geconditioneerd op $z'$, namelijk $r_\phi(s, a, z')$, of leert direct een beleid dat is geconditioneerd op $z'$, namelijk $\pi_\theta(a|s, z')$.
  • Safe-VPL: Gebruikt een Variational Preference Learning (VPL)-benadering met een Bradley-Terry-model om een beloning te leren die is geconditioneerd op $z'$, gevolgd door offline RL (bijvoorbeeld IQL) om het laag-niveau beleid te leren.
  • Safe-CPL: Een nieuwe variant die Contrastive Preference Learning (CPL) integreert in het VPL-raamwerk. Het leert direct het latent-geconditioneerde beleid $\pi_\theta(a|s, z')$ zonder een expliciet tussenstadium van beloningslering, waardoor instabiliteit in RL-optimalisatie wordt vermeden.

2. Samenstelling van Hoog-niveau Beleid

Voor een nieuwe downstream-taak met een veiligheidsneutrale beloning $r_{new}$ wordt een hoog-niveau beleid $\pi_h(z'|s)$ getraind om de geleerde laag-niveau vaardigheden samen te stellen.

• Actiekeuze: Het hoog-niveau beleid voert een latente variabele $z'$ uit, die een specifieke laag-niveau vaardigheid $\pi_l(a|s, z')$ indexeert om de uiteindelijke actie te genereren.
• Veiligheidsovererving: Aangezien alle laag-niveau vaardigheden zijn geleerd uit menigtevoorkeuren, coderen ze inherent de gedeelde veiligheidscriteria (bijvoorbeeld het vermijden van onveilige staat-actieparen). Door de agent te beperken tot het samenstellen van deze vaardigheden, wordt veiligheid afgedwongen zonder expliciete veiligheidssignalen in de downstream-taak.
• Regularisatie: Om te voorkomen dat het hoog-niveau beleid vaardigheden buiten de verdeling selecteert die tot onveilig gedrag kunnen leiden, wordt een regularisatieterm toegepast om de geselecteerde latente variabele dicht bij de prior-verdeling te houden die is geleerd uit de menigtedata.

3. Downstream Training

Het hoog-niveau beleid wordt getraind om de downstream-taakbeloning $r_{new}$ te maximaliseren, terwijl het zich houdt aan de beperkingen die worden opgelegd door de ruimte van laag-niveau vaardigheden. Dit kan zowel online (met interactie) als offline (met alleen bestaande datasets) worden uitgevoerd.

Belangrijkste Bijdragen

1. Probleemformulering: Het artikel formaliseert het probleem van het overdragen van gedeelde veiligheidsdoelen vanuit heterogene menigtevoorkeuren naar downstream-taken, en identificeert de beperkingen van directe beloningscombinatie onder voorkeursonevenwichtigheid.
2. Theoretische Analyse: De auteurs leveren theoretische bewijzen die aantonen dat:
   • Een enkel beloningsmodel dat is geleerd uit menigtedata veilige trajecten zal prefereren boven onveilige, mits de veiligheidsstraf voldoende groot is (Stelling 4.2).
   • Echter, als de menigtedata onevenwichtig is, de rangschikking van de geleerde beloning aligneert met de specifieke doelen van de meerderheidsgebruiker, wat leidt tot prestatiedegradatie (Stelling 4.3).
   • De voorgestelde aanpak van vaardigheidscompositie veiligheid garandeert als de laag-niveau beleidsregels optimaal zijn met betrekking tot hun geconditioneerde nut (Corollarium A.6).
3. Algoritmisch Raamwerk: Het voorstellen van een hiërarchisch raamwerk (Safe-VPL en Safe-CPL) dat vaardigheidsontdekking ontkoppelt van taakoptimalisatie, waardoor het hergebruik van veiligheidsuitgelijnd gedrag over diverse taken mogelijk wordt.
4. Empirische Validatie: Uitgebreide experimenten in zes Safe RL-omgevingen (Reach, Run, Circle, Ant-vel, Swimmer-vel, HalfCheetah-vel) en een proof-of-concept Large Language Model (LLM) conversatietaken.

Experimentele Resultaten

De methode werd geëvalueerd tegenover diverse baselines, waaronder Oracle-methoden (getraind met grondwahrheid veiligheidssignalen), Task-Only (alleen taakbeloningen optimaliseren), Safety-Only Preference Learning (SOPL) en Reward Combination (RC).

• Veiligheidsprestaties: De voorgestelde methoden (Safe-VPL en Safe-CPL) verminderden de veiligheidskosten aanzienlijk in vergelijking met Task-Only baselines. In de offline setting daalden de gemiddelde genormaliseerde veiligheidskosten van 1,0 (Task-Only) naar ongeveer 0,02–0,03, vergelijkbaar met Oracle-methoden.
• Taaoprestaties: De aanpak bereikte taakprestaties die vergelijkbaar waren met Oracle-methoden en presteerde significant beter dan Reward Combination (RC)-methodes, vooral in onevenwichtige voorkeurssettings.
• Robuustheid tegen Onevenwichtigheid: Terwijl de RC-prestaties sterk degradeerden wanneer één gebruiker de meerderheid van de data bijdroeg (wegbewegend van de Oracle-grens), bleef de voorgestelde vaardigheidscompositiemethode robuust en dicht bij Oracle-prestaties, ongeacht de voorkeursonevenwichtigheid.
• LLM Evaluatie: In een vereenvoudigde taalgebaseerde bandit-setting slaagde de methode erin schadelijke antwoorden te vermijden terwijl sterke taakprestaties werden behaald, terwijl Task-Only agenten vaak schadelijke antwoorden selecteerden om de beloning te maximaliseren.

Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het aantonen dat impliciete veiligheidsdoelen kunnen worden ontdekt en overgedragen vanuit menigtevoorkeuren zonder dat expliciete veiligheidsbeloningen of demonstraties nodig zijn.

• Hergebruik van Data: De aanpak maakt het hergebruik van menigtevoorkeursdata over taken mogelijk, zelfs wanneer die voorkeuren niet zijn verzameld voor een specifieke downstream-taak, wat potentieel de kosten van herhaalde menselijke feedbackcollectie verlaagt.
• Mitigeren van Uitdagingen bij Beloningsontwerp: Door impliciete veiligheidssignalen te benutten, adresseert de methode het veelvoorkomende probleem van onvolledige of verkeerd gespecificeerde door mensen ontworpen beloningen.
• Schaalbaarheid: Het raamwerk gaat ervan uit dat menigtevoorkeuren een gedeeld consensus over veiligheid weerspiegelen. Hoewel de auteurs erkennen dat real-world ruis of adversariale feedback dit kunnen uitdagen, betogen ze dat hun methode een robuuste manier biedt om veilige gedragingen te leren in domeinen waar veiligheidspecificaties moeilijk formeel te definiëren zijn.

De auteurs houden een bescheiden standpunt, waarbij ze opmerken dat hun experimenten vertrouwen op synthetisch geannoteerde voorkeuren die zijn gegenereerd uit grondwahrheid beloningen in plaats van natuurlijk menselijke feedback, en dat toekomstig werk nodig is om de aanpak te valideren tegen ruisigere, real-world menselijke data.