A Descriptive and Normative Theory of Human Beliefs in RLHF

Technische Samenvatting: Een Descriptieve en Normatieve Theorie van Menselijke Overtuigingen in RLHF

Probleemstelling
Reinforcement Learning from Human Feedback (RLHF) modelleert menselijke voorkeuren traditioneel als een functie van de menselijke beloningsfunctie of de optimale staat-actie waarden ($A^*$) van de agent. Standaardbenaderingen, inclusief return-gebaseerde en regret-gebaseerde modellen, gaan ervan uit dat labelaars trajecten evalueren op basis van wat er daadwerkelijk is gebeurd of wat een optimale agent zou kunnen bereiken. Dit werk stelt echter dat menselijke labelaars ook overtuigingen hebben over de werkelijke capaciteiten van de agent die wordt getraind. Als een labelaar aanneemt dat een agent optimaal is wanneer dat niet het geval is (of andersom), kunnen hun voorkeuren leiden tot catastrofale of suboptimale post-RLHF beleid. Het onderzoek onderzoekt twee kernvragen: (1) Beïnvloeden de overtuigingen van menselijke labelaars over de capaciteiten van de agent descriptief de voorkeuren die zij verstrekken? en (2) Normatief gezien, wat is de ideale set overtuigingen die labelaars zouden moeten hebben om de prestaties van het resulterende beleid te maximaliseren?

Methodologie
De auteurs stellen een overtuigingsgebaseerd voorkeursmodel voor en valideren dit via theoretische analyse, synthetische experimenten en een menselijke subjectstudie.

1. Theoretisch Kader:

   • De auteurs definiëren Agent Capability Belief (overtuiging over de capaciteit van de agent) als een $Q$-functie ($Q^{\pi_{belief}}$) die de schatting van de labelaar van het post-RLHF beleid van de agent vertegenwoordigt.
   • Ze introduceren een nieuw voorkeursmodel (Vergelijking 3) waarbij de waarschijnlijkheid van het verkiezen van traject $\sigma^+$ boven $\sigma^-$ wordt bepaald door de advantage-functie $A^{\pi_{belief}}$ in plaats van de optimale advantage $A^*$.
   • Normatief Ideaal: Het papier definieert een normatief ideaal geloof ($Q^{\pi^*_{belief}}$) niet als absolute optimaliteit, maar als de overtuiging die de hoogste verwachte return oplevert voor het best haalbare post-RLHF beleid gegeven de beperkingen van de agent (bijv. beperkingen in functie-approximatie, ruisende actuatoren).
   • Theoretische Grenzen: De auteurs leiden een formele grens af (Stelling 4.3) op het prestatieverlies van het post-RLHF beleid als functie van de "agent-labelaar discrepantie" ($\delta$), gedefinieerd als de grootte van het verschil tussen de optimale overtuiging en de werkelijke overtuiging van de labelaar. De grens laat zien dat de verwachte return lineair degradeert met de grootte van deze discrepantie.

2. Synthetische Experimenten:

   • De auteurs voerden experimenten uit in een GridWorld-domein waar de capaciteiten van de agent werden beperkt door een $\epsilon$-greedy ruisparameter ($\epsilon$).
   • Labelaars-overtuigingen werden gemanipuleerd door de aangenomen ruisniveau ($\epsilon'$) te variëren die werd gebruikt om synthetische voorkeuren te genereren.
   • De studie mat de verwachte return van het getrainde beleid over een matrix van de ware agent-ruis ($\epsilon$) en de aangenomen labelaar-ruis ($\epsilon'$).

3. Menselijke Subjectstudie:

   • Domein: Een zelfrijdende auto simulatie (CARLA).
   • Interventie: Deelnemers werden toegewezen aan drie condities: (1) Controle (geen priming), (2) Veilige Priming (kijken naar een video van een auto die veilig en competent rijdt), en (3) Onveilige Priming (kijken naar een video van een auto die drift en crasht).
   • Taak: Deelnemers gaven voorkeuren over paren riject trajecten, waarbij ze kozen tussen snellere/risicovollere paden en langzamere/veiligere paden.
   • Analyse: De studie gebruikte sentimentanalyse (via GPT-4) op vrije tekstfeedback met betrekking tot de capaciteiten van de auto en statistische toetsing (Kruskal-Wallis en Dunn's test) op Likert-schaal voorkeursdata om te bepalen of priming de overtuigingen en daaropvolgende voorkeuren heeft verschoven.

Kernbijdragen

1. Illustratie van Discrepantie: Het papier demonstreert dat een slechte overeenstemming tussen de overtuigingen van een labelaar en de werkelijke capaciteiten van een agent kan leiden tot suboptimale beleid, zelfs wanneer de labelaar handelt op basis van hun (onjuiste) overtuigingen die "rationeel" zijn.
2. Normatieve Theorie: Het definieert een normatief ideaal voor labelaar-overtuigingen dat relatief is aan het haalbare prestatieplafond van de agent, in plaats van absolute optimaliteit, en biedt een theoretische grens op de regret veroorzaakt door afwijkingen van dit ideaal.
3. Empirische Validatie van de Invloed van Overtuigingen: De menselijke studie bevestigt dat de overtuigingen van mensen over de capaciteiten van een agent de voorkeursgeneratie aanzienlijk beïnvloeden. Specifiek veranderde priming van deelnemers met informatie over de capaciteiten van de auto (veilig versus onveilig) statistisch significant hun voorkeuren.
4. Suboptimaliteit van het Aannemen van Optimaliteit: Synthetische experimenten laten zien dat het aannemen van een optimale agent (de standaard regret-gebaseerde benadering) vaak suboptimal is wanneer de agent inherente prestatiebeperkingen heeft (bijv. hoge ruis).

Resultaten

• Theoretisch: De afgeleide grens (Vergelijking 4) stelt dat de verwachte return van het post-RLHF beleid wordt ondergrenst door de optimale return minus een term proportioneel aan de agent-labelaar discrepantie ($\delta / (1-\gamma)$).
• Synthetisch: In de GridWorld-experimenten werden de hoogste beleids-returns bereikt wanneer de aangenomen ruis van de labelaar ($\epsilon'$) nauw aansloot bij de ware ruis van de agent ($\epsilon$). Het aannemen van een optimale agent ($\epsilon'=0$) wanneer de agent ruisig was ($\epsilon=0.3$ of $0.5$), resulteerde in aanzienlijk lagere returns, omdat de agent risicovolle gedragingen leerde die hij niet veilig kon uitvoeren.
• Menselijke Studie:
  • Overtuigingen: Sentimentanalyse van de vrije tekstreacties toonde aan dat de deelnemers in de groep "onveilige priming" een aanzienlijk lager vertrouwen hadden in de capaciteiten van de auto vergeleken met de "veilige priming" groep.
  • Voorkeuren: Statistische analyse onthulde een significant verschil ($p=0.015$) in voorkeuren tussen de veilige en onveilige priming groepen. Deelnemers die geprimed waren met onveilig gedrag waren eerder geneigd om veiligere, langzamere trajecten te verkiezen, terwijl zij die geprimed waren met veilig gedrag eerder bereid waren om risicovollere, snellere trajecten te accepteren.
  • Conclusie: Menselijke voorkeuren zijn niet statisch; ze worden beïnvloed door de overtuigingen van de labelaar over de huidige capaciteiten van de agent.

Betekenis en Claims
Het papier claimt dat het verminderen van de mismatch tussen menselijke overtuigingen en agent-capaciteiten cruciaal is voor het verbeteren van RLHF-prestaties. Het betoogt dat de standaard aanname van labelaar-rationaliteit gebaseerd op absolute optimaliteit onvoldoende is wanneer agenten imperfect zijn. De auteurs suggereren dat beoefenaars de overtuigingen van labelaars actief moeten beheren om ze af te stemmen op de werkelijke capaciteiten van de agent.

Het papier stelt twee specifieke best practices voor:

1. Labelaars Informeren: Het direct communiceren van bekende beperkingen van de agent (bijv. databeperkingen, fysieke limieten) naar labelaars vóór de gegevensverzameling.
2. Intermitterende Priming: Het gebruik van online voorkeurscollectie-loops waarbij labelaars worden blootgesteld aan het huidige beleid van de agent (via demonstraties) om hun overtuigingen continu bij te werken.

De auteurs benadrukken dat deze kalibratie "waarheidsgetrouw" moet zijn (representatief voor het werkelijke on-policy gedrag) om manipulatie te voorkomen. Ze concluderen dat hoewel hun theoretische grenzen zijn afgeleid in tabular settings en hun menselijke studie een proof-of-concept is, de resultaten wijzen op een noodzakelijke verschuiving in RLHF best practices: het behandelen van menselijke overtuigingen als een variabele die moet worden afgestemd op de agent-realiteit om veilige en effectieve alignment te garanderen.