Influencing Humans to Conform to Preference Models for RLHF

Dit paper introduceert drie interventies die de expressie van menselijke voorkeuren beïnvloeden om beter te overeenkomen met de aannames van RLHF-algoritmen, zonder de onderliggende beloningsfunctie van de mens te veranderen, waardoor de kwaliteit van de voorkeursdata en de uiteindelijke uitlijning worden verbeterd.

De kern

Titel: Hoe we mensen kunnen "trainen" om betere instructies te geven aan AI

Stel je voor dat je een zeer slimme, maar nog onwetende robot wilt leren hoe hij een auto moet besturen. Je wilt dat de robot veilig en snel naar zijn bestemming rijdt. Maar hoe vertel je dit aan de robot? Je kunt niet zomaar de code van de auto herschrijven. In plaats daarvan kijk je naar twee routes die de robot heeft geprobeerd en zeg je: "Deze route was beter dan die andere."

Dit proces heet RLHF (Reinforcement Learning from Human Feedback). De robot leert van jouw keuzes om te begrijpen wat jij wilt.

Het probleem is echter: Jij en de robot spreken niet dezelfde taal.

Jij denkt misschien: "Ik wil de snelste route." Maar de robot denkt misschien: "Ik moet de route kiezen die de minste bochten heeft," of "Ik moet de route kiezen waar ik de meeste munten heb opgepikt." Als de robot denkt dat jij op basis van snelheid kiest, maar jij eigenlijk op basis van veiligheid kiest, dan leert de robot het verkeerde. De robot wordt dan een perfecte, maar onveilige chauffeur.

De auteurs van dit paper zeggen: "Wacht even. Misschien is het niet de robot die het verkeerd heeft, maar zijn wij de mensen die onze voorkeuren op de verkeerde manier uiten."

In plaats van te proberen de robot een nieuwe manier van denken aan te leren, proberen ze ons (de mensen) te trainen om onze voorkeuren op een manier te uiten die de robot beter begrijpt. Ze noemen dit het "influenceren" van menselijke voorkeuren.

Hier zijn de drie manieren waarop ze dit hebben gedaan, vertaald in alledaagse termen:

1. De "Super-Geleide" Methode (Het Privileged Experiment)

Stel je voor dat je een quiz speelt, maar de antwoorden staan al op je voorhoofd geschreven.
In dit experiment kregen de mensen tijdens het kiezen van de beste route direct de cijfers te zien die de robot gebruikt. Ze zagen precies hoeveel "punten" (beloning) elke route opleverde.

• Het resultaat: Omdat ze de cijfers zagen, maakten ze precies de keuzes die de robot verwachtte. Het was alsof we de robot de antwoorden gaven.
• De les: Als mensen precies weten wat de robot meet, kunnen ze perfect meespelen. Maar in het echte leven hebben we die cijfers niet, dus dit is alleen een bewijs dat het kan.

2. De "Trainer" Methode (Het Trained Experiment)

Hier kregen de mensen geen cijfers te zien, maar kregen ze wel les.
Stel je voor dat je een speler bent die altijd kiest op basis van "wie het snelst is". De trainer zegt: "Nee, nee! Kijk niet naar de snelheid. Kijk naar hoeveel tijd je bespaart ten opzichte van de perfecte speler."
Ze leerden de mensen een nieuwe manier van denken (een nieuw "preference model").

• Het resultaat: Als ze in hetzelfde spel bleven, luisterden ze goed en gaven ze de juiste antwoorden.
• De valkuil: Als ze die nieuwe manier van denken leerden in een spel met auto's, en ze moesten het dan toepassen in een nieuw spel met ruimteschepen, werden ze moe en verward. De hersenen waren overbelast. Ze konden de nieuwe regel niet meer onthouden in het nieuwe spel.
• De les: Training werkt goed, maar als het te complex is (zoals "spijt" berekenen in plaats van "snelheid"), raken mensen het snel kwijt als de situatie verandert.

3. De "Vraag" Methode (Het Question Experiment)

Dit is de slimste en makkelijkste methode. Ze veranderden niets aan de training en gaven geen cijfers. Ze veranderden alleen de vraag die ze stelden.

• Oude vraag: "Welke route vind jij het mooist?" (Te vaag).
• Nieuwe vraag (voor snelheid): "Welke route heeft de beste directe uitkomst?"
• Nieuwe vraag (voor optimaliteit): "Welke route toont de beste beslissing?"
• Het resultaat: Door de vraag anders te stellen, schakelden de mensen automatisch op een andere manier van denken. Ze gaven antwoorden die beter pasten bij wat de robot nodig had, zonder dat ze er hard over hoefden na te denken.
• De les: Soms hoef je niet te herscholen; je hoeft alleen maar de vraag anders te stellen om de juiste antwoorden te krijgen.

Waarom is dit belangrijk?

Vroeger dachten onderzoekers: "Mensen hebben een vaste mening. We moeten gewoon die mening verzamelen."
Dit paper zegt: "Nee, de manier waarop we een vraag stellen of hoe we iemand trainen, bepaalt welke mening ze geven."

Het is alsof je een fotograaf bent. Als je vraagt "Maak een foto van de boom", krijg je een foto van de boom. Maar als je vraagt "Maak een foto van de boom in de zon", krijg je een heel andere foto. De boom (de menselijke mening) is hetzelfde, maar de vraag (de interface) verandert het resultaat.

Conclusie:
Als we AI willen laten leren wat wij echt willen, moeten we niet alleen betere algoritmes bouwen. We moeten ook betere spellen, vragen en trainingen ontwerpen voor de mensen die de AI trainen. Door de interface aan te passen, kunnen we ervoor zorgen dat mensen hun keuzes maken op een manier die de AI het makkelijkst kan begrijpen.

Kortom: We kunnen mensen niet veranderen, maar we kunnen wel de manier waarop ze hun gedachten uiten, zo vormgeven dat de machine het beter begrijpt.

Technische samenvatting

Titel: Mensen beïnvloeden om te conformeren aan voorkeursmodellen voor RLHF

Auteurs: Stephane Hatgis-Kessell (Stanford), W. Bradley Knox (UT Austin), Serena Booth (Brown), Peter Stone (UT Austin, Sony AI).

---

1. Het Probleem

Reinforcement Learning from Human Feedback (RLHF) is een centrale techniek voor het aligneren van agenten met menselijke voorkeuren. Het proces vereist echter een voorkeursmodel (preference model) om de onwaarneembare beloningsfunctie van de mens te benaderen.

• De mismatch: RLHF-algoritmen maken vaak aannames over hoe mensen voorkeuren genereren (bijv. gebaseerd op partiële return, spijt/regret, of verandering in verwachte return). Er is echter vaak een discrepantie tussen het model dat het algoritme gebruikt en de manier waarop mensen daadwerkelijk voorkeuren uitspreken.
• Het gevolg: Als het voorkeursmodel slecht beschrijft hoe mensen beslissingen nemen, leidt dit tot een slechte benadering van de menselijke beloningsfunctie en uiteindelijk tot een slecht gealigneerde agent.
• Huidige aanpak: Bestaand werk probeert dit op te lossen door betere beschrijvende modellen te vinden die beter passen bij menselijk gedrag.
• Nieuwe invalshoek: Dit artikel stelt een prescriptieve aanpak voor in plaats van een beschrijvende. In plaats van het model aan te passen aan de mens, passen ze de interface en training aan om de mens te beïnvloeden zodat hun voorkeuren beter conformeren aan het gekozen model van het algoritme.

2. Methodologie

De auteurs voeren menselijke studies uit in sequentiële besluitvormingstaken (grid-world delivery tasks) om drie interventies te testen die mensen kunnen leiden naar specifieke voorkeursmodellen. Ze richten zich op drie modellen:

1. Partiële Return (Partial Return): Mensen kiezen de trajectsegmenten met de hoogste som van beloningen.
2. Spijt (Regret): Mensen kiezen segmenten die het minst afwijken van optimaal gedrag (minimale spijt).
3. Verandering in Verwachte Return (Change-in-Expected-Return): Gebaseerd op de verwachte uitkomsten van een segment in plaats van alleen de beslissingen binnen het segment.

De drie geteste interventies zijn:

A. PRIVILEGED Experiment (Proof of Concept)

• Methode: Tijdens het verzamelen van voorkeuren krijgen proefpersonen expliciete informatie over de statistieken van het doelmodel (bijv. de exacte berekening van spijt of partiële return) getoond.
• Doel: Bewijzen dat menselijke voorkeuren beïnvloed kunnen worden als de benodigde informatie beschikbaar is.
• Beperking: Dit is niet direct toepasbaar in de praktijk omdat het de "ground-truth" beloningsfunctie vereist, die in realiteit onbekend is.

B. TRAINED Experiment (Praktische Interventie)

• Methode: Proefpersonen worden getraind om een specifiek voorkeursmodel te begrijpen en toe te passen. Ze leren hoe ze de statistieken (zoals spijt of score) moeten berekenen en krijgen feedback tijdens oefeningen.
• Variatie: Er is ook een TRAINED-DIFF-DOMAIN variant waarbij mensen in domein A worden getraind, maar hun voorkeuren in een visueel en structureel verschillend domein B moeten uitspreken.
• Doel: Kijken of training mensen ertoe brengt hun voorkeuren consistent te baseren op het gekozen model, zelfs zonder directe feedback over de beloningsfunctie.

C. QUESTION Experiment (Interface Design)

• Methode: De training wordt weggelaten; in plaats daarvan wordt alleen de vraagstelling tijdens het verzamelen van voorkeuren aangepast om een bepaalde denkwijze te stimuleren.
  • Voor Partiële Return: "Welk pad heeft de beste directe uitkomsten?"
  • Voor Regret: "Welk pad reflecteert betere besluitvorming?"
• Doel: Kijken of subtiele taalveranderingen in de interface voldoende zijn om voorkeuren te sturen.

3. Belangrijkste Resultaten

De resultaten worden samengevat in Tabel 1 van het paper en tonen aan dat interventies significant effect hebben:

• PRIVILEGED: Het tonen van de statistieken leidt tot een zeer sterke conformiteit met het doelmodel. De verzamelde datasets hebben een hogere waarschijnlijkheid onder het doelmodel dan de controlegroep. Dit resulteert in het leren van beloningsfuncties die bijna optimaal gedrag induceren.
• TRAINED (Zelfde Domein): Training is effectief. Mensen die zijn getraind in een specifiek model (bijv. spijt) geven voorkeuren die significant beter conformeren aan dat model. Dit leidt tot beter gealigneerde beloningsfuncties.
  • Nuance: Bij het trainen in Regret was de cognitieve last hoog. In de DIFF-DOMAIN variant (trainen in domein A, testen in B) faalde de training voor het Regret-model (proefpersonen waren te vermoeid), maar slaagde het wel voor het Partiele Return-model (eenvoudiger te berekenen).
• QUESTION: Het aanpassen van de vraagstelling heeft een bescheiden maar significant effect, vooral voor het Partiele Return-model in deterministische omgevingen. In stochastische omgevingen (met tunnels/willekeurige teleportatie) was het effect minder consistent, maar het toont aan dat zelfs minimale interface-aanpassingen invloed hebben.

Kernbevinding: Mensen kunnen systematisch worden beïnvloed om hun voorkeuren te uiten volgens een specifiek wiskundig model, zelfs als hun onderliggende beloningsfunctie (wat ze echt waarderen) ongewijzigd blijft.

4. Bijdragen

1. Nieuwe Onderzoeksdirection: De paper introduceert een nieuw paradigma in RLHF: in plaats van alleen het algoritme aan te passen aan de mens, kunnen we de mens (via interface en training) aanpassen aan het algoritme.
2. Praktische Tools: Het biedt concrete methoden (training en vraagstelling) om de kwaliteit van voorkeursdata te verbeteren, wat leidt tot betere reward learning.
3. Empirisch Bewijs: Het levert bewijs dat de mismatch tussen mens en model kan worden verkleind door de expressie van voorkeuren te sturen, wat de prestaties van de uiteindelijke agent verbetert.
4. Inzicht in Cognitieve Last: Het onthult dat complexe modellen (zoals Regret) moeilijker te trainen zijn voor mensen, vooral bij domeinoverdracht, en dat eenvoudiger modellen (Partiële Return) robuuster zijn.

5. Betekenis en Toekomst

De studie heeft grote implicaties voor de toekomst van RLHF, vooral voor Large Language Models (LLMs) en robotten die lange termijn beslissingen moeten nemen:

• Data Kwaliteit: De kwaliteit van de data die RLHF-algoritmen ontvangen is niet statisch; deze kan worden geoptimaliseerd door het verzamelingproces te ontwerpen.
• Schaalbaarheid: Het "QUESTION"-experiment suggereert dat we voorkeursdata kunnen sturen zonder dure training van annotatoren, alleen door de interface slim te ontwerpen.
• Flexibiliteit: Onderzoekers kunnen nu kiezen voor een wiskundig wenselijk model (bijv. Regret voor theoretische garanties) en vervolgens de menselijke input zo sturen dat deze daarop past, in plaats van te worstelen met een model dat slecht past bij menselijk gedrag.

Kortom, dit werk positioneert interface-ontwerp en menselijke training als essentiële, maar vaak onderbelichte componenten in de RLHF-pijplijn om betere en meer voorspelbare AI-systemen te creëren.