Three Models of RLHF Annotation: Extension, Evidence, and Authority
Dit artikel stelt voor om onderscheid te maken tussen drie conceptuele modellen van menselijke annotatoren in RLHF—uitbreiding, bewijs en autoriteit—om het ontwerp van effectievere annotatiepijplijnen te sturen door datacollectie- en aggregatiestrategieën af te stemmen op de specifieke normatieve rol die voor elke dimensie van modeluitlijning vereist is.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme robot bouwt die verhalen kan schrijven, vragen kan beantwoorden en met mensen kan chatten. Je hebt het geleerd om te spreken door het miljoenen boeken te voeden, maar nu is de robot een beetje wild. Het zegt soms onbeleefde dingen, liegt of geeft slecht advies. Om dit op te lossen, huur je een team van menselijke "redacteuren" in om de robot te vertellen wat goed en wat slecht is. Dit proces heet RLHF (Reinforcement Learning with Human Feedback).
Het artikel van Steve Coyne betoogt dat we, wanneer we deze menselijke redacteuren inhuren, vaak in de war raken over waarom we ze inhuren. Zijn ze er om onze ideeën na te bootsen? Om ons feiten te vertellen die we niet kennen? Of om de uiteindelijke wet voor ons te maken?
Coyne suggereert dat er drie onderscheiden manieren zijn om naar deze menselijke redacteuren te kijken, en dat het door elkaar halen ervan ervoor zorgt dat de robot in de war raakt en zich slecht gedraagt.
Hier zijn de drie modellen, uitgelegd met eenvoudige analogieën:
1. Het Uitbreidingsmodel: "De Schaduwkloon"
Het Idee: In dit model zijn de menselijke redacteuren er om de ontwerpers van de robot na te bootsen.
De Analogie: Stel je voor dat je een chef-kok bent die een sous-chef wilt leren je handtekeninggerecht te koken. Je wilt niet dat de sous-chef zijn eigen unieke draai eraan geeft of vraagt wat de klanten leuk vinden. Je wilt dat ze het eten proeven en zeggen: "Ja, dit smaakt precies zoals ik het zou hebben gemaakt." Als de sous-chef zegt: "Ik denk dat er wat meer zout bij moet", maar jij vindt het perfect, dan negeer je hen.
Hoe het werkt: De redacteuren zijn gewoon uitbreidingen van het brein van het ontwerpteam. Ze zijn er om de gaten op te vullen wanneer de ontwerpers te druk zijn om elk enkel antwoord te controleren.
- Goed voor: Het bepalen van de toon, stijl of bedrijfsspecifieke regels van de robot.
- De Valstrik: Als je ze zo behandelt, maar je boos wordt wanneer ze het niet eens zijn met de "gemeenschap", dan ben je in de war.
2. Het Bewijsmodel: "De Deskundige Getuige"
Het Idee: In dit model zijn de redacteuren er om feiten of gegevens te verstrekken die de ontwerpers niet hebben.
De Analogie: Stel je voor dat je een rechter bent in een rechtszaal, maar je weet niets over een specifiek type zeldzame vis. Je huurt een marien bioloog in als deskundige getuige. Je vraagt: "Is deze vis giftig?" De bioloog zegt: "Ja, op basis van mijn kennis is dat zo." Je moet naar hen luisteren, zelfs als je persoonlijk denkt dat het er veilig uitziet. Hun taak is om je bewijs te geven over de waarheid.
Hoe het werkt: De redacteuren zijn experts of vertegenwoordigers van het publiek die de ontwerpers vertellen: "Eigenlijk vinden de meeste mensen dit beledigend," of "Dit feit is onjuist." De ontwerpers mogen hen niet overrulen alleen omdat ze het niet eens zijn; de redacteuren verstrekken gegevens.
- Goed voor: Controleren of de robot feitelijk accuraat is of of het algemene sociale normen schendt (zoals "is dit beledigend?").
- De Valstrik: Als je ze behandelt als experts, maar ze vervolgens ontslaat omdat ze het niet eens zijn met je persoonlijke mening, dan verlies je de waarde van hun expertise.
3. Het Autoriteitsmodel: "De Mini-Wetgevende Macht"
Het Idee: In dit model hebben de redacteuren de macht om de regels te maken, ongeacht of ze in feitelijke zin "goed" of "fout" zijn.
De Analogie: Stel je voor een dorpsvergadering waar een groep willekeurig geselecteerde burgers stemt over een nieuwe wet. Ze hoeven geen experts te zijn op het gebied van verkeer; ze hoeven alleen maar de mensen te vertegenwoordigen. Als ze stemmen om de snelheidslimiet te verlagen, moet de stad gehoorzamen, niet omdat de burgers "slimmer" zijn dan de burgemeester, maar omdat ze de autoriteit hebben om namens de gemeenschap te beslissen.
Hoe het werkt: De redacteuren fungeren als een "mini-wetgevende macht". Hun taak is niet om de waarheid te vinden of de ontwerper na te bootsen; het is om het recht uit te oefenen om te beslissen wat de robot moet doen. Hun macht komt voort uit het feit dat ze een eerlijke, representatieve steekproef van de bevolking vormen.
- Goed voor: Beslissen over controversiële politieke kwesties of diepe morele vragen waar geen enkel "correct" antwoord is, alleen wat de gemeenschap beslist.
- De Valstrik: Als je ze behandelt als een wetgevende macht, maar vervolgens hun stem negeert omdat deze niet overeenkomt met je persoonlijke mening, dan verbreek je het "sociale contract" van het systeem.
Waarom breekt het door elkaar halen van deze modellen de robot?
Het artikel betoogt dat de meeste huidige AI-systemen een rommelige mix zijn van alle drie, wat leidt tot faalmodi:
- Zelfvernietiging: Stel je voor dat je redacteuren huurt om te fungeren als een "Mini-Wetgevende Macht" (Autoriteit) om het publiek te vertegenwoordigen. Maar vervolgens ontsla je elke redacteur die het niet eens is met je persoonlijke mening (Uitbreiding). Je hebt hetgeen je hebt gevraagd vernietigd: een representatieve stem. Je kunt geen democratie hebben waar de leider kiezers kan ontslaan die tegen hen stemmen.
- Fragmentatie: Stel je voor dat je de redacteuren vertelt: "Jullie zijn hier om ons feiten te geven" (Bewijs), maar je instructies zijn vaag, dus denken ze dat je gewoon wilt dat ze je stijl kopiëren (Uitbreiding). Het resultaat is een hoop verwarrende gegevens waar sommige redacteuren proberen experts te zijn en anderen klonen. De robot krijgt een gemengd signaal en leert niets bruikbaars.
- Verkeerde Toedeling (De "Verantwoordelijkheidswassen"): Dit is wanneer een bedrijf zegt: "We laten het publiek beslissen wat de robot zegt!" (Autoriteit), maar in werkelijkheid ontslaan ze in het geheim iedereen die het niet met hen eens is (Uitbreiding). Ze proberen de schuld voor slecht robotgedrag te verschuiven naar het "publiek", terwijl ze in feite alle controle behouden.
Het Grote Advies van de Auteur
Steve Coyne suggereert dat we stoppen met het proberen om één enkele pijplijn te bouwen om alles te doen. In plaats daarvan moeten we verschillende pijplijnen bouwen voor verschillende taken:
- Voor Stijl: Gebruik het Uitbreidingsmodel. Laat de ontwerpers beslissen of de robot enthousiast of serieus moet klinken.
- Voor Feiten: Gebruik het Bewijsmodel. Huur experts in om de robot te vertellen wat waar is.
- Voor Controversiële Waarden: Gebruik het Autoriteitsmodel. Laat een representatieve groep mensen stemmen over wat de robot moet doen in lastige morele situaties.
De Conclusie:
Het bouwen van een nuttige AI is niet alleen een technisch probleem; het is een filosofisch probleem. Voordat je je menselijke redacteuren huurt, moet je beslissen: Zijn het je klonen, je experts of je wetgevers? Als je er niet één duidelijk kiest, zal je robot uiteindelijk in de war raken, inconsistent zijn en mogelijk onrechtvaardig.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.