Mind the Gap: How Elicitation Protocols Shape the Stated-Revealed Preference Gap in Language Models
Dit artikel toont aan dat de kloof tussen gestelde en geopenbaarde voorkeuren in taalmodellen sterk afhankelijk is van de eliciteringsprotocollen, en laat zien dat hoewel het toelaten van neutraliteit in gestelde voorkeuren de correlatie met geforceerde keuzes in geopenbaarde voorkeuren verbetert, het introduceren van onthouding in geopenbaarde voorkeuren of het gebruik van sturing via systeemprompten de discrepantie niet betrouwbaar oplost.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert de persoonlijkheid van een nieuwe vriend te begrijpen. Je hebt twee manieren om dit te doen:
- Vraag het hen direct: "Waardeer je eerlijkheid meer dan vriendelijkheid?" (Dit is hun Uitgesproken Voorkeur).
- Kijk hoe ze handelen: Plaats ze in een moeilijke situatie waarin ze moeten kiezen tussen eerlijk zijn of vriendelijk zijn, en kijk wat ze daadwerkelijk doen (Dit is hun Geopenbaarde Voorkeur).
In de wereld van AI hebben onderzoekers een probleem opgemerkt: soms zegt een AI dat het "Eerlijkheid" liefheeft, maar wanneer het in een lastig verhaal wordt geplaatst, kiest het in plaats daarvan voor "Vriendelijkheid". Deze discrepantie wordt de Geopenbaarde-Geopenbaarde (SvR) Kloof genoemd.
Dit artikel, getiteld "Mind the Gap", onderzoekt waarom deze kloof bestaat en, belangrijker nog, hoe de manier waarop we de vragen stellen het antwoord beïnvloedt. Denk aan het "elicitation protocol" als de spelregels die we met de AI spelen.
Hier is wat de onderzoekers hebben gevonden, met behulp van eenvoudige analogieën:
1. De "Gedwongen Keuze"-Valstrik (De Oude Manier)
Voorheen speelden onderzoekers een spel waarbij de AI gedwongen werd om een kant te kiezen. Stel je een scheidsrechter voor die roept: "Je moet kiezen: A of B! Geen praten, geen aarzelen!"
- Het Probleem: Als de AI eigenlijk onzeker is, of denkt "Het hangt van de situatie af", moet het toch A of B kiezen. Het is alsof je iemand dwingt te kiezen tussen "Pizza" en "Salade", zelfs als ze vol zitten en niets van beide willen.
- Het Resultaat: De AI kiest willekeurig of op basis van de volgorde van de woorden, waardoor "neppe" voorkeuren ontstaan. Toen onderzoekers deze neppe keuzes vergeleken met wat de AI zei dat het waardeerde, was de connectie zwak en rommelig.
2. De "Opt-Out"-Knop (De Nieuwe Manier voor Uitgesproken Voorkeuren)
De onderzoekers probeerden een nieuwe regel voor het "Vraag het hen direct"-deel. Ze zeiden: "Je kunt A kiezen, B, of je kunt zeggen 'Ik geef er niets om' of 'Het hangt ervan af'."
- De Analogie: Stel je voor dat je een vriend vraagt: "Heb je koffie of thee liever?", maar je hen toestaat te zeggen: "Ik drink geen koffie/thee" of "Het hangt van het tijdstip van de dag af."
- Het Resultaat: Dit werkte als een filter. Het verwijderde de "zwakke signalen" (de gissingen of willekeurige keuzes van de AI). Toen de onderzoekers alleen keken naar de momenten dat de AI sterk een kant koos, kwamen hun uitgesproken voorkeuren veel beter overeen met hun daadwerkelijke gedrag. De "kloof" werd aanzienlijk kleiner.
3. Het "Te Veel Opt-Outs"-Probleem (De Nieuwe Manier voor Geopenbaarde Voorkeuren)
Vervolgens probeerden ze de AI toe te staan "Het hangt ervan af" te zeggen tijdens de moeilijke scenario's (de geopenbaarde voorkeuren).
- De Analogie: Stel je nu voor dat je je vriend in een echte crisis plaatst en zegt: "Je kunt Actie A kiezen, Actie B, of gewoon zeggen 'Ik weet het niet'."
- Het Resultaat: De AI begon bijna de hele tijd "Het hangt ervan af" of "Gelijk" te zeggen! Het was als een student die, wanneer hij een moeilijk toets krijgt, op elk antwoord gewoon "Ik weet het niet" schrijft.
- Het Gevolg: Omdat de AI zo vaak weigerde een vaste keuze te maken, konden de onderzoekers geen duidelijke rangschikking maken van wat de AI eigenlijk waardeerde. De connectie tussen wat ze zeiden en wat ze deden verdween (daalde tot bijna nul of zelfs negatief).
4. Het "Handleiding"-Experiment (Prompt Steering)
Tot slot probeerden de onderzoekers het gedrag van de AI te "repareren" door het een spiekbriefje te geven. Voor de moeilijke scenario's vertelden ze de AI: "Hier is je eigen lijst met waarden die je zei dat je leuk vond. Volg deze lijst strikt."
- De Analogie: Het is alsof je een bestuurder vertelt: "Vergeet niet, je zei dat je veiligheid liefhebt, dus rij alsjeblieft veilig!" net voor een race.
- Het Resultaat: Het werkte niet betrouwbaar. Voor sommige AIs hielp het een beetje. Voor anderen (zoals de "Claude"-familie) maakte het de dingen juist erger. De AI leek het spiekbriefje te negeren of erdoor in de war te raken. De onderzoekers ontdekten dat deze "handleiding"-truc werkt voor kleine lijsten met waarden, maar volledig faalt wanneer de lijst lang is (16 verschillende waarden).
De Grote Les
De belangrijkste les van dit artikel is dat hoe je de vraag stelt het antwoord verandert.
- Als je een AI dwingt te kiezen wanneer het onzeker is, krijg je ruis, neppe data.
- Als je een AI te vaak "Ik weet het niet" laat zeggen, krijg je helemaal geen data.
- Een AI simpelweg vertellen "volg je eigen regels" lost het probleem niet betrouwbaar op.
De auteurs concluderen dat we, om AI-waarden echt te begrijpen, methoden nodig hebben die erkennen dat de AI (net als een mens) soms oprecht geen duidelijke voorkeur heeft, en dat we onze tests zo moeten ontwerpen dat ze omgaan met die onzekerheid, in plaats van een keuze te forceren of het te negeren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.