Prompt Robustness Is Task-Dependent: Comparing Objective and Belief-Style Questions in LLM Evaluation
Dit artikel toont aan dat de robuustheid van grote taalmodellen tegenover variaties in prompts significant afhankelijk is van het type taak, waarbij modellen verschillende niveaus van stabiliteit vertonen bij het beantwoorden van objectieve vragen vergeleken met subjectieve vragen over waarden en overtuigingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert te achterhalen wat een zeer slimme, maar licht zenuwachtige robot over de wereld denkt. Je stelt het een vraag en de robot geeft je een antwoord. Je gaat ervan uit dat dat antwoord een solide weerspiegeling is van zijn "overtuigingen".
Dit artikel is een soort realiteitscheck. De onderzoekers vroegen zich af: "Maakt het uit hoe we de vraag stellen?"
Ze kwamen tot de conclusie dat het antwoord een luid JA is. Sterker nog, de manier waarop je een vraag stelt, kan het antwoord van de robot volledig veranderen, en dit gebeurt veel vaker wanneer de vraag over meningen gaat (zoals politiek of waarden) dan wanneer het over feiten gaat (zoals wiskunde of wetenschap).
Hier is de uitslag van hun bevindingen met behulp van eenvoudige analogieën:
1. De twee soorten vragen
De onderzoekers testten de robots met twee verschillende soorten "testen":
- De Factentest (Objectief): Dit zijn als een wiskundetoets. "Wat is 2 + 2?" Er is slechts één juist antwoord (4). Als de robot "5" zegt, heeft hij het gewoon fout.
- De Menintest (Subjectief): Dit zijn als een persoonlijkheidsenquête. "Houd je meer van zomer of winter?" Er is geen enkel juist antwoord. De robot wordt geacht te vertellen wat hij "voelt".
2. De "Vormveranderende" Prompt
De onderzoekers stelden de vragen niet slechts één keer. Ze stelden exact dezelfde vraag op veel verschillende manieren, zoals een goochelaar die de truc net iets anders uitvoert om te zien of het konijn nog steeds verschijnt.
- Ze veranderden de formulering (door synoniemen te gebruiken).
- Ze veranderden het formaat (door woorden dikgedrukt te maken, de witruimte aan te passen).
- Ze husselden de volgorde van de antwoorden (door "Zomer" eerst te zetten in plaats van "Winter").
- Ze voegden zelfs kleine spelfouten toe om te zien of de robot in de war raakte.
3. De Grote Ontdekking: Meningen zijn "Wobbelig"
De belangrijkste resultaat was dat de robots veel minder stabiel waren bij het beantwoorden van meningvragen dan bij feitenvragen.
- De Factentest: Als je op tien verschillende manieren vroeg "Wat is 2+2?", zei de robot bijna altijd "4". Het was als een rots; moeilijk te bewegen.
- De Menintest: Als je op tien verschillende manieren vroeg "Houd je van de zomer?", kon de robot bij de ene versie "Ja" zeggen en bij een andere versie "Nee". Het was als een gelei; het wiebelde en veranderde van vorm afhankelijk van hoe je ertegenaan duwde.
4. Het "Stoelwissel"-effect
De onderzoekers ontdekten één specifieke truc die de robots het meest de draad kwijtraakten: het veranderen van de volgorde van de antwoorden.
Stel je een meerkeuzevraag voor waarbij de antwoorden worden opgesomd als A, B, C, D.
- Als je ze omwisselt zodat de volgorde D, C, B, A is, kiest de robot vaak een andere letter, zelfs als de woorden hetzelfde zijn.
- Dit gebeurde veel meer bij meningvragen. Het is alsof de robot dacht: "Oh, het antwoord staat nu bovenaan? Dan zal dat wel degene zijn dat ze willen dat ik kies!" in plaats van daadwerkelijk na te denken over de inhoud.
5. Waarom dit ertoe doet
Het artikel waarschuwt ons dat we een enkel antwoord van een robot niet kunnen vertrouwen als bewijs voor zijn "overtuigingen".
- De Analogie: Stel je voor dat je een vriend vraft: "Houd je van pizza?" Hij zegt "Ja". Je schrijft dat op als een feit over hem. Maar dan stel je hem dezelfde vraag, maar dit keer lijst je "Pizza" als laatste optie op een menu op, en hij zegt "Nee".
- De Conclusie: Je kunt niet zeggen dat je vriend "van pizza houdt" of "niet van pizza houdt" op basis van slechts één gesprek. Je moet hem op veel verschillende manieren vragen om te zien of zijn antwoord hetzelfde blijft.
De Kernboodschap
Het artikel concludeert dat als we willen weten wat een AI "gelooft" over politiek of waarden, we niet simpelweg één vraag kunnen stellen en het antwoord voor waar aan kunnen nemen. We moeten het testen met vele verschillende versies van de vraag. Als de robot van mening verandert alleen maar omdat we de woorden hebben verplaatst, dan weten we eigenlijk helemaal niet wat hij gelooft — we weten alleen hoe hij reageert op de manier waarop we de vraag stelden.
Kortom: De "persoonlijkheid" van de robot is fragiel. Het verandert afhankelijk van de vorm van de vraag, vooral wanneer de vraag over gevoelens gaat in plaats van over feiten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.