The Unsampled Truth: Psychometrics in SLMs Measure Prompt Artifacts, Not Psychological Constructs
Dit artikel toont aan dat psychometrische assessments met behulp van kleine taalmodellen vaak worden gedreven door prompt-artefacten en gehoorzaamheid in plaats van door werkelijke semantische redenering, hoewel de auteurs een diagnostisch kader voorstellen om deze artefacten te isoleren voor toekomstig onderzoek.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je de persoonlijkheid van een robot probeert te meten met een standaard menselijke vragenlijst. Je vraagt aan de robot: "Ben je extravert?" en de robot antwoordt: "Ja." Je denkt misschien: "Geweldig! Deze robot is een extravert."
Maar dit artikel betoogt dat je waarschijnlijk wordt gefopt. De robot antwoordt niet op basis van zijn "persoonlijkheid" of zijn begrip van de vraag. In plaats daarvan antwoordt hij op basis van hoe de vraag op de pagina staat geschreven.
Hier is de uiteenzetting van de bevindingen van het paper met behulp van een eenvoudige analogie:
De "Menukaart"-analogie
Stel je een restaurant voor waar de chef (de AI) een gerecht moet bereiden op basis van jouw specifieke smaakvoorkeuren (de "persona" of persoonlijkheid).
- Het experiment: De onderzoekers vroegen 13 verschillende chefs om hetzelfde gerecht te bereiden voor dezelfde klant. Echter, ze veranderden de menukaart telkens een klein beetje.
- Soms gebruikten ze cijfers voor de opties (1, 2, 3, 4, 5).
- Soms gebruikten ze letters (A, B, C, D, E).
- Soms gebruikten ze Romeinse cijfers (I, II, III, IV, V).
- Soms veranderden ze het lettertype of de volgorde van de instructies.
- De verwachting: Als de chefs echt kookten op basis van de smaak van de klant, zou het gerecht er elke keer ongeveer hetzelfde uit moeten zien, ongeacht of de menukaart cijfers of letters gebruikte.
- De realiteit: De gerechten veranderden drastisch. Wanneer de menukaart letters gebruikte, maakte de chef een pittig gerecht. Wanneer de menukaart cijfers gebruikte, maakte hij iets zoets. Wanneer de instructies net iets anders waren geformuleerd, negeerde de chef de smaak van de klant volledig en volgde hij simpelweg de opmaalsregels op.
Wat de onderzoekers vonden
1. De "Prompt" is de echte chef
De studie testte 13 verschillende AI-modellen (variërend van klein tot middelgroot). Ze ontdekten dat voor de meeste van deze modellen de formattering van de prompt (de "menukaart") veel belangrijker was dan de betekenis van de vraag.
- Als je de antwoordopties veranderde van "A-E" naar "1-5", zou de "persoonlijkheidsscore" van de AI wild fluctueren.
- De AI dacht niet: "Ik ben een introvert." De AI dacht: "Oh, de vraag gebruikt letters, dus ik moet optie C kiezen."
2. Grotere modellen zijn niet noodzakelijkerwijs slimmer
Je zou kunnen denken: "Als we de AI groter en slimmer maken, zal hij deze stomme fouten stoppen te maken."
- De onderzoekers testten modellen tot 14 miljard parameters (een zeer grote omvang).
- Het resultaat: Zelfs de grote modellen werden nog steeds gemakkelijk misleid door de formattering. Ze gaven nog steeds prioriteit aan de "vorm" van de vraag boven de "betekenis" van de vraag.
3. De "ruis" overstemt het "signaal"
In de wetenschap is het "signaal" de werkelijke waarheid die je probeert te meten (de persoonlijkheid). De "ruis" is de fout die wordt veroorzaakt door hoe de vraag wordt gesteld.
- Het paper vond dat in deze AI-modellen de ruis luider is dan het signaal.
- Het antwoord van de AI is vooral een reflectie van het ontwerp van de prompt (het "artefact"), en niet een reflectie van een gesimuleerde menselijke psychologie.
Waarom dit ertoe doet (volgens het paper)
De auteurs zeggen dat als onderzoekers deze AI-modellen nu gebruiken om menselijke enquêtes of persoonlijkheidstests te simuleren, ze de prompt meten, niet de persoon.
- Het risico: Als een onderzoeker één letter in zijn instructies verandert, kan hij een compleet ander "persoonlijkheidsprofiel" voor dezelfde AI krijgen. Dit maakt de resultaten onbetrouwbaar.
- De conclusie: We kunnen deze AI-modellen momenteel niet vertrouwen om ons iets te vertellen over de menselijke psychologie, omdat ze te gevoelig zijn voor de "triviale" details van hoe de vraag geschreven is.
Wat het paper niet zegt
Het paper zegt niet dat AI nooit in staat zal zijn om dit te doen, noch zegt het dat AI nutteloos is voor alles. Het stelt specifiek dat onder de huidige prompting-methoden, de resultaten worden gedomineerd door formatteringstrucs in plaats van werkelijk redeneren.
Ze suggereren dat voordat we AI voor psychologische testen kunnen vertrouwen, we deze "formatteringsbugs" moeten oplossen zodat de AI luistert naar de betekenis van de vraag, en niet alleen naar de vorm van de vraag. Tot die tijd is de "persoonlijkheid" van de AI slechts een spiegel die het ontwerp van de prompt van de onderzoeker reflecteert.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.