Instruction-Tuned Language Models Cannot Sample from Distributions They Can Describe
Dit artikel onthult dat met instructies afgestemde taalmodellen er niet in slagen om werkelijk te samplen uit responsdistributies, maar in plaats daarvan vervallen in deterministische outputs door alignment-training, terwijl ze deze distributies wel accuraat kunnen beschrijven in een enkele aanroep, een "KNOWS/DOES"-kloof die een aanzienlijk nauwkeurigere simulatie van menselijke enquêtegegevens mogelijk maakt door middel van distributiebeschrijving of prompt-perturbatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je de toekomst probeert te voorspellen door een kristallen bol een miljoen vragen te stellen. In de wereld van kunstmatige intelligentie zijn wetenschappers begonnen "Large Language Models" (LLM's) te gebruiken als die kristallen bol. In plaats van echte mensen te vragen wat zij vinden van politiek, films of de economie, vragen onderzoekers de AI om verschillende soorten mensen te imiteren—zoals een "tiener uit Ohio" of een "leraar met pensioen uit Florida." Dit wordt "silicon sampling" genoemd. Het idee is simpel: als je de AI vraagt om duizend verschillende mensen te spelen, zou het je duizend verschillende antwoorden moeten geven, net zoals een echte menigte dat zou doen. Door al die antwoorden bij elkaar op te tellen, kun je raden wat de hele populatie denkt. Het is alsoals proberen de smaak van een enorme ijssalon te raden door een hapje te proeven van elke individuele klant.
Maar hier zit de crux: om dit te laten werken, moet de AI in staat zijn om elke keer dat je een vraag stelt "met de dobbelstenen te gooien." Als je een echte tiener vraagt: "Houd je van pizza?", kan die vandaag "Ja" zeggen en morgen "Nee", of misschien gooit hij in zijn hoofd gewoon een muntje. De AI hoort hetzelfde te doen: een fris, willekeurig antwoord genereren elke keer dat je op "verzenden" klikt. Als de AI niet echt met de dobbelstenen kan gooien—als de AI vast blijft zitten op één antwoord, ongeacht hoe vaak je het vraagt—dan stort het hele experiment in. Je kunt de smaak van de ijssalon niet raden als de eerste klant die je vraagt "Chocolade" zegt en de AI elke volgende van de 999 klanten dwingt om ook "Chocolade" te zeggen.
Dit is precies wat een team onderzoekers aan de KAIST ontdekte. Ze ontdekten dat de AI-modellen die we vandaag de dag gebruiken een vreemde glitch hebben: ze zijn er verschrikkelijk in om daadwerkelijk willekeurige steekproeven (sampling) te nemen, ook al zijn ze uitstekend in het vertellen van hoe een willekeurige verdeling eruit ziet. Het is als een goochelaar die perfect kan beschrijven hoe een kaartspel wordt geschud, maar wanneer hem gevraagd wordt om een willekeurige kaart te trekken, altijd de Speren A trekt.
De onderzoekers noemden dit de "KNOWS/DOES split" (WETEN/DOEN-splitsing). Het model WET het antwoord. Als je het vraagt: "Welk percentage mensen verkiest optie A boven optie B?", kan het de perfecte, nauwkeurige wiskunde geven. Maar het model DOET het niet. Als je het vraft om een persoon te spelen en één antwoord te geven, stort het in. In plaats van een verscheidenheid aan reacties te geven, blijft het hangen op één enkel, repetitief antwoord.
Om dit te bewijzen, voerden de wetenschappers een reeks tests uit. Ze vroegen de AI om een willekeurig getal tussen 1 en 100 te kiezen. Je zou verwachten dat de antwoorden overal verspreid zouden zijn. In plaats daarvan koos de AI in 78% van de gevallen het getal 42! Wanneer ze het de AI vroegen om te kiezen tussen twee opties met een 70/30-verdeling, gaf de AI geen mix; de AI koos elke keer de optie van 70%. Het was alsof de AI een kapotte interne dobbelsteen had die aan één kant vastgeplakt zat.
Het team heeft ook ontdekt waarom dit gebeurt. Ze vergeleken de "slimme" versies van deze AI-modellen (die getraind zijn om instructies op te volgen en behulpzaam te zijn) met hun "ruwe" versies (die nog niet geleerd hebben om te chatten). De ruwe modellen waren veel beter in het gooien met de dobbelstenen. De "slimme" modellen waren echter getraind om zo consistent en behulpzaam te zijn, dat ze het vermogen om willekeurig te zijn verloren. Het is een bijproduct van het proberen te maken van een goede leerling; de AI leerde altijd het "juiste" antwoord te geven, zelfs wanneer de taak was om willekeurig te zijn.
Dus, wat kunnen we doen als we deze AI-modellen voor enquêtes willen gebruiken? De onderzoekers vonden twee slimme trucs.
Ten eerste, als je alleen de algemene mening van een menigte wilt weten (de "populatieschatting"), vraag de AI dan niet om 100 verschillende mensen te imiteren. Vraag de AI in plaats daarvan één vraag: "Als je 100 mensen deze vraag zou stellen, hoe zouden de resultaten eruitzien?" De AI is erg goed in het beschrijven van de verdeling. Toen ze deze "Describe Pathway" (Beschrijvingsroute) probeerden, daalde de fout in hun voorspellingen met meer dan de helft vergeleken met de oude methode van het vragen aan de AI om veel verschillende mensen te imiteren.
Ten tweede, als je echt die 100 verschillende individuele antwoorden nodig hebt (missal voor een videogame waarbij elk personage een unieke persoonlijkheid moet hebben), kun je niet gewoon dezelfde vraag 100 keer stellen. De AI zal zichzelf dan simpelweg herhalen. In plaats daarvan hebben de onderzoekers een methode uitgevonden genaamd "Prompt-Perturbed Argyle" (PPA). Dit houdt in dat je de manier waarop je de vraag stelt elke keer een klein beetje verandert—zoals de volgorde van de antwoordopties te veranderen, de bewoording van de vraag aan te passen, of de plaatsing van de "personage"-beschrijving te verplaatsen. Deze kleine veranderingen zijn genoeg om de gebroken dobbelsteen van de AI te "schudden", waardoor hij telkens een ander antwoord geeft. Deze simpele truc verminderde de fout met 21% zonder dat het extra geld of tijd kostte.
Kortom, het artikel vertelt ons dat hoewel AI geweldig is in het beschrijven van hoe de wereld werkt, het momenteel verschrikkelijk is in het imiteren van een willekeurig persoon in de wereld. Maar door deze eigenaardigheid te begrijpen, kunnen we deze krachtige hulpmiddelen nog steeds gebruiken om goede antwoorden te krijgen; we moeten ze alleen op de juiste manier vragen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.