BayesPrompt: human readable prompts that make sense

In het snel evoluerende landschap van kunstmatige intelligentie is een bijzonder fenomeen opgedoken waarbij computers leren spreken in een taal die mensen niet kunnen begrijpen. Grote taalmodellen, de krachtige motoren achter moderne chatbots en schrijfassistenten, hebben een opmerkelijke vaardigheid aangetoond die in-context leren wordt genoemd. Dit betekent dat ze nieuwe taken kunnen oplossen, van het vertalen van talen tot het oplossen van wiskundige problemen, simpelweg door een paar voorbeelden te lezen die in een tekstvak zijn geplaatst, zonder dat ze opnieuw getraind hoeven te worden of hun interne instellingen gewijzigd hoeven te worden. De sleutel tot het ontsluiten van deze vaardigheid ligt in de prompt, de specifieke set instructies of voorbeelden die in de machine worden gevoed. Lange tijd gingen onderzoekers ervan uit dat de beste manier om een perfect antwoord te krijgen, het formuleren van een prompt was die natuurlijk en grammaticaal correct klonk, net zoals een mens het zou schrijven. Echter, een verrassende ontdekking zette deze aanname op zijn kop: de meest effectieve prompts voor deze machines zijn vaak korte, betekenisloze reeksen woorden die voor een menselijke lezer lijken op wartaal. Deze "pseudoprompts" kunnen veel efficiënter zijn in het sturen van het model naar het juiste antwoord dan welke zin ook die een mens zou kunnen componeren, wat een vreemde kloof creëert tussen wat werkt voor de machine en wat zinvol is voor de mens.

Deze disconnect vormt een aanzienlijke uitdaging voor iedereen die deze hulpmiddelen betrouwbaar probeert te gebruiken. Als de beste manier om met een computer te praten via een code van willekeurige tokens verloopt, wordt het moeilijk om te vertrouwen op, te debuggen of te begrijpen waarom de machine op een bepaalde manier handelt. Onderzoekers van de International School for Advanced Studies in Italië en het Flatiron Institute in New York hebben nu een nieuwe manier voorgesteld om deze kloof te overbruggen. Zij stellen dat de reden dat we deze onbegrijpelijke prompts krijgen, is dat het wiskundige probleem dat gebruikt wordt om ze te vinden, incompleet is. Door de zoektocht naar een prompt niet alleen te behandelen als een spel om de hoogste score te vinden, maar als een proces van redeneren met waarschijnlijkheid, hebben zij een methode ontwikkeld die prompts produceert die zowel zeer effectief als perfect leesbaar zijn. Hun werk suggereert dat het geheim van het praten met deze machines niet is om het menselijk taalgebruik op te geven, maar om een andere soort statistisch denken te gebruiken om de juiste woorden te vinden.

De onderzoekers begonnen met het onderzoeken van de vraag waarom bestaande methoden er niet in slagen om leesbare prompts te produceren. Huidige technieken gedragen zich vaak als een wandelaar die probeert het laagste punt in een uitgestrekte, mistige vallei te vinden door alleen naar de grond direct onder zijn voeten te kijken. Ze zoeken naar een reeks woorden die de verwarring van het model, of "perplexity", over het antwoord minimaliseert. Hoewel dit goed werkt voor het vinden van een oplossing, negeert het het feit dat menselijke taal specifieke regels en patronen volgt. Zonder een gids die de zoektocht binnen het domein van natuurlijke spraak houdt, dwaalt het algoritme af naar vreemd gebied en stelt het tokens samen die de machine geweldig vindt, maar die mensen niet kunnen ontcijferen. De auteurs realiseerden zich dat ze dit moesten oplossen door een "prior" toe te voegen, een statistische voorkeur voor zinnen die klinken als normaal Engels, in het zoekproces. Dit zorgt ervoor dat het algoritme niet zomaar elke oplossing vindt, maar een die de structuur van de menselijke taal respecteert.

Om dit op te lossen, herformuleerde het team het volledige probleem met behulp van een raamwerk dat bekend staat als Bayesiaanse inferentie. In plaats van simpelweg te jagen op de enkelvoudige beste prompt, behandelden ze de taak als een proces van het bemonsteren uit een uitgestrekt landschap van mogelijkheden. Stel je voor dat je de beste route door een complexe stad probeert te vinden; in plaats van alleen de kortste route op een kaart te kiezen en te hopen dat deze werkt, verken je vele verschillende routes en weegt je de waarschijnlijkheid van de juistheid van elke route af tegen hoe natuurlijk het pad aanvoelt. De onderzoekers gebruikten een geavanceerde bemonsteringstechniek genaamd Markov Chain Monte Carlo om de ruimte van mogelijke vragen te verkennen. Deze methode stelt de computer in staat om kleine, willekeurige wijzigingen aan een zin aan te brengen — een woord verwisselen, een zinsnede toevoegen of een token verwijderen — en vervolgens te beslissen of hij die wijziging behoudt op basis van twee factoren: hoe goed de nieuwe zin tot het juiste antwoord leidt, en hoe vloeiend en natuurlijk de zin klinkt.

Een cruciaal onderdeel van hun succes was hoe ze de zoektocht begonnen. In plaats van te beginnen met een willekeurige brij van woorden, wat er lang over zou doen om in een coherente zin te veranderen, gebruikten ze een "reverse language model". Dit is een speciale versie van het computerprogramma die getraind is om zinnen achterstevoren te lezen. Door het model het antwoord te voeden en het te vragen de vraag in omgekeerde volgorde te genereren, konden ze een hoogwaardig startpunt creëren dat al grammaticaal correct was. Deze "warm start" gaf het bemonsteringsproces een voorsprong, waardoor de computer al met een begrijpelijke zin aan de slag ging voordat hij begon met zijn gedetailleerde optimalisatie. De onderzoekers testten deze aanpak op een grote dataset van open-domein vragen en antwoorden, waarbij ze hun methode vergeleken met de standaardtechnieken die de onsamenhangende pseudoprompts produceren.

De resultaten toonden een duidelijk en onderscheidend voordeel voor hun nieuwe methode. Terwijl de traditionele optimalisatietechnieken prompts produceerden die ofwel zeer zeker waren van het antwoord maar volledig onleesbaar waren, ofwel vloeiend maar ineffectief, bereikte de nieuwe bemonsteringsaanpak een werkelijk evenwicht. De prompts gegenereerd door het algoritme van de onderzoekers waren bijna even effectief in het verkrijgen van het juiste antwoord als de best mogende door machines gegenereerde prompts, terwijl ze voor een mens volledig begrijpelijk bleven. Wanneer de onderzoekers de kwaliteit van de vragen evalueerden, presteerde hun methode consequent beter dan de andere in termen van grammatica en plausibiliteit. De traditionele methoden produceerden vaak tekstreeksen die eruitzagen als een mix van verschillende talen en formateringstekens, terwijl de nieuwe methode zinnen produceerde die de structuur en logica van de oorspronkelijke menselijke vragen behielden.

De studie benadrukte ook dat de keuze van hoe men de zoektocht start, aanzienlijk uitmaakt. Wanneer de onderzoekers hun nieuwe "warm start"-techniek toepasten op de oudere, standaardmethoden, verbeterden die methoden in termen van vloeiendheid, maar slaagden ze er nog steeds niet in het evenwicht te bereiken dat de nieuwe bemonsteringsaanpak behaalde. De oudere methoden neigden er ofwel naar om te veel te optimaliseren voor het antwoord, waarbij de leesbaarheid werd opgeofferd, of ze vonden het antwoord helemaal niet. De nieuwe methode vond daarentegen consistent prompts die precies in het ideale middengebied lagen tussen een goede vraag voor een mens en een perfecte instructie voor een machine. Dit suggereert dat het probleem niet alleen een gebrek aan rekenkracht of betere algoritmen was, maar een fundamenteel onbegrip van hoe de zoektocht naar prompts geframed moet worden.

Door aan te tonen dat effectieve prompts niet onbegrijpelijk hoeven te zijn, biedt dit werk een pad naar een meer transparante en betrouwbare kunstmatige intelligentie. Het laat zien dat de vreemde, buitenaardse taal van de meest efficiënte prompts geen noodzakelijk kenmerk van deze modellen is, maar eerder een bijproduct van hoe we hen hebben gevraagd te leren. De aanpak van de onderzoekers bewijst dat het mogelijk is om instructies te ontwerpen die zowel statistisch optimaal zijn voor de machine als perfect helder voor de mens. Dit opent de deur naar een toekomst waarin we met deze krachtige hulpmiddelen kunnen communiceren met behulp van natuurlijke taal, in de wetenschap dat de instructies die we geven zowel door de machine worden begrepen als voor ons begrijpelijk zijn. Het werk beweert niet dat het elk probleem in de kunstmatige intelligentie heeft opgelost, maar het biedt een concrete, geteste methode om de interactie tussen mens en machine coherenter en betrouwbaarder te maken.