Soft Guidance Starts to Outperform CoT Prompting as LLMs Improve
Het artikel betoogt dat naarmate grote taalmodellen verbeteren, standaard few-shot Chain-of-Thought prompting vaak de prestaties belemmert door het introduceren van afleidende formaterings- en stijlgrenzen, waardoor eenvoudige zero-shot benaderingen effectiever zijn voor redeneertaken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot leert hoe hij een raadsel moet oplossen. Lange tijd was de beste manier om dit te doen een robot een heleboel voorbeelden laten zien waarbij een mens elke stap van zijn denkproces nauwkeurig had uitgeschreven, als een gedetailleerd recept. Deze methode, genaamd "Chain-of-Thought" prompting, was als het geven van een handleiding aan de robot die zei: "Eerst doe je dit. Dan doe je dat. Ten slotte is hier het antwoord." Het werkte wonderbaarlijk goed voor oudere, simpelere robots die de neiging hadden om gewoon het antwoord te gokken zonder na te denken.
Maar nu hebben we slimmere, meer geavanceerde robots gebouwd. Deze nieuwe modellen hebben zoveel boeken gelezen en zoveel puzzels op eigen kracht opgelost dat ze van nature stap voor stap beginnen te denken, zelfs als je ze geen handleiding geeft. Ze hebben een intern kompas voor logica. De grote vraag waar wetenschappers zich nu over buigen is: Als een robot al weet hoe hij moet denken, heeft hij dan nog steeds onze hulp nodig met een gedetailleerd recept? Of staat dat receptje eigenlijk in de weg, waardoor de robot in de war raakt door te veel regels over hoe hij zijn gedachten moet opschrijven? Dit artikel duikt in die exacte vraag om te zien of onze oude onderwijsmethoden onze nieuwste, slimste studenten nu niet juist tegenhouden.
De "overgestuurde" robot: Wanneer te veel hulp schadelijk is
In dit onderzoek besloten de onderzoekers om enkele van de slimste wiskundige robots die momenteel beschikbaar zijn te testen. Ze wilden zien of de ouderwetse methode van het tonen van voorbeelden (few-shot prompting) nog steeds de beste manier was om goede antwoorden te krijgen, of dat het de robots er eigenlijk slechter in liet presteren.
Denk er zo over na: Stel je voor dat je een meesterkok bent die al jaren kookt. Je weet precies hoe je een perfecte soufflé maakt zonder recept. Stel je nu voor dat iemand je een briefje geeft waarop staat: "Eerst breek je de eieren. Daarna klop je ze los. Daarna bak je ze op 350 graden," en dat diegene erop staat dat je dit exact volgt. Je zou geïrriteerd kunnen raken, of je zou zo gefocust kunnen raken op het perfect volgen van het briefje dat je je eigen kookinstincten vergeet. Je zou zelfs de schotel kunnen verpesten omdat je werd afgeleid door de instructies.
De onderzoekers ontdekten dat dit precies is wat er gebeurt met moderne AI. Wanneer ze deze geavanceerde "redenerings-gespecialiseerde" modellen vroegen om wiskundige problemen op te lossen met de standaardmethode — door hen een paar voorbeelden te tonen van hoe mensen soortgelijke problemen oplosten — presteerden de modellen slechter.
Neem bijvoorbeeld een model genaamd Mathstral. Wanneer de onderzoekers het lieten problemen oplossen zonder enige voorbeelden (een "zero-shot" benadering), had het ongeveer 83,8% van de antwoorden goed. Maar toen ze het de standaard "handleiding" gaven met door mensen geschreven voorbeelden, daalde de score naar ongeveer 74,2%. Dat is een enorm verschil! Het is alsof de robot zo druk was met het kopiëren van de stijl en de opmaak van de voorbeelden, dat hij vergat daadwerkelijk de wiskunde te doen.
Het paper suggereert dat dit gebeurt omdat de standaardvoorbeelden de robot dwingen om zijn stijl aan te passen aan de menselijke voorbeelden. De robot moet zich zorgen maken over de opmaak, het volgen van specifieke zinsstructuren en het passen in een hokje dat niet voor hem gebouwd is. Dit creëert een "begeleidings-afleidings"-trade-off. De begeleiding (de voorbeelden) is bedoeld om te helpen, maar voor deze super slimme modellen wordt het een afleiding die de focus wegtrekt van de kern taak: het oplossen van het probleem.
De "Laat ons denken"-truc: Nog steeds nuttig, maar minder magisch
De onderzoekers testten ook een simpelere truc genaamd "Zero-Shot CoT". Dit is waarbij je helemaal geen voorbeelden laat zien, maar alleen de zin "Laten we stap voor stap denken" aan de vraag toevoegt.
Voor de oudere, algemene robots (zoals het Llama-model) was deze truc nog steeds erg nuttig. Het gaf hun scores een flinke boost en fungeerde als een zachte duw om hun redeneervaardigheden te activeren. Echter, voor de super slimme, redenerings-gespecialiseerde modellen gaf deze truc slechts een kleine verbetering. Voor Mathstral ging het van 83,8% naar 86,1%.
De auteurs stellen dat dit komt omdat deze modellen al zo goed zijn in het stapsgewijs denken, dat ze de duw niet meer zo hard nodig hebben als vroeger. Ze vergelijken dit met de vroege dagen van de informatica, waarin ingenieurs elke functie van een programma handmatig moesten ontwerpen. Uiteindelijk werden computers zo slim dat ze die functies zelfstandig konden leren, waardoor het handmatige ontwerp overbodig werd. Het paper suggereert dat de zin "Laten we stap voor stap denken" begint te lijken op die oude handmatige functies: het was vroeger essentieel, maar nu is het slechts een kleine extra die niet veel verandert.
Waarom de oude manier faalt
Een van de meest verrassende bevindingen was dat zelfs toen de onderzoekers probeerden het probleem op te lossen door voorbeelden te gebruiken die door de modellen zelf waren gegenereerd (zodat de stijl overeenkwam), dit de eenvoudige "geen voorbeelden"-benadering nog steeds niet versloeg voor de slimste modellen.
Het blijkt dat het probleem niet alleen gaat over het feit dat de voorbeelden van mensen zijn; het gaat over de structuur van de voorbeelden. Door het model te dwingen een specifiek patroon te volgen, beperk je het natuurlijke vermogen om het probleem op de manier op te lossen die het beste voor het werkt. Het paper sluit expliciet de mogelijkheid uit dat het tonen van meer voorbeelden of het kiezen van "betere" voorbeelden dit voor de redenerings-gespecialiseerde modellen zal oplossen. Sterker nog, ze ontdekten dat voor de meest geavanceerde modellen, hoe meer je probeert hen te begeleiden met voorbeelden, hoe meer je hen mogelijk tegenhoudt.
De conclusie: Vertrouw op de instincten van de robot
Dus, wat betekent dit voor de toekomst van het testen van AI? De auteurs suggereren dat we de manier waarop we deze modellen meten moeten veranderen. Lange tijd was de standaardtest om het model een paar voorbeelden te laten zien en te kijken hoe goed het die kon kopiëren. Maar dit paper laat zien dat voor de nieuwste, slimste modellen die test onrechtvaardig is. Het is alsoals een racewagenrijder testen door hem in een woonwijk te laten rijden met een maximumsnelheid; het laat zijn werkelijke snelheid niet zien.
In plaats daarvan pleiten de onderzoekers ervoor om de vragen direct aan de modellen te stellen, zonder enige voorbeelden of speciale instructies, en te kijken wat ze op eigen initiatief voortbrengen. Deze "zero-shot" methode geeft een eerlijker beeld van wat het model daadwerkelijk kan.
Het paper beweert niet dat Chain-of-Thought prompting voor altijd dood is. Het kan nog steeds nuttig zijn voor simpelere modellen of voor specifieke taken waarbij het model een beetje hulp nodig heeft. Maar voor de zwaargewichten — de modellen die specifiek zijn ontworpen om te redeneren — is de oude manier van onderwijzen een afleiding aan het worden. Naarmate deze modellen slimmer worden, hebben ze minder begeleiding nodig en meer vrijheid om zelf na te denken. De beste manier om te zien hoe slim ze echt zijn, is misschien wel door simpelweg te stoppen met hun hand vasthouden en hen het puzzelstukje op hun eigen manier te laten oplossen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.