Simplicity Paradox: Debunking myths about prompting and datasets for LLM evaluation
Dit artikel daagt de aanname uit dat geavanceerde prompting-technieken de prestaties van Large Language Models verbeteren door via een uitgebreide empirische studie aan te tonen dat baseline prompting consequent beter presteert dan complexe methoden, waarbij slechts minimale expert- of inductieve inkadering lichte verbeteringen oplevert, wat suggereert dat het vakgebied prioriteit moet geven aan echte modelvooruitgang boven prompt engineering.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robot probeert te leren hoe hij een puzzel moet oplossen. Een tijdje geloofde iedereen dat de enige manier om een goed antwoord te krijgen, was door de robot een zeer lange, ingewikkelde reeks instructies te geven. Mensen dachten: "Als ik de robot vertel om stap voor stap na te denken, een kaart te tekenen of zich voor te stellen dat hij een specifieke expert is, zal hij slimmer worden." Het is alsof je tegen een leerling zegt: "Geef niet alleen antwoord; schrijf eerst een essay van vijf paragrafen over hoe je je voelt voordat je de juiste letter kiest." Dit idee werd zo populair dat onderzoekers steeds complexere "prompting"-trucs gingen bouwen, uitgaande van de veronderstelling dat hoe uitgebreider de instructies, hoe beter de robot zou presteren. Maar wat als de robot eigenlijk in de war raakt door al die extra praatjes? Wat als de simpelste instructie eigenlijk de beste is? Dit is de grote vraag die een team onderzoekers bij IBM besloot te onderzoeken, waarbij ze keken naar hoe Large Language Models (LLM's) — de hersens achter moderne AI — omgaan met meerkeuzevragen. Ze wilden zien of al die hippe nieuwe trucjes echt hielpen, of dat ze het onnodig ingewikkeld maakten.
Het artikel, getiteld "Simplicity Paradox", is een enorm experiment waarbij de onderzoekers 8 verschillende manieren om vragen te stellen hebben getest tegenover 1s0 verschillende sets lastige puzzels, met behulp van 27 verschillende versies van AI-modellen. Ze voerden meer dan 430.000 evaluaties uit om een helder beeld te krijgen. En hier is de verrassende wending die ze ontdekten: de ingewikkelde trucs zorgden er meestal voor dat de AI slechter presteerde, of hooguit even goed presteerde als wanneer de vraag direct gesteld wordt.
Denk er zo over na: Stel je voor dat je een toets maakt. De "Baseline"-methode is gewoon de vraag lezen en het antwoord kiezen. De "Complex"-methoden zijn alsof je te horen krijgt: "Doe alsof je een detective bent, lijst drie aanwijzingen op, teken een diagram en geef dan pas antwoord." De onderzoekers ontdekten dat voor de meeste AI-modellen de detective-persona en de diagrammen hen juist vertraagden. Sterker nog, toen ze de methoden eerlijk vergeleken (door ervoor te zorgen dat elke AI exact dezelfde vragen zag), was de simpele, directe prompt de op de derde plaats staande presteerder. De enige twee methoden die het er net bovenuit staken, waren kleine aanpassingen: de AI vertellen om zich als een "reliability engineer" te gedragen of om "inductief redeneren" te gebruiken. Dit leverde een kleine boost op van ongeveer 3 procentpunten. Maar de echt hippe methoden, zoals de AI haar eigen voorbeelden laten genereren of haar proberen het probleem op te lossen via een analogie, gingen volledig mis. Eén methode, genaamd "Self-Analogical", was zo slecht dat deze slechts 21,38% scoorde, wat nauwelijks beter is dan willekeurig gokken. Het is alsof de AI zo verstrikt raakte in haar eigen instructies dat ze vergat hoe ze de vraag moest beantwoorden.
De studie bracht ook andere fascinerende eigenaardigheden aan het licht. Ten eerste ontdekten ze dat een kleiner AI-model genaamd Qwen3-30B-A3B-Thinking-2507 erin slaagde veel grotere, krachtigere modellen (sommigen waren 13 keer groter) te verslaan in een directe vergelijking. Dit suggereert dat het hebben van meer "hersencapaciteit" (parameters) niet altijd de beste score garandeert; soms is een kleiner, goed afgestemd model gewoon scherper. Ten tweede keken ze naar hoeveel "denktijd" (of tokens) de modellen gebruikten. Ze ontdekten dat het simpelweg aanzetten van de "denk"-schakelaar een enorme gamechanger was, wat de scores voor sommige modellen met wel 22 procentpunten verhoogde. Echter, zodien de schakelaar eenmaal aan stond, voegde het geven van de AI meer tijd om na te denken (het verhogen van het budget van laag naar medium) slechts een minimale hoeveelheid extra nauwkeurigheid toe, namelijk 1 tot 4 punten, terwijl het veel meer computerkracht kostte. Het is alsof je beseft dat een hardloper moet beginnen met rennen om te winnen, maar hem vertellen dat hij 8 keer langer dan nodig moet rennen, hem niet veel sneller maakt.
Ten slotte keken de onderzoekers naar de moeilijkheidsgraad van de puzzels zelf. Ze ontdekten dat de AI nog lang niet perfect is. Bij de moeilijkste puzzels hadden de beste modellen slechts ongeveer 36% van de antwoorden goed, terwijl ze bij de makkelijkste puzzels ongeveer 83% goed hadden. Deze enorme kloof betekent dat er nog volop ruimte is voor de AI om daadwerkelijk te leren en te verbeteren, in plaats van alleen maar te zoeken naar een betere manier om de vragen te stellen. Het artikel concludeert dat de AI-gemeenschap de zaken misschien te ingewikkeld heeft gemaakt. In plaats van al hun energie te steken in het bouwen van complexe instructiehandleidingen, zouden ze zich moeten concentreren op het slimmer maken van de modellen zelf en het aanpakken van moeilijkere problemen. De "Simplicity Paradox" is het inzicht dat soms het krachtigste hulpmiddel gewoon een simpele, directe vraag is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.