Ask, Then Think: Does Socratic Prompting Help LLMs on Code Tasks?
Het artikel introduceert \textsc{MIND}, een Socratisch prompting-framework voor LLM's dat, ondanks de theoretische fundering in menselijke redenering, er niet in slaagt om gevestigde baselines zoals Chain-of-Thought op coderingstaken te overtreffen en vaak onderpresteert vanwege onnodige inferentie-overhead, wat suggereert dat slechts specifieke, geïsoleerde redeneermechanismen in plaats van de holistische transfer van menselijke redeneertheorieën voordelen opleveren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het moderne landschap van software engineering is een nieuw soort instrument opgekomen: grote taalmodellen. Dit zijn computersystemen die zijn getraind op enorme hoeveelheden tekst en code, in staat om instructies voor computers te genereren, kapotte programma's te repareren of uit te leggen hoe een stuk software werkt. Ze zijn krachtige assistenten geworden, maar ze zijn niet onfeilbaar. Wanneer ze worden geconfronteerd met vage instructies, ontbrekende details of onjuiste aannames, produceren deze systemen vaak fouten. Om hen te helpen helderder na te denken, hebben onderzoekers verschillende prompting-strategieën ontwikkeld. Dit zijn specifieke manieren om het model te vragen een probleem aan te pakken, zoals het aanmoedigen om eerst zijn stappen op te sommen voordat het een antwoord geeft. Het doel is om de machine van simpelweg gokken naar redeneren over een taak te bewegen, net zoals een mens dat zou doen.
Een team van onderzoekers van universiteiten in Italië, Nederland en Denemarken zette een specifere gedachte op de proef: konden zij deze computersystemen laten denken als een menselijke filosoof? Zij keken naar de Socratische methode, een oude onderwijsstijl waarbij een docent een reeks diepgaande vragen stelt om een student te helpen verborgen gebreken in diens eigen denken te ontdekken. In plaats van simpelweg het eerste idee van een student te accepteren, daagt de docent aannames uit, wijst hij op ontbrekende informatie en dwingt hij de student om de logica te verfijnen voordat er een conclusie wordt getrokken. De onderzoekers vroegen zich af of zij dit menselijke proces konden vertalen naar een reeks instructies voor een computermodel. Zij creëerden een nieuw framework genaamd MIND, wat staat voor Maieutic INference and Discovery. Dit systeem was ontworpen om de computer te laten stoppen en moeilijke vragen over een programmeertaak aan zichzelf te stellen voordat hij ook maar één regel code schreef. Het was bedoeld om als zijn eigen criticus te fungeren, door ambiguïteit te controleren en zijn eigen plannen te testen.
Het team onderwierp dit idee aan een grootschalige test. Zij voerden experimenten uit met twaalf verschillende computermodellen van variërende grootte en architectuur, waarbij zij hen testten op vier verschillende sets programmeeruitdagingen. Deze uitdagingen bestonden uit het genereren van nieuwe code, het repareren van kapotte code, het uitleggen van hoe code werkt en het schrijven van efficiënte code. Zij vergeleken hun nieuwe Socratische methode met verschillende gevestigde manieren om computers te instrueren, waaronder methoden die het model simpelweg vragen om stap voor stap na te denken of om zijn eigen antwoorden te verfijnen nadat een concept is gemaakt. De resultaten waren verrassend en enigszins contra-intuïtief. De Socratische aanpak maakte de computers niet beter in hun werk. Sterker nog, de nieuwe methode presteerde slechter dan de simpelere, directere strategieën. De modellen die de Socratische methode gebruikten, waren minder accuraat en deden er aanzienlijk langer over om een antwoord te produceren. Gemiddeld duurde de nieuwe methode bijna vijf keer zo lang om een oplossing te genereren als de standaard stap-voor-stap benadering, terwijl het nog meer fouten maakte.
De onderzoekers gingen dieper in op de vraag waarom dit gebeurde. Zij braken het Socratische proces af in afzonderlijke delen, waarbij zij stap voor stap elementen verwijderden om te zien welke behulpzaam waren en welke schadelijk. Zij ontdekten dat de onderdelen van het proces die de computer vroegen om de opdracht in twijfel te trekken of om zijn eigen initiële plan te bevragen, de prestaties eigenlijk verslechterden. Wanneer het model werd gedwongen zichzelf af te vragen: "Is deze aanvraag vaag?" of "Welke aanname doe ik hier?", bedacht het vaak antwoorden op die vragen op basis van gissingen in plaats van feiten. Omdat de computer zowel de vragensteller als de beantwoorder was, had het niemand om het te corrigeren. Het model zou een aanname doen, zichzelf ervan overtuigen dat het juist was, en vervolgens op basis van die fout de code schrijven. Het enige deel van het bevragingsproces dat enigszinnig leek te helpen, was wanneer het model werd gevraagd te herinneren wat het al met zekerheid wist. Echter, zelfs dit kleine voordeel was niet genoeg om de schade veroorzaakt door de zelf-twijfelstappen te compenseren.
De studie suggereert dat de Socratische methode, die zo goed werkt voor mensen, niet direct vertaalbaar is naar computermodellen wanneer het model met zichzelf praat. Voor een menselijke student biedt de docent het externe perspectief dat nodig is om fouten te ontdekken. Voor een computermodel is er in de prompt geen externe docent; het is slechts het model dat met zichzelf praat. De onderzoekers ontdekten dat de interne "kritiek" van het model de computer vaak op het verkeerde pad bracht, waardoor eigen fouten werden versterkt in plaats van gecorrigeerd. De meest effectieve strategie bleef de eenvoudigste: het model vragen om de stappen helder door te denken zonder het te dwingen zijn eigen redenering te ondervragen voordat het een oplossing had om te bekritiseren. De studie concludeert dat hoewel theorieën over menselijk redeneren nieuwe manieren kunnen inspireren om met computers te communiceren, het kopiëren van het volledige menselijke proces geen betere resultaten garandeert. Soms is de meest effectieve manier om een computer te helpen denken, hem te laten focussen op de taak waar hij mee bezig is, in plaats van hem zijn eigen bestaan te laten bevragen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.