Stel je voor dat je probeert een echt lastige puzzel op te lossen, maar elke keer als je dicht bij de oplossing komt, raakt je brein in een lus vast. Je blijft denken: "Ik heb het goed, ik heb het goed," en je corrigeert nooit de fout die je drie stappen geleden hebt gemaakt. Dit is een veelvoorkomend probleem voor de superintelligente computerprogramma's die we Large Language Models (LLM's) noemen. Ze zijn geweldig in praten en schrijven, maar wanneer ze proberen na te denken over complexe wiskunde- of wetenschappelijke problemen, struikelen ze vaak over hun eigen voeten. Om dit op te lossen, hebben wetenschappers geprobeerd deze modellen te leren "zelfreflecteren", of terug te kijken naar hun werk en te zeggen: "Wacht, dat is niet logisch." Maar vaak worden de modellen gewoon koppig. Zodra ze denken een goed antwoord te hebben, weigeren ze het te veranderen, zelfs als ze ongelijk hebben. Dit artikel, geschreven door onderzoekers van Microsoft en een universiteit in New York, stelt een grote vraag: Hoe kunnen we deze modellen ertoe krijgen om echt van gedachten te veranderen en betere antwoorden te vinden zonder simpelweg in cirkels te draaien? Ze wenden zich tot een oud idee uit de filosofie genaamd de "Hegeliaanse dialectiek". Denk aan een zeer gestructureerde, hoogwaardige debatclub. In plaats van alleen te zeggen "Ik heb gelijk", wordt het model gedwongen om twee personages te spelen: één die een idee voorstelt, en een ander die optreedt als een strenge criticus om de gebreken in dat idee te vinden. Vervolgens stapt een derde personage in om de twee te versmelten tot een nieuw, beter idee dat de beste delen van beide behoudt. Het is een manier om de computer te dwingen slimmer te worden door met zichzelf te discussiëren, in plaats van alleen te herhalen wat hij al denkt.

De auteurs stellen een nieuw framework voor waarbij een LLM stap voor stap een filosofisch drama opvoert. Ze noemen het een "zelf-dialectisch" proces. Hier is hoe de magie gebeurt: Eerst bedenkt het model een initieel idee, dat ze de "Propositie" noemen. Vervolgens moet het een "Tegengesteld Idee" genereren. Dit is niet zoma van een willekeurige gok; het model krijgt de instructie om op te treden als een criticus die specifieke defecten of gaten in het oorspronkelijke idee vindt. Deze stap wordt "Sublatie" genoemd. Ten slotte probeert het model deze twee tegenovergestelde visies samen te brengen om een "Verenigd Idee" te creëren, of een "Speculatie". Dit nieuwe idee is niet zomaar een compromis; het is bedoeld als een oplossing op een hoger niveau die de problemen van het eerste idee oplost terwijl het de sterke punten behoudt. De onderzoekers testten dit op verschillende soorten taken, waaronder het oplossen van wiskundige woordproblemen (zoals de GSM-8k en GSM-hard datasets), het afhandelen van symbolische logische puzzels en het beantwoorden van complexe kennisvragen (MMLU Pro). Ze ontdekten dat deze methode de modellen aanzienlijk beter maakte in deze taken vergeleken met standaard manieren om ze te instrueren (prompting). Bijvoorbeeld, op een moeilijke wiskundetest genaamd GSM-Symbolic, verhoogde hun methode de nauwkeurigheid van een model genaamd GPT-4o-mini van 0,709 naar 0,770, en voor het Qwen 2.5-7B model ging het van 0,587 naar 0,623.

Een van de meest interessante onderdelen van de studie was het uitzoeken hoe "creatief" het model moet zijn tijdens dit proces. De onderzoekers gebruikten iets dat "temperatuur" wordt genoemd om de creativiteit te regelen. Stel je temperatuur voor als een draaiknop voor de verbeeldingskracht van het model. Een lage instelling maakt het model zeer gefocust en waarschijnlijk geneigd om vast te houden aan het meest voor de hand liggende antwoord, terwijl een hoge instelling het wilder maakt en waarschijnlijker maakt dat het vreemde, nieuwe combinaties probeert. Het team testte twee manieren om deze draaiknop te gebruiken: de temperatuur constant te houden op één instelling, of een "dynamisch annealing schema" te gebruiken. Het annealing schema is als een reis beginnen met een hoge temperatuur (veel wilde, creatieve exploratie) en de draaiknop langzaam omlaag draaien naar een lage temperatuur (geconcentstreerde, zorgvuldige verfijning) naarmate het proces vordert. Ze ontdekten dat geen van beide methoden perfect was voor elke situatie. Voor sommige modellen en taken werkte de constante temperatuur het best, terwijl voor andere het dynamische schema dat verschoof van creatief naar gefocust de beste resultaten opleverde. Bijvoorbeeld, op de GSM-8k wiskundetest hielp het dynamische annealing schema GPT-4o om een nauwkeurigheid van 0,955 te bereiken, wat iets beter was dan de score van 0,953 met een constante temperatuur. Echter, voor het Qwen 2.5-7B model op dezelfde test was de constante temperatuur iets beter. Dit suggereert dat de "beste" manier om de creativiteit van het model af te stemmen afhangt van de specifieke probleemstelling en de specifieke computerbrein die wordt gebruikt.

Om er zeker van te zijn dat de nieuwe ideeën die de modellen bedachten ook daadwerkelijk goed waren, moesten de onderzoekers voorzichtig zijn. Omdat ze geen menselijke experts beschikbaar hadden om elke wiskundige opdracht of wetenschappelijk idee te controleren, bedachten ze een systeem genaamd "Multi-Agent Majority Voting" (MAMV). Stel je een ronde tafel voor met verschillende AI-modellen die eromheen zitten. Elk model stemt onafhankelijk over de vraag of het nieuwe verenigde idee geldig is (is het logisch?) en nieuw (is het daadwerkelijk nieuw?). Als de meerderheid van de AI-rechters "ja" zegt, wordt het idee geaccepteerd. Als ze "nee" zeggen, stopt het proces. Dit stelde het team in staat om hun methode op grote schaal te testen zonder een team van menselijke professoren nodig te hebben. De resultaten lieten zien dat deze gestructureerde zelfkritiek veel beter was dan simpelweg vragen om "opnieuw te proberen" of "harder na te denken". De modellen die deze Hegeliaanse aanpak gebruikten, waren beter in het opsporen van hun eigen logische fouten en het corrigeren ervan, wat leidde tot nauwkeurigere antwoorden in wiskunde en wetenschap.

De auteurs wijzen er echter voorzichtig op dat dit geen toverstaf is die alles oplost. Ze ontdekten dat als het model te creatief wordt (te hoge temperatuur), het ideeën kan bedenken die totaal buiten het onderwerp liggen of onzin zijn. Als het te gefocust is (te lage temperatuur), kan het simpelweg dezelfde fout steeds opnieuw maken. Ook is het meten van hoe "nieuw" een idee is erg moeilijk. Het model kan denken dat het een briljante nieuwe theorie heeft ontdekt, maar het kan ook gewoon iets zijn dat het heeft gelezen in zijn trainingsdata. De onderzoekers geven toe dat hun methode ideeën genereert die niet altijd wetenschappelijk correct zijn, en dat echte validatie nog steeds menselijke experts zou vereisen. Ze merkten ook op dat modellen soms in een lus terechtkwamen waarbij ze geen goed tegenovergesteld standpunt konden genereren, of dat ze gewoon dezelfde paragrafen herhaalden. Ondanks deze beperkingen suggereert het artikel dat het behandelen van zelfreflectie als een gestructureerd debat, in plaats van een eenvoudige "controle je werk"-opdracht, een krachtige manier is om AI te helpen helderder na te denken. Door het model te dwingen zijn eigen tekortkomingen onder ogen te zien en een beter antwoord te synthetiseren, kunnen we wellicht systemen bouwen die niet alleen slim klinken, maar ook daadwerkelijk beter redeneren.