Self-Speculation for Faster Reasoning Models

In de wereld van kunstmatige intelligentie zijn large language models geëvolueerd van eenvoudige chatbots naar geavanceerde probleemoplossers die in staat zijn tot plannen, coderen en het nemen van complexe beslissingen. Om dit niveau van intelligentie te bereiken, maken deze modellen vaak gebruik van een proces dat "chain-of-thought" redeneren wordt genoemd. In plaats van direct naar een antwoord te springen, genereert het model een lange, stapsgewijze interne monoloog, waarbij het het probleem doorwerkt voordat het een definitieve reactie produceert. Hoewel deze extra denktijd de kwaliteit van het antwoord aanzienlijk verbetert, creëert het ook een knelpunt: hoe langer het model nadenkt, hoe langer een gebruiker moet wachten op het resultaat. Voor interactieve toepassingen zoals stemassistenten of coderingstools kan deze vertraging frustrerend zijn, omdat het de flow van een gesprek onderbreekt of de workflow van een ontwikkelaar vertraagt. De uitdaging voor onderzoekers is geweest om een manier te vinden om de hoogwaardige redenering te behouden zonder de gebruiker te dwingen te wachten tot elke stap van het denkproces is voltooid voordat het antwoord verschijnt.

Een team van onderzoekers aan de University of California, Los Angeles, heeft een nieuwe methode ontwikkeld genaamd Self-Speculation for Reasoning Models, of SSR, die tot doel heeft dit latentieprobleem op te lossen zonder de kwaliteit van de output op te offeren. Hun aanpak is gebaseerd op een eenvoudige maar krachtige observatie: naarmate een model over een probleem nadenkt, bevatten de vroege vermoedens over het uiteindelijke antwoord vaak belangrijke aanwijzingen over wat het uiteindelijke antwoord daadwerkelijk zal zijn. Zelfs voordat het model zijn interne redenering heeft voltooid, heeft het meestal de algemene structuur en de belangrijkste details van de oplossing bepaald. De onderzoekers realiseerden zich dat ze deze vroege, onvolledige gedachten als een "concept" konden gebruiken om het uiteindelijke antwoord te voorspellen, terwijl het model zijn volledige redeneringsproces op de achtergrond voortzet.

De methode werkt door twee versies van hetzelfde model tegelijkertijd te draaien. Eén versie, die fungeert als een conceptmaker (drafter), stopt het redeneringsproces vroegtijdig en probeert onmiddellijk het uiteindelijke antwoord te genereren op basis van de gedeeltelijke gedachten die het tot nu toe heeft. Tegelijkertijd zet de hoofdversie van het model zijn volledige, diepe redeneringsproces voort. Zodra het hoofdmodel zijn lange keten van gedachten heeft voltooid, fungeert het als een verifieerder die het concept controleert dat door de vroege versie is gegenereerd. Als het concept overeenkomt met het uiteindelijke, volledig geredeneerde antwoord, accepteert het systeem de concept-tokens, waardoor de tijd die het zou hebben gekost om ze één voor één te genereren, effectief wordt overgeslagen. Omdat het maken van het concept parallel aan de hoofdredenering gebeurt, wordt de tijd die voor het concept wordt besteed verborgen; de gebruiker wacht er niet op. Dit stelt het systeem in staat om de definitieve reactie veel sneller te leveren, met name voor taken die lange, gestructureerde outputs vereisen, zoals het schrijven van code of het plannen van complexe sequenties.

Om dit nog effectiever te maken, hebben de onderzoekers een tweede laag aan het proces toegevoegd. In veel gevallen kan het vroege concept aan het begin een paar details fout hebben—bijvoorbeeld een verkeerde variabelenaam gebruiken of een iets andere formulering—maar daarna perfect aansluiten bij het uiteindelijke antwoord over een lang stuk tekst. Standaardmethoden zouden het hele concept weggooien bij de eerste fout, maar het nieuwe systeem bevat een "suffix decoding"-functie. Hiermee kan het systeem voorbij de initiële fouten kijken en overeenkomende tekstsecties vinden die het uiteindelijke antwoord later ook gebruikt. Door deze nuttige brokken tekst te herstellen, kan het systeem zelfs meer van het concept accepteren, wat de tijd die nodig is om de reactie te genereren verder verkort.

De onderzoekers testten deze methode op verschillende veeleisende taken, waaronder het genereren van code voor complexe softwareklassen en het creëren van lange, gestructureerde documenten. Ze ontdekten dat deze methode voor modellen die aan dit soort problemen werken, de totale tijd die nodig is om een reactie te genereren met wel 24,1 procent verminderde. Deze versnelling werd bereikt zonder de gewichten van het model te wijzigen of extra training te vereisen, wat betekent dat het onmiddellijk kan worden toegepast op bestaande systemen. De resultaten waren het meest uitgesproken bij taken waarbij het uiteindelijke antwoord lang en gestructureerd is, zoals programmeren, waarbij het model de neiging heeft om zich vroeg in zijn denkproces vast te leggen op de algemene structuur. In contrast hiermee waren de snelheidswinsten kleiner voor kortere taken waarbij de denktijd zelf de dominante factor is, aangezien de methode primair de fase van de antwoordgeneratie versnelt in plaats van de redeneringsfase.

De studie onderzocht ook hoe de methode zich gedraagt wanneer het model wordt gevraagd om gedurende verschillende tijdsperioden na te denken. Ze ontdekten dat de beste resultaten worden behaald door de conceptgeneratie te starten wanneer het model een aanzienlijk deel van zijn redenering heeft voltooid, om er zeker van te zijn dat het concept gebaseerd is op voldoende context om accuraat te zijn. Ze ontwikkelden ook een iteratieve versie van de methode die het concept op meerdere punten tijdens het redeneren bijwerkt, waardoor het systeem zijn voorspellingen kan verfijnen naarmate het model dieper nadenkt. Deze aanpak zorgt ervoor dat zelfs als een vroeg concept niet perfect is, latere concepten erop kunnen voortbouwen, waardoor een hoog succespercentage wordt behouden.

Uiteindelijk toont dit werk aan dat de structuur van het redeneerproces zelf als een bron kan worden gebruikt om de kunstmatige intelligentie te versnellen. Door de eigen tussenliggende gedachten van het model te behandelen als een bron van voorspelling, hebben de onderzoekers een manier gecreëerd om hoogwaardige, geredeneerde antwoorden te leveren met aanzienlijk minder wachttijd. De methode is bijzonder waardevol voor interactieve toepassingen waar snelheid essentieel is, en bewijst dat het mogelijk is om zowel diep nadenken als snelle reacties te hebben zonder de kwaliteit van de oplossing in gevaar te brengen.