Funnel of Thoughts: Efficient Test-Time Scaling via Early Voting and Rollout Pruning

Moderne kunstmatige intelligentie heeft een punt bereikt waarop de krachtigste redeneermodellen niet simpelweg één antwoord geven op een moeilijke vraag. In plaats daarvan genereren ze lange, kronkelende ketens van gedachten, waarbij ze meerdere paden naar een oplossing verkennen voordat ze tot een uiteindelijke conclusie komen. Dit proces bootst menselijke overweging na, maar het introduceert een unieke uitdaging: wanneer aan hetzelfde probleem herhaaldelijk wordt gevraagd, produceren deze modellen vaak verschillende, en soms tegenstrijdige, antwoorden. Om betrouwbaarheid te garanderen, hebben ingenieurs een strategie toegepast waarbij het model wordt gevraagd om veel verschillende pogingen, of "rollouts", te genereren en vervolgens het meest voorkomende antwoord onder hen te selecteren. Deze methode, bekend als meerderheidsstemming (majority voting), verbetert de nauwkeurigheid aanzienlijk bij complexe taken zoals geavanceerde wiskunde. Dit gaat echter gepaard met een hoge prijs. Omdat deze redeneerketens duizenden woorden kunnen beslaan, verbruikt het gelijktijdig draaien van tientallen van hen een enorme hoeveelheid rekenkracht. De kosten groeien snel naarmere de ketens langer worden, wat betekent dat het duurste deel van het proces vaak juist het einde is, waar het model mogelijk vastloopt in een lus van overbodige zelfcorrectie of aarzeling.

Een team onderzoekers aan de Korea University heeft een nieuwe methode ontwikkeld genaamd de "Funnel of Thoughts" om deze inefficiëntie op te lossen zonder in te boeten op nauwkeurigheid. Hun werk pakt een specifiek probleem aan: in een reeks van tweeëndertig verschillende redeneerpogingen zijn er vaak enkele die onproductief zijn. Deze specifieke pogingen hebben de neiging om te vervallen in repetitieve lussen, waarbij ze hun eigen logica eindeloos in twijfel trekken of vastlopen in "geen-antwoord"-staten, terwijl ze de overgrote meerderheid van de rekenbronnen consumeren. De onderzoekers ontdekten dat deze falende pogingen zichzelf onthullen via een eenvoudig, observeerbaar patroon in de tekst die ze genereren. Ze gebruiken frequent specifieke aarzelingsmarkeringen—woorden en zinnen zoals "Wacht," "Eigenlijk," "misschien," of "Laat me overwegen." Door te tellen hoe vaak deze markeringen voorkomen, kan het systeem identificeren welke redeningspaden waarschijnlijk zullen falen, lang voordat ze klaar zijn.

De nieuwe methode werkt door alle tweeëndertig pogingen parallel te draaien, net als voorheen, maar introduceert een "trechter" die het veld progressief vernauwt. Op specifieke controlepunten onderweg controleert het systeem twee zaken. Ten eerste, als een poging al een duidelijk, definitief antwoord heeft geproduceerd, wordt deze onmiddellijk opgeslagen in een beveiligde bank en stopt het systeem met het genereren van tekst voor die specifieke poging. Dit bewaart de stem van het succesvolle pad zonder verdere energie te verspillen. Ten tweede, voor de pogingen die nog steeds draaien, berekent het systeem de dichtheid van die aarzelingsmarkeringen. Als een poging te vol zit met tekenen van onzekerheid, wordt deze gesnoeid, of afgebroken, in een vroeg stadium. Dit stelt het systeem in staat om de verspillende, spiraalvormige paden te verwijderen, terwijl de productieve paden die waarschijnlijk tot het juiste antwoord zullen leiden, behouden blijven.

De resultaten van deze aanpak zijn aanzienlijk. Door deze methode te gebruiken, waren de onderzoekers in staat om de totale rekenkosten, gemeten in de aandacht-operaties die door het model vereist zijn, met bijna de helft te verminderen. In praktijktesten op een enkele hoogwaardige grafische kaart vertaalde dit zich naar een vermindering van de verwerkingstijd van meer dan zevenendertig procent. Cruciaal is dat deze efficiëntie niet ten koste ging van de nauwkeurigheid. De methode behield hetzelfde hoge niveau van correctheid als de traditionele aanpak van het volledig uitvoeren van alle tweeëndertig pogingen. Sterker nog, bij sommige moeilijke problemen verbeterde de nieuwe methode zelfs het uiteindelijke resultaat. Dit gebeurde omdat de traditionele methode soms toestond dat een paar onproductieve, repetitieve pogingen de uiteindelijke stemming domineerden, simpelweg omdat zij de enigen waren die voltooid waren, terwijl de nieuwe methode die afleidingen vroegtijdig verwijderde, waardoor het juiste antwoord duidelijker naar voren kon komen.

De onderzoekers testten deze techniek op zes verschillende grote redeneermodellen en op een verscheidenheid aan uitdagende wiskundige benchmarks. Ze vonden dat het signaal van aarzelingsmarkeringen consistent was over alle modellen, ongeacht hun interne architectuur of grootte. De methode bleek ook robuust bij het toepassen op taken buiten de wiskunde, zoals het beantwoorden van complexe wetenschappelijke vragen of het genereren van code, mits het systeem kon identificeren wanneer een definitief antwoord was bereikt. De kerninzicht is dat het systeem de inhoud van de redenering niet hoeft te begrijpen om te weten wanneer het moet stoppen; het hoeft alleen maar het patroon van onbeslistheid te herkennen. Dit maakt het mogelijk dat de methode werkt zonder extra training of complexe externe hulpmiddelen, door uitsluitend te vertrouwen op de tekst die het model al produceert.

Dit werk suggereert dat het meest dure deel van kunstmatige intelligentie-redenering vaak het minst productieve deel is. Door te leren de vroege tekenen te herkennen dat een model vastloopt, kunnen we het stoppen om middelen te verspillen aan paden die nergens toe zullen leiden. De "Funnel of Thoughts" demonstreert dat het mogelijk is om deze krachtige systemen aanzienlijk sneller en goedkoper te laten draaien, terwijl ze even slim blijven. Het biedt een praktische manier om het gebruik van geavanceerde redeneermodellen op te schalen, waardoor ze levensvatbaarder worden voor real-world toepassingen waar snelheid en kosten kritieke factoren zijn. De bevindingen wijzen erop dat de toekomst van efficiënte AI niet ligt in het bouwen van grotere modellen, maar in slimmere manieren om de modellen die we al hebben te beheren.