🤖 AI

Framework of Thoughts: A Foundation Framework for Dynamic and Optimized Reasoning based on Chains, Trees, and Graphs

Het artikel introduceert Framework of Thoughts (FoT), een algemeen bruikbaar fundamenteel framework dat de statische en niet-geoptimaliseerde beperkingen van bestaande redeneerschema's overwint door dynamische, adaptieve en kostenefficiënte uitvoering mogelijk te maken via ingebouwde functies zoals hyperparameteroptimalisatie, parallelle verwerking en intelligente caching.

Oorspronkelijke auteurs: Felix Fricke, Simon Malberg, Georg Groh

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Felix Fricke, Simon Malberg, Georg Groh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een zeer moeilijke puzzel op te lossen, zoals een complex wiskundig probleem of een lastige logische raadsel. Je hebt een briljante maar ietwat slordige assistent (een AI) die je kan helpen, maar die duidelijke instructies nodig heeft over hoe te denken.

Een tijdje lang hebben onderzoekers deze assistent verschillende "denkstrategieën" gegeven om hen te helpen problemen beter op te lossen. Sommige strategieën vertellen de assistent om in een rechte lijn te denken (zoals een Chain). Anderen vertellen hen om uit te waaieren als een Tree, waarbij ze veel mogelijkheden verkennen voordat ze er één kiezen. Nog anderen gebruiken een Graph, waarbij ideeën kunnen terugkeren en op complexe manieren kunnen verbinden.

Het probleem met deze bestaande strategieën is dat ze lijken op starre, vooraf getekende kaarten.

Ze zijn statisch: Je moet de kaart tekenen voordat je begint. Als de puzzel verandert of je een nieuw type probleem tegenkomt, past de kaart niet en loopt de assistent vast.
Ze zijn inefficiënt: De assistent loopt vaak twee keer hetzelfde pad, wat tijd en geld verspilt (aangezien AI geld kost om te draaien).
Ze zijn niet geoptimaliseerd: Niemand weet echt wat de "perfecte" instructies of instellingen voor deze kaarten zijn, dus presteert de assistent vaak slechter dan hij zou kunnen.

Maak kennis met "Framework of Thoughts" (FoT)

De auteurs van dit paper introduceren FoT, wat geen nieuwe denkstrategie op zich is. In plaats daarvan kun je FoT zien als een slimme, dynamische bouwplaats waar je elke denkstrategie naar wens kunt bouwen.

Hier is hoe FoT werkt, met behulp van eenvoudige analogieën:

1. De Vormveranderende Blauwdruk (Dynamische Grafen)

In oude systemen was de blauwdruk voor het oplossen van een probleem op papier getekend en kon deze niet veranderen. Als de assistent een stap opnieuw moest overwegen, stond de blauwdruk dat niet toe.

FoT's aanpak: Stel je een blauwdruk voor gemaakt van magnetische LEGO-blokjes. Terwijl de assistent werkt, kunnen ze nieuwe blokjes aan het bord klikken of oude blokjes verwijderen. De structuur van de oplossing kan groeien, krimpen of van vorm veranderen terwijl het werk plaatsvindt. Dit stelt de AI in staat om zich aan te passen aan problemen die hij nog nooit eerder heeft gezien.

2. De Lopende Band (Parallelle Executie)

Oude systemen lieten de assistent één stap doen, wachtten tot deze klaar was, en deden dan de volgende stap, alsof er één persoon door een lange gang loopt.

FoT's aanpak: FoT werkt als een drukke keuken met veel koks. Als twee stappen niet van elkaar afhankelijk zijn (zoals het snijden van uien en het koken van water), laat FoT twee verschillende "koks" (of AI-aanroepen) deze taken tegelijkertijd uitvoeren. Dit zorgt ervoor dat het hele proces veel sneller klaar is.

3. De Geheugenbank (Intelligente Caching)

Soms wordt de assistent gevraagd om exact hetzelfde kleine deelprobleem twee keer op te lossen. In oude systemen zouden ze het werk twee keer doen, wat tijd en geld verspilt.

FoT's aanpak: FoT bewaart een post-it op de muur. Als de assistent een specifepiek deel van de puzzel al heeft opgelost, zegt FoT: "Hé, dit hebben we gisteren al gedaan! Hier is het antwoord op de post-it." Dit bespaart enorme hoeveelheden geld en tijd.

4. De Regelknop (Automatische Optimalisatie)

De meeste denkstrategieën hebben "knoppen" (instellingen) en "instructies" (prompts) die bijgesteld moeten worden om goed te werken. Meestal raden onderzoekers deze instellingen, wat traag en duur is.

FoT's aanpak: FoT komt met een ingebouwde auto-tuner. Het probeert automatisch duizenden verschillende combinaties van instructies en instellingen om de perfecte te vinden. Omdat de "Geheugenbank" (caching) en de "Lopende Band" (parallelisme) vermeld eerder, kan FoT deze afstemming ongelooflijk snel en goedkoop doen, terwijl het met oude systemen te duur zou zijn om zelfs maar te proberen.

Wat hebben ze bewezen?

De auteurs hebben deze nieuwe "bouwplaats" getest door drie populaire denkstrategieën (Tree of Thoughts, Graph of Thoughts en ProbTree) binnen FoT te herbouwen. Ze vergeleken de oude, starre versies met de nieuwe FoT-versies op taken zoals:

Het oplossen van wiskundige puzzels (Game of 24).
Het sorteren van lijsten met getallen.
Het samenvoegen van documenten.
Het beantwoorden van complexe vragen.

De Resultaten:

Snelheid: FoT maakte de AI gemiddeld 10 keer sneller. In sommige gevallen was het zelfs 35 keer sneller.
Kosten: Door eerdere antwoorden te onthouden (caching), bracht FoT de kosten voor het uitvoeren van deze taken in sommige scenario's met bijna de helft omlaag.
Slimmer: Door de auto-tuner te gebruiken, vond FoT instellingen die de AI zowel nauwkeuriger als goedkoper in gebruik maakten.

De Kernboodschap

Het paper betoogt dat we niet alleen statische kaarten moeten blijven tekenen die de AI moet volgen. In plaats daarvan moeten we flexibele, dynamische systemen bouwen die hun eigen structuur kunnen veranderen, in teams kunnen werken (parallel), hun eigen werk kunnen onthouden (caching) en voortdurend hun eigen instructies kunnen verbeteren (optimalisatie). FoT is de toolkit die dit alles mogelijk maakt.

Technische Samenvatting: Framework of Thoughts (FoT)

Probleemstelling

Huidige prompting-schema's voor Large Language Models (LLM's)—zoals Chain of Thought (CoT), Tree of Thoughts (ToT) en Graph of Thoughts (GoT)—hebben significante verbeteringen in redeneervermogen aangetoond. De auteurs identificeren echter drie kritieke beperkingen in bestaande benaderingen:

Statische en handmatige structuren: De meeste schema's vertrouwen op handmatig gedefinieerde, statische graafstructuren. Gebruikers moeten taakspecifieke prompts en decompositielogica vooraf specificeren. Dit gebrek aan aanpassingsvermogen verhindert generalisatie naar dynamische of onbekende probleemtypen waarbij de ideale redeneerstructuur niet vooraf bekend kan zijn.
Onvoldoende optimalisatie: Bestaande schema's lijden vaak aan een onbenut potentieel aan nauwkeurigheid door een gebrek aan systematische hyperparameter- en promptoptimalisatie. De hoge kosten van het testen van verschillende combinaties leiden vaak tot suboptimale configuraties, waardoor het onduidelijk blijft of prestatieverschillen voortkomen uit architecturale superioriteit of gelukkige parametervariaties.
Inefficiënte uitvoering: Veel schema's voeren LLM-prompts sequentieel en redundant uit. Ze maken geen gebruik van parallelle uitvoering of caching, wat resulteert in onnodige inferentiekosten en aanzienlijke wachttijden, met name wanneer dezelfde operaties of inputs worden herhaald.

Methodologie: Framework of Thoughts (FoT)

Om deze beperkingen aan te pakken, introduceren de auteurs Framework of Thoughts (FoT), een algemeen bruikbaar fundamenteel framework ontworpen voor het implementeren en optimaliseren van dynamische redeneerschema's. FoT is zelf geen specifiek prompting-schema, maar een modulaire infrastructuur die ketens, bomen en grafen ondersteunt.

Kerncomponenten van de architectuur

Dynamische graafstructuren: FoT onderscheidt twee typen grafen:
- Executiegraaf ( $G_X$ ): Modelleert de sequentie van operaties, hun inputs/outputs en de volledige geschiedenis van de uitvoering. In tegenstelling tot statische frameworks kan deze graaf tijdens de uitvoering dynamisch worden gewijzigd en evolueren op basis van de output van operaties.
- Redeneergraaf ( $G_R$ ): Een eenvoudigere representatie van de logische afhankelijkheden tussen gedachten (nodes) gegenereerd door voltooide operaties.
- Operaties: De bouwstenen van het framework. Een operatie is een functie die input-gedachten en een executiegraaf als input neemt en geüpdatete gedachten en een potentieel gewijzigde executiegraaf teruggeeft. Dit maakt automatische afleiding van graafstructuren mogelijk.
Veilige parallelle uitvoering: Om concurrency mogelijk te maken zonder race conditions in een dynamisch evoluerende graaf, gebruikt FoT een Controller en een Scheduler. Het handhaaft strikte beperkingen op graafwijzigingen:
- Operaties kunnen alleen hun voorouders, afstammelingen en zichzelf bekijken.
- Operaties kunnen geen voorouders wijzigen (die al zijn uitgevoerd) of niet-exclusieve afstammelingen (om conflicten te voorkomen).
- Operaties kunnen alleen hun "exclusieve afstammelingen" wijzigen en verbindingen toevoegen binnen deze veilige subgraaf.
Efficiënte Caching: FoT implementeert twee caching-strategieën om redundante LLM-aanroepen te verminderen:
- Process Cache: Slaat resultaten tijdelijk op binnen de uitvoering van een enkele probleeminstantie.
- Persistent Cache: Slaat resultaten op over meerdere probleeminstanties heen, waardoor het systeem outputs voor identieke inputs in opeenvolgende taken kan oproepen.
Optimalisatietools: Het framework integreert Optuna voor hyperparameteroptimalisatie en DSPy voor promptoptimalisatie. Deze tools stellen ontwikkelaars in staat om te optimaliseren voor nauwkeurigheid, runtime of kosten, waarbij caching het optimalisatieproces computationeel haalbaar maakt.

Belangrijkste Bijdragen

Een Dynamisch Fundamenteel Framework: FoT maakt de implementatie van redeneerschema's mogelijk waarbij graafstructuren niet vooraf zijn gedefinieerd, maar automatisch evolueren tijdens de uitvoering. Dit staat in contrast met frameworks zoals GoT of LangGraph, die primair zijn ontworpen voor statische flows.
Prestatieoptimalisatiemechanismen: Door parallelle uitvoering en persistente caching te integreren, ontsluit FoT latent prestatiepotentieel, wat de inferentiekosten en runtime aanzienlijk verlaagt.
Systematische Optimalisatiepipeline: De inclusie van ingebouwde tools voor hyperparameter- en promptoptimalisatie pakt het probleem van suboptimale handmatige afstemming aan, waardoor schema's hun ware prestatieplafond kunnen bereiken.
Empirische Validatie: De auteurs hebben drie populaire schema's—Tree of Thoughts (ToT), Graph of Thoughts (GoT) en ProbTree—opnieuw geïmplementeerd binnen FoT om de universaliteit en efficiëntiewinst te demonstreren.

Experimentele Resultaten

De auteurs evalueerden FoT over vijf taken: Game of 24 (Go24), Sorting, Document Merging (DM), HotpotQA en MuSiQue.

Efficiëntiewinst:
- Runtime: Parallelle uitvoering gecombineerd met persistente caching versnelde de uitvoering met 1,9x tot 35,4x, afhankelijk van de taak en het schema. De gemiddelde versnelling over alle taken was 10,7x vergeleken met baseline sequentiële implementaties.
- Kosten: Caching verminderde de inferentiekosten met 14% tot 46% bij taken met terugkerende patronen (Go24, DM, MuSiQue).
Impact van Optimalisatie:
- Door gebruik te maken van de optimalisatietools van FoF, verbeterden de auteurs de taakscores (nauwkeurigheid of F1) terwijl ze tegelijkertijd de kosten verlaagden voor alle geëvalueerde schema's.
- Haalbaarheid van Optimalisatie: Het optimalisatieproces zelf is resource-intensief. Echter, met caching werd de kosten van optimalisatie verminderd tot 9%–36% van de kosten zonder caching, en de duur werd verminderd met factoren van 8,7x tot 50,2x. Dit demonstreert dat systematische optimalisatie vaak alleen levensvatbaar is wanneer het wordt ondersteund door efficiënte caching en parallellisatie.

Betekenis en Claims

Het artikel beweert dat FoT een verschuiving vertegenwoordigt van statische, handmatig ontworpen redeneeflows naar adaptieve, dynamische redeneersystemen.

Aanpassingsvermogen: Door toe te staan dat graafstructuren evolueren, banen de auteurs de weg voor redeneerschema's die voorheen onbekende of zeer heterogene probleemtypen kunnen afhandelen zonder dat handmatige herengineering vereist is.
Efficiëntie als Voorwaarde voor Optimalisatie: De auteurs benadrukken dat de "efficiënt-bij-default" opstelling (parallellisatie + caching) niet louter een incrementele verbetering is, maar een voorwaarde om de systematische optimalisatie van redeneerschema's levensvatbaar te maken. Zonder deze functies zijn de tijd en het budget die nodig zijn om prompts en hyperparameters af te stemmen vaak prohibitief.
Generaliseerbaarheid: Het framework is ontworpen om open en modulair te zijn, waarbij elke in Python definieerbare operatie wordt ondersteund (LLM-aanroepen, toolgebruik, code-executie), wat de ontwikkeling van toekomstige dynamische en efficiënte redeneerschema's faciliteert.

De auteurs concluderen dat hoewel zij semi-automatische en handmatige schema's hebben geïmplementeerd om het framework te demonstreren, het ware potentieel van FoT ligt in het mogelijk maken van volledig automatische schema's die dynamisch redeneerstructuren afleiden voor complexe, real-world problemen.