🤖 AI

Framework of Thoughts: A Foundation Framework for Dynamic and Optimized Reasoning based on Chains, Trees, and Graphs

Il documento introduce il Framework of Thoughts (FoT), un framework di base general-purpose che supera i limiti statici e non ottimizzati degli schemi di ragionamento esistenti consentendo un'esecuzione dinamica, adattiva ed efficiente in termini di costi attraverso funzionalità integrate come la regolazione degli iperparametri, l'elaborazione parallela e il caching intelligente.

Autori originali: Felix Fricke, Simon Malberg, Georg Groh

Pubblicato 2026-07-07

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Felix Fricke, Simon Malberg, Georg Groh

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un puzzle molto difficile, come un problema matematico complesso o un enigma logico complicato. Hai un assistente brillante ma un po' sregolato (un'IA) che può aiutarti, ma ha bisogno di istruzioni chiare su come pensare.

Per un certo periodo, i ricercatori hanno fornito a questo assistente diverse "strategie di pensiero" per aiutarlo a risolvere i problemi meglio. Alcune strategie dicono all'assistente di pensare in linea retta (come una Catena). Altre gli dicono di ramificarsi come un Albero, esplorando molte possibilità prima di sceglierne una. Altre ancora usano un Grafo, dove le idee possono tornare indietro e connettersi in modi complessi.

Il problema con queste strategie esistenti è che sono come mappe rigide e pre-disegnate.

Sono statiche: Devi disegnare la mappa prima di iniziare. Se il puzzle cambia o incontri un nuovo tipo di problema, la mappa non si adatta e l'assistente rimane bloccato.
Sono inefficienti: L'assistente spesso percorre lo stesso percorso due volte, sprecando tempo e denaro (poiché far girare un'IA costa denaro).
Non sono ottimizzate: Nessuno conosce davvero le istruzioni o le impostazioni "perfette" per queste mappe, quindi l'assistente spesso performa peggio di quanto potrebbe.

Entra in scena "Framework of Thoughts" (FoT)

Gli autori di questo articolo introducono FoT, che non è una nuova strategia di pensiero in sé. Invece, pensa a FoT come a un cantiere edile super intelligente e dinamico dove puoi costruire qualsiasi strategia di pensiero desideri.

Ecco come funziona FoT, usando analogie semplici:

1. Il Progetto Mutante (Grafi Dinamici)

Nei vecchi sistemi, il progetto per risolvere un problema era disegnato su carta e non poteva cambiare. Se l'assistente avesse avuto bisogno di tornare indietro a ripensare un passaggio, il progetto non lo permetteva.

L'approccio di FoT: Immagina un progetto fatto di mattoncini LEGO magnetici. Mentre l'assistente lavora, può incastrare nuovi mattoncini sulla base o rimuoverne di vecchi. La struttura della soluzione può crescere, rimpicciolirsi o cambiare forma mentre il lavoro sta avvenendo. Questo permette all'IA di adattarsi a problemi che non ha mai visto prima.

2. La Catena di Montaggio (Esecuzione Parallela)

I vecchi sistemi facevano fare all'assistente un passaggio alla volta, aspettando che finisse prima di passare al successivo, come una singola persona che cammina in un lungo corridoio.

L'approccio di FoT: FoT agisce come una cucina frenetica con molti chef. Se due passaggi non dipendono l'uno dall'altro (come tagliare le cipolle e far bollire l'acqua), FoT permette a due diversi "chef" (o chiamate IA) di farli nello stesso momento. Questo rende l'intero processo molto più veloce.

3. Il Banco della Memoria (Caching Intelligente)

A volte, all'assistente viene chiesto di risolvere due volte lo stesso piccolo sotto-problema. Nei vecchi sistemi, l'assistente svolgeva il lavoro due volte, sprecando tempo e denaro.

L'approccio di FoT: FoT tiene un post-it appeso al muro. Se l'assistente ha già risolto un pezzo specifico del puzzle, FoT dice: "Ehi, l'abbiamo già fatto ieri! Ecco la risposta sul post-it". Questo risparmia una quantità enorme di denaro e tempo.

4. La Manopola di Regolazione (Ottimizzazione Automatica)

La maggior parte delle strategie di pensiero ha delle "manopole" (impostazioni) e delle "istruzioni" (prompt) che devono essere perfezionate per funzionare bene. Di solito, i ricercatori tirano a indovinare queste impostazioni, il che è lento e costoso.

L'approccio di FoT: FoT viene fornito con un auto-regolatore integrato. Prova automaticamente migliaia di diverse combinazioni di istruzioni e impostazioni per trovare la perfetta. Grazie al "Banco della Memoria" (caching) e alla "Catena di Montaggio" (parallelismo) menzionati sopra, FoT può effettuare questa regolazione in modo incredibilmente veloce ed economico, mentre farlo con i vecchi sistemi sarebbe troppo costoso anche solo da tentare.

Cosa hanno dimostrato?

Gli autori hanno testato questo nuovo "cantiere edile" ricostruendo tre popolari strategie di pensiero (Tree of Thoughts, Graph of Thoughts e ProbTree) all'interno di FoT. Hanno confrontato le vecchie versioni rigide con le nuove versioni FoT su compiti come:

Risolvere enigmi matematici (Game of 24).
Ordinare liste di numeri.
Unire documenti.
Rispondere a domande complesse.

I Risultati:

Velocità: FoT ha reso l'IA 10 volte più veloce in media. In alcuni casi, è stata 35 volte più veloce.
Costo: Grazie al ricordo delle risposte passate (caching), FoT ha ridotto il costo di esecuzione di questi compiti di quasi metà in alcuni scenari.
Intelligenza: Usando l'auto-regolatore, FoT ha trovato impostazioni che rendevano l'IA più accurata e più economica da gestire allo stesso tempo.

In sintesi

L'articolo sostiene che non dovremmo limitarci a continuare a disegnare mappe statiche da far seguire all'IA. Invece, dovremmo costruire sistemi flessibili e dinamici che possano cambiare la propria struttura, lavorare in team (in parallelo), ricordare il proprio lavoro passato (caching) e migliorare costantemente le proprie istruzioni (ottimizzazione). FoT è lo strumento che rende tutto questo possibile.

Sintesi Tecnica: Framework of Thoughts (FoT)

Definizione del Problema

Gli attuali schemi di prompting per i Large Language Models (LLM) — come Chain of Thought (CoT), Tree of Thoughts (ToT) e Graph of Thoughts (GoT) — hanno dimostrato miglioramenti significativi nelle capacità di ragionamento. Tuttavia, gli autori identificano tre criticità fondamentali negli approcci esistenti:

Strutture Statiche e Manuali: La maggior parte degli schemi si basa su strutture a grafo statiche e definite manualmente. Gli utenti devono specificare a priori i prompt specifici per il compito e la logica di decomposizione. Questa mancanza di adattabilità impedisce la generalizzazione a tipi di problemi dinamici o non visti in precedenza, dove la struttura di ragionamento ideale non può essere conosciuta in anticipo.
Ottimizzazione Insufficiente: Gli schemi esistenti soffrono spesso di un potenziale di accuratezza inespresso a causa della mancanza di una sistematica ottimizzazione degli iperparametri e dei prompt. L'alto costo del test di varie combinazioni porta spesso a configurazioni subottimali, rendendo poco chiaro se le differenze di prestazione derivino da una superiorità architettonica o da scelte fortunate di parametri.
Esecuzione Inefficiente: Molti schemi eseguono i prompt degli LLM in modo sequenziale e ridondante. Essi non riescono a sfruttare l'esecuzione parallela o il caching, risultando in costi di inferenza inutili e tempi di attesa significativi, specialmente quando le stesse operazioni o input vengono ripetuti.

Metodologia: Framework of Thoughts (FoT)

Per affrontare queste limitazioni, gli autori introducono il Framework of Thoughts (FoT), un framework fondamentale general-purpose progettato per implementare e ottimizzare schemi di ragionamento dinamici. FoT non è un particolare schema di prompting, ma un'infrastruttura modulare che supporta catene, alberi e grafi.

Componenti Architetturali Core

Strutture a Grafo Dinamiche: FoT distingue tra due tipi di grafi:
- Grafo di Esecuzione ( $G_X$ ): Modella la sequenza di operazioni, i loro input/output e la cronologia completa dell'esecuzione. A differenza dei framework statici, questo grafo può essere modificato ed evolvere dinamicamente durante l'esecuzione in base agli output delle operazioni.
- Grafo di Ragionamento ( $G_R$ ): Una rappresentazione più semplice delle dipendenze logiche tra i pensieri (nodi) generati dalle operazioni completate.
- Operazioni: I blocchi costruttivi del framework. Un'operazione è una funzione che prende in input i pensieri e il grafo di esecuzione, restituendo pensieri aggiornati e un grafo di esecuzione potenzialmente modificato. Ciò consente la derivazione automatica delle strutture grafiche.
Esecuzione Parallela Sicura: Per consentire la concorrenza senza race condition in un grafo che evolve dinamicamente, FoT impiega un Controller e uno Scheduler. Esso impone vincoli rigorosi sulle modifiche al grafo:
- Le operazioni possono visualizzare solo i propri antenati, discendenti e se stesse.
- Le operazioni non possono modificare gli antenati (già eseguiti) o i discendenti non esclusivi (per prevenire conflitti).
- Le operazioni possono modificare solo i propri "discendenti esclusivi" e aggiungere connessioni all'interno di questo sottografo sicuro.
Caching Efficiente: FoT implementa due strategie di caching per ridurre le chiamate ridondanti agli LLM:
- Process Cache: Memorizza temporaneamente i risultati all'interno dell'esecuzione di una singola istanza del problema.
- Persistent Cache: Memorizza i risultati attraverso molteplici istanze del problema, permettendo al sistema di richiamare gli output per input identici in compiti successivi.
Strumenti di Ottimizzazione: Il framework integra Optuna per il tuning degli iperparametri e DSPy per l'ottimizzazione dei prompt. Questi strumenti permettono agli sviluppatori di ottimizzare per accuratezza, tempo di esecuzione o costo, rendendo l'intero processo di ottimizzazione computazionalmente sostenibile grazie al caching.

Contributi Chiave

Un Framework Fondamentale Dinamico: FoT consente l'implementazione di schemi di ragionamento in cui le strutture grafiche non sono predefinite ma evolvono automaticamente durante l'esecuzione. Questo contrasta con framework come GoT o LangGraph, che sono progettati principalmente per flussi statici.
Meccanismi di Ottimizzazione delle Prestazioni: Integrando l'esecuzione parallela e il caching persistente, FoT sblocca il potenziale latente delle prestazioni, riducendo significativamente i costi di inferenza e i tempi di esecuzione.
Pipeline di Ottimizzazione Sistematica: L'inclusione di strumenti integrati per l'ottimizzazione di iperparametri e prompt affronta il problema del tuning manuale subottimale, permettendo agli schemi di raggiungere il loro vero tetto prestazionale.
Validazione Empirica: Gli autori hanno reimplementato tre schemi popolari — Tree of Thoughts (ToT), Graph of Thoughts (GoT) e ProbTree — all'interno di FoT per dimostrare la sua universalità e i guadagni di efficienza.

Risultati Sperimentali

Gli autori hanno valutato FoT attraverso cinque compiti: Game of 24 (Go24), Sorting, Document Merging (DM), HotpotQA e MuSiQue.

Guadagni di Efficienza:
- Tempo di Esecuzione (Runtime): L'esecuzione parallela combinata con il caching persistente ha accelerato l'esecuzione da 1.9x a 35.4x a seconda del compito e dello schema. L'accelerazione media su tutti i compiti è stata di 10.7x rispetto alle implementazioni sequenziali di base.
- Costo: Il caching ha ridotto i costi di inferenza dal 14% al 46% nei compiti con pattern ricorrenti (Go24, DM, MuSiQue).
Impatto dell'Ottimizzazione:
- Utilizzando gli strumenti di ottimizzazione di FoT, gli autori hanno migliorato i punteggi dei compiti (accuratezza o F1) riducendo simultaneamente i costi per tutti gli schemi valutati.
- Fattibilità dell'Ottimizzazione: Il processo di ottimizzazione stesso è una risorsa intensiva. Tuttavia, con il caching, il costo dell'ottimizzazione è stato ridotto al 9%–36% del costo senza caching, e la durata è stata ridotta di fattori compresi tra 8.7x e 50.2x. Ciò dimostra che l'ottimizzazione sistematica è spesso sostenibile solo se supportata da un efficiente caching e parallelizzazione.

Significato e Rivendicazioni

L'articolo sostiene che FoT rappresenti un passaggio da flussi di ragionamento statici e ingegnerizzati manualmente verso sistemi di ragionamento adattivi e dinamici.

Adattabilità: Permettendo alle strutture grafiche di evolvere, FoT apre la strada a schemi di ragionamento in grado di gestire tipi di problemi precedentemente non visti o altamente eterogenei senza richiedere una riprogettazione manuale.
L'Efficienza come Prerequisito per l'Ottimizzazione: Gli autori sottolineano che la configurazione "efficient-by-default" (parallelizzazione + caching) non è un semplice miglioramento incrementale, ma un prerequisito per rendere sostenibile l'ottimizzazione sistematica degli schemi di ragionamento. Senza queste caratteristiche, il tempo e il budget richiesti per il tuning di prompt e iperparametri sono spesso proibitivi.
Generalizzabilità: Il framework è progettato per essere aperto e modulare, supportando qualsiasi operazione definibile in Python (chiamate LLM, uso di tool, esecuzione di codice), facilitando così lo sviluppo di futuri schemi di ragionamento dinamici ed efficienti.

Gli autori concludono che, sebbene abbiano implementato schemi semi-automatici e manuali per dimostrare il framework, il vero potenziale di FoT risiede nel consentire schemi completamente automatici che derivano dinamicamente le strutture di ragionamento per problemi complessi del mondo reale.