Riepilogo Tecnico: Grafo di Pensieri Rinforzato (RGoT)

Enunciato del Problema

I Modelli Linguistici di Grandi Dimensioni (LLM) hanno dimostrato capacità significative nella risoluzione deliberata di problemi attraverso paradigmi di prompting come Chain of Thought (CoT), Tree of Thoughts (ToT) e Graph of Thoughts (GoT). Sebbene GoT offra un quadro generalizzato in cui i pensieri sono strutturati come grafi arbitrari per consentire l'aggregazione e il ragionamento complesso, l'implementazione esistente si basa su un grafo di operazioni statico e definito manualmente.

Questa definizione manuale presenta due limitazioni principali:

1. Accessibilità: Costruire un grafo GoT richiede una conoscenza approfondita della soluzione del problema e dell'ordinamento specifico delle operazioni, creando una barriera all'ingresso elevata per gli utenti.
2. Adattabilità: I grafi statici sono rigidi. Non possono adattarsi alla variabilità della complessità delle istanze di input o alla natura non deterministica ed entropica degli output degli LLM. Di conseguenza, un grafo progettato per un livello di complessità specifico può fallire quando applicato a input con proprietà diverse.

Sebbene lavori precedenti (Ha et al., 2024) abbiano tentato di automatizzare GoT, si basano sulle capacità logiche dell'LLM sottostante per costruire il grafo. Questo articolo affronta la necessità di un approccio che non dipenda dalle capacità di pianificazione dell'LLM per generare la topologia del ragionamento stessa.

Metodologia

Gli autori propongono il Grafo di Pensieri Rinforzato (RGoT), un approccio automatizzato che utilizza l'Apprendimento per Rinforzo (RL) per generare adattivamente un grafo di operazioni partendo da un insieme definito dall'uomo di operazioni disponibili.

Componenti Principali del Framework

Il sistema disaccoppia il Grafo di Operazioni (GoO) dal Grafo di Pensieri (GoT):

• Grafo di Operazioni (GoO): Un grafo aciclico diretto (DAG) che definisce la sequenza e la struttura delle operazioni. È vincolato da una profondità massima ($d_{max}$) e una larghezza massima ($b_{max}$). Per garantire la convergenza, viene imposto un limite di profondità di divergenza ($d_{\neg div}$), dopo il quale il grafo deve convergere verso un singolo sink.
• Grafo di Pensieri (GoT): La traccia di esecuzione effettiva in cui vengono generati i pensieri dell'LLM. Ogni pensiero fa riferimento all'operazione che lo ha creato.
• Operazioni: Definite come Operazioni di Prompt (chiamate all'LLM) o Operazioni di Esecuzione (funzioni programmatiche). Un'Operazione di Punteggio valuta la qualità di un pensiero, restituendo un punteggio numerico.

Formulazione dell'Apprendimento per Rinforzo

L'agente RGoT opera all'interno di un ambiente RL personalizzato per costruire il livello GoO strato per strato.

• Spazio degli Stati ($S$): Una composizione di spazi discreti che include la profondità corrente del grafo, la larghezza, la complessità del compito, la complessità locale, la sequenza di operazioni nel grafo corrente, le azioni precedenti e il punteggio precedente.
• Spazio delle Azioni ($A$): Azioni discrete che includono stop (terminare la costruzione del grafo), backtrack (rimuovere lo strato sink) e append(o) (aggiungere un nuovo strato con l'operazione $o$).
• Funzione di Ricompensa: Progettata tramite reward shaping per penalizzare la profondità eccessiva, premiare le operazioni valide e fornire una ricompensa positiva significativa per la risoluzione riuscita del compito (stato finale).
• Simulazione: Per mitigare l'alto costo dell'addestramento con chiamate reali all'LLM, il comportamento dell'LLM viene simulato. La probabilità di successo di un'operazione data una complessità $c$ è modellata come un esperimento di Bernoulli con probabilità $P(c)$, stimata empiricamente sollecitando l'LLM target (ad esempio, gpt-3.5-turbo-0125) 100 volte per livello di complessità.

Impostazione Sperimentale

Gli autori hanno valutato RGoT su cinque compiti:

1. Somma Lista: Somma di una lista di interi (esempio principale).
2. Ordina Lista: Ordinamento di interi.
3. Intersezione Insiemi: Trovare intersezioni di insiemi.
4. Conta Parole Chiave: Contare le occorrenze di parole chiave nel testo.
5. Unisci Documenti: Unire documenti massimizzando la ritenzione e minimizzando la ridondanza.

Gli esperimenti hanno utilizzato l'algoritmo Proximal Policy Optimization (PPO) con un'architettura di rete a 2 livelli (64 unità). Gli agenti sono stati addestrati su un intervallo specifico di complessità e poi valutati su istanze sia in-distribution che out-of-distribution (complessità più elevate).

Risultati Chiave

• Costruzione Adattiva: Gli agenti RL hanno imparato con successo a costruire grafi di operazioni che si adattano alla complessità del compito. All'aumentare della complessità, gli agenti hanno automaticamente aumentato la ramificazione (divergenza) e la profondità del grafo per decomporre il problema, un comportamento non programmato esplicitamente ma appreso attraverso il segnale di ricompensa.
• Prestazioni vs Baseline: Gli agenti RGoT hanno superato significativamente la baseline standard di prompting Input-Output (IO). Mentre le strategie IO fallivano quando la complessità superava la capacità diretta dell'LLM, gli agenti RGoT hanno mantenuto alti tassi di successo decomponendo i compiti.
• Generalizzazione: Gli agenti hanno dimostrato la capacità di risolvere complessità out-of-distribution (complessità superiori a quelle osservate durante l'addestramento), raggiungendo un tasso medio totale di risoluzione di $0.7512 \pm 0.1089$.
• Varianza: Gli autori hanno osservato varianza nelle prestazioni degli agenti attraverso diversi semi casuali, in particolare nelle regioni out-of-distribution. Ciò è attribuito al segnale di ricompensa sparso ad alte complessità e alla natura on-policy di PPO, che limita la capacità dell'agente di recuperare da impegni di traiettoria subottimali iniziali.

Significato e Affermazioni

Il documento afferma di essere il primo lavoro a presentare un approccio automatizzato per costruire un grafo di pensieri generando e attraversando un grafo di operazioni senza fare affidamento sulla capacità del modello linguistico di pianificare o comprendere le proprietà del compito.

I contributi chiave includono:

1. Automazione di GoT: Rimuovere la necessità di una definizione manuale del grafo, rendendo così il paradigma GoT più accessibile agli utenti che devono solo definire l'insieme delle operazioni disponibili.
2. Adattabilità: Dimostrare che un agente automatizzato può regolare dinamicamente la topologia del ragionamento in base alla complessità dell'input, superando la rigidità dei grafi statici.
3. Agnosticismo del Modello: Il framework è agnostico rispetto all'LLM specifico utilizzato. Simulando le probabilità di successo dell'LLM, il sistema può essere addestrato in modo economicamente efficiente e applicato a vari modelli, inclusi quelli con intervalli di capacità diversi.
4. Complementarità: Gli autori notano che RGoT (strutturare la topologia del ragionamento) è complementare a Knowledge Graph of Thoughts (KGoT), che struttura la conoscenza recuperata esternamente, suggerendo un potenziale per applicazioni future combinate.

Gli autori mantengono un tono modesto, riconoscendo che, sebbene l'approccio mostri promesse sotto vincoli specifici e per compiti definiti, la varianza nelle prestazioni e la dipendenza dalla simulazione per l'addestramento rimangono aree da considerare. Non affermano una superiorità universale su tutti i metodi di prompting, ma evidenziano l'utilità specifica della costruzione adattiva e automatizzata di grafi per compiti complessi e decomponibili.