Riepilogo Tecnico: CoCoDA – DAG Composito Co-evolutivo per Agenti Potenziati da Strumenti

1. Formulazione del Problema

I modelli linguistici potenziati da strumenti (LLM) estendono piccoli pianificatori con abilità eseguibili esterne, consentendo loro di scaricare il calcolo e la manipolazione simbolica. Tuttavia, la scalabilità della libreria di strumenti introduce una tensione fondamentale: la libreria deve evolvere insieme al pianificatore per catturare nuove subroutine riutilizzabili, eppure il recupero da una libreria in crescita deve rimanere entro un budget di contesto fisso.

Gli approcci esistenti non riescono a risolvere questo accoppiamento. I sistemi statici di utilizzo degli strumenti presuppongono un inventario fisso, mentre i metodi basati su librerie di abilità archiviano solitamente gli strumenti come record di testo piatto o memorie in linguaggio naturale. Queste strutture piatte fanno sì che i costi dei prompt crescano linearmente con la dimensione della libreria e oscurano la struttura tipizzata e composita del codice eseguibile. Al contrario, i metodi basati su librerie di codice sfruttano la struttura ma non sono progettati per pianificatori LLM che operano sotto vincoli di recupero basati sul budget di token. La sfida principale è progettare un meccanismo che sia simultaneamente consapevole del codice, efficiente nel recupero e apprendibile online, risolvendo due problemi accoppiati: come far crescere la libreria insieme alla politica e come recuperare da tale libreria in crescita sotto una finestra di contesto fissa.

2. Metodologia: Il Framework CoCoDA

CoCoDA affronta queste sfide attraverso una singola struttura nativa del codice: un DAG di Codice Composito (Grafo Aciclico Diretto). Questo framework fa co-evolvere il pianificatore ($\pi_\theta$) e la libreria di strumenti ($L$) tramite due componenti principali: Recupero DAG Tipizzato e una procedura di co-evoluzione online.

2.1 Struttura DAG degli Strumenti Compositi

La libreria $L$ è organizzata come un DAG $G=(V, E)$ dove:

• Nodi ($V$): Partizionati in nodi primitivi (funzioni eseguibili atomiche) e nodi compositi (macro-azioni che invocano strumenti esistenti).
• Archi ($E$): Codificano le dipendenze di invocazione, stratificando la libreria per astrazione piuttosto che per similarità superficiale.
• Record dei Nodi ($I(v)$): Ogni nodo archivia un record a quattro livelli:
  1. $L_1$: Firma tipizzata (simbolica).
  2. $L_2$: Descrizione in linguaggio naturale.
  3. $L_3$: Specifiche pre/post-condizione e complessità.
  4. $L_4$: Esempi di input-output risolti.

2.2 Recupero DAG Tipizzato

Al momento dell'inferenza, CoCoDA impiega una cascata di recupero dal grossolano al fine che pota i candidati simbolicamente prima di sostenere costi elevati per LLM. Dato un sub-obiettivo indotto da una query, il processo costruisce una sequenza annidata di insiemi sopravvissuti $S_0 \supseteq S_1 \supseteq S_2 \supseteq S_3 \supseteq S_4$:

1. $L_1$ (Potatura Simbolica): Filtra gli strumenti unificando la firma del sub-obiettivo con la firma tipizzata dello strumento. Questa fase è simbolica e non comporta alcun costo di token di prompt.
2. $L_2$ (Espansione Semantica): Classifica i sopravvissuti per rilevanza semantica utilizzando le descrizioni. Crucialmente, questa fase può risalire a un composito che li comprende o scendere a un primitivo in base alla struttura del DAG, una capacità che il recupero di testo piatto non possiede.
3. $L_3$ (Filtraggio delle Specifiche): Verifica le pre/post-condizioni e i vincoli di complessità. I compositi sopravvissuti sono certificati come macro-azioni equivalenti alle loro sotto-traiettorie primitive.
4. $L_4$ (Disambiguazione tramite Esempi): Ricalifica i sopravvissuti utilizzando esempi risolti per risolvere le parità.

Questa cascata garantisce che i record costosi fatturati agli LLM siano materializzati solo per insiemi di candidati progressivamente più piccoli, mantenendo il costo di recupero sublineare rispetto alla dimensione della libreria.

2.3 Co-evoluzione Online

Il framework aggiorna il pianificatore e la libreria simultaneamente in base alle traiettorie di successo:

• Crescita della Libreria: Le traiettorie di successo vengono passate a un astrattore insegnante fisso ($M_T$) che propone strumenti compositi. Una proposta viene accettata solo se preserva l'aciclicità e soddisfa i controlli di dipendenza/specifica (tramite INSERTTOOL).
• Aggiornamento del Pianificatore: Il pianificatore viene aggiornato utilizzando una ricompensa indotta dal DAG. Oltre alla ricompensa standard per il risultato ($R_{res}$), una ricompensa composita ($R_{comp}$) accredita gli strumenti in base al loro conteggio di "chiamate salvate" ($\Phi$), definito come il numero di chiamate primitive che un composito sostituisce.
  • $R(\tau) = R_{res}(\tau) + \lambda \sum \Phi(t_i)$.
  • Questa ricompensa incoraggia il pianificatore a instradare attraverso compositi più profondi, riducendo efficacemente il numero di chiamate agli strumenti ($T(\tau)$) richieste per un compito.

3. Contributi Chiave

1. Formulazione del Problema: Gli autori inquadrano l'apprendimento della libreria di strumenti per piccoli LLM come un problema di ottimizzazione congiunta con vincoli espliciti di costo di recupero e finestra di contesto, affrontando la crescita accoppiata di politica e libreria.
2. Recupero DAG Tipizzato: Una cascata di recupero nativa del codice che utilizza firme, archi di invocazione, specifiche ed esempi per mantenere il costo del prompt sublineare rispetto alla dimensione della libreria.
3. Procedura di Co-evoluzione: Un meccanismo online che inserisce strumenti compositi validati e addestra il pianificatore con una ricompensa strutturale "chiamate salvate", incoraggiando lo sfruttamento di nuove astrazioni apprese.
4. Garanzie Teoriche: Il documento fornisce prove per:
   • Riduzione del costo di recupero e tempo di recupero sublineare.
   • Vantaggio compositivo sotto la ricompensa modellata (dimostrando che l'uso di compositi produce ricompense strettamente superiori rispetto a sequenze primitive equivalenti).
   • Co-evoluzione monotona sotto aggiornamenti conservativi.
   • Correttezza del DAG (aciclicità e limiti di profondità).

4. Risultati Sperimentali

CoCoDA è stato valutato su sei benchmark che coprono il ragionamento matematico (GSM8K, MATH), l'analisi tabellare (WikiTableQuestions, FinQA) e i compiti di codice (EvalPlus, MBPP).

• Prestazioni: Un modello studente da 8B addestrato con CoCoDA ha eguagliato o superato un modello insegnante da 32B su GSM8K (93,67 vs 93,40) e MATH (63,18 vs 61,62).
• Scalabilità: I guadagni rispetto alla Chain-of-Thought (CoT) classica sono stati più significativi a scale più piccole (ad esempio, +10,7 su GSM8K per il modello da 0,6B).
• Baseline: CoCoDA ha costantemente superato solide baseline di utilizzo degli strumenti (ReAct, ToRL, ReTool) e metodi di apprendimento delle librerie (CREATOR, TroVE). In particolare, le baseline di costruzione della libreria senza un ciclo stretto studente-insegnante hanno ottenuto prestazioni inferiori alla CoT pura su compiti matematici e di codice, confermando la necessità della co-evoluzione.
• Efficienza: Mentre la dimensione della libreria cresceva fino a 1.600 nodi, il costo di recupero di CoCoDA era circa 11,4$\times$ inferiore rispetto al recupero piatto e 4,7$\times$ inferiore rispetto al RAG gerarchico testuale.
• Ablazione: La rimozione del DAG degli Strumenti Compositi (CTD) ha causato il calo di prestazioni più grande (2–4 punti), evidenziando l'importanza degli archi di dipendenza. La disattivazione del Recupero DAG Tipizzato (TDR) ha danneggiato maggiormente i compiti tabellari, mentre la rimozione della ricompensa consapevole del grafo (GAR) ha ridotto uniformemente le prestazioni.

5. Significato e Affermazioni

Il documento afferma che CoCoDA risolve la tensione tra crescita della libreria e vincoli di contesto sfruttando le proprietà strutturali uniche del codice eseguibile. Rappresentando la libreria come un DAG composito, il framework abilita:

• Recupero Sublineare: La capacità di portare alla luce astrazioni complesse e riutilizzabili senza aumentare linearmente i costi di contesto.
• Apprendimento Strutturale: Un segnale di ricompensa che accredita esplicitamente il pianificatore per la compressione di sequenze primitive in compositi, guidando la co-evoluzione di politica e libreria.
• Scalabilità: La capacità di piccoli modelli (8B) di raggiungere le prestazioni di modelli molto più grandi (32B) sfruttando efficacemente una memoria procedurale esterna ed evolutiva.

Gli autori concludono che questo approccio offre una via percorribile per i piccoli modelli linguistici per scaricare calcolo e manipolazione simbolica in modo efficiente, a condizione che la libreria co-evolva con la politica attraverso una struttura che rispetti la natura eseguibile degli strumenti. Si nota che il lavoro futuro estenderà questo approccio a contesti multimodali e scenari multi-agente.