Riepilogo Tecnico: GOAT: Un Framework di Addestramento per Agenti Orientati agli Obiettivi con Strumenti

Enunciato del Problema

I Large Language Models (LLM) si sono evoluti in agenti interattivi capaci di invocare strumenti esterni (API). Tuttavia, persiste un divario significativo nella gestione di query orientate agli obiettivi. A differenza di compiti più semplici che coinvolgono query a singolo passaggio o istruzioni esplicitamente specificate, i compiti orientati agli obiettivi richiedono che un agente decomponga un obiettivo di alto livello in una sequenza di chiamate API interdipendenti. Ciò richiede un ragionamento complesso per la decomposizione del compito, una pianificazione a lungo orizzonte e la capacità di inferire argomenti appropriati per le funzioni API basandosi sugli output delle chiamate precedenti.

Gli approcci attuali per l'addestramento di agenti per questi compiti sono limitati dall'assenza di dati di addestramento di alta qualità. La costruzione di dataset che catturino le dipendenze inter-API richiede tipicamente una costosa annotazione umana, che non è scalabile. Di conseguenza, la maggior parte dei metodi esistenti si basa su valutazioni zero-shot, dove ci si aspetta che i modelli eseguano ragionamenti complessi senza supervisione specifica per il compito. Sebbene i modelli proprietari (ad es. GPT-4) mostrino una certa capacità, i modelli open-source più piccoli spesso falliscono nell'eseguire efficacemente questi scenari complessi di utilizzo degli strumenti.

Metodologia: Il Framework GOAT

Per affrontare il problema della scarsità di dati, gli autori propongono GOAT (Goal-Oriented Agent with Tools), un framework di addestramento completamente automatico che sintetizza dati di esecuzione API orientati agli obiettivi dalla documentazione API esistente senza annotazione umana. Il framework opera sulla premessa che la documentazione API è tipicamente disponibile per i domini target e può essere sfruttata per costruire dati di addestramento.

1. Costruzione Automatica del Dataset

L'innovazione centrale di GOAT è un paradigma di generazione call-first, che contrasta con le strategie "instruction-first" utilizzate in lavori precedenti (dove un LLM genera prima una query e poi tenta di mapparla su chiamate API). GOAT inverte questo flusso per evitare bias di auto-rafforzamento verso istanze "facili".

Il processo di costruzione dei dati coinvolge tre fasi principali:

• Costruzione del Grafo delle Dipendenze API:

  • Analisi: I documenti API vengono analizzati per estrarre le specifiche di input/output.
  • Inizializzazione del Grafo: Viene inizializzato un multidigrafo completamente connesso dove gli archi rappresentano potenziali dipendenze (output dell'API $A$ come input dell'API $B$).
  • Filtraggio Progressivo: Per garantire l'affidabilità, il grafo viene raffinato attraverso tre fasi di filtraggio:
    1. Similarità di Embedding: Filtraggio grossolano utilizzando embedding SBERT per scartare archi semanticamente incompatibili.
    2. Verifica LLM: Un LLM valuta la plausibilità semantica basandosi esclusivamente sulle descrizioni.
    3. Validazione dell'Esecuzione: Il passaggio più rigoroso, in cui l'LLM genera argomenti, esegue l'API sorgente e verifica se l'output può popolar validamente i parametri dell'API di destinazione. Ciò garantisce che vengano mantenuti solo flussi di lavoro eseguibili.

• Sintesi di Dati Orientati agli Obiettivi:

  • Campionamento: I sottografi connessi (che rappresentano sequenze API valide) vengono estratti dal grafo delle dipendenze.
  • Istanteizzazione Call-First: Il framework istanzia ed esegue la sequenza API, generando output concreti.
  • Generazione di Query e Risposta: Sulla base della sequenza eseguita e degli output, l'LLM genera una query utente in linguaggio naturale che racchiude l'obiettivo di alto livello e una risposta finale che interpreta i risultati. Ciò crea un dataset in cui il segnale di supervisione (la sequenza di chiamate API) è radicato nella realtà, e la query è un'astrazione di tale realtà.

2. Addestramento dell'Agente

Il framework affina due componenti sul dataset sintetizzato:

• Agente LLM: Addestrato per istruzione a pianificare la sequenza corretta di chiamate, riempire gli argomenti (con i valori degli argomenti mascherati durante l'addestramento per prevenire l'overfitting su valori specifici) e generare la risposta finale in linguaggio naturale.
• Retriever: Un modello di recupero denso (basato su SBERT) addestrato su coppie query-documento API ground-truth per mappare le query utente alle specifiche API rilevanti.

Contributi Chiave

1. Framework GOAT: Un framework di addestramento nuovo e completamente automatico che costruisce dataset di esecuzione API orientati agli obiettivi dalla documentazione API senza annotazione umana. Introduce una strategia di generazione call-first che fornisce una supervisione affidabile per l'apprendimento di ragionamenti complessi radicando i dati in flussi di lavoro API eseguibili.
2. Prestazioni all'Avanguardia: Esperimenti estesi dimostrano che gli agenti addestrati con GOAT raggiungono prestazioni all'avan-guardia su molteplici benchmark esistenti orientati agli obiettivi utilizzando modelli open-source, in alcuni casi superando modelli closed-source con forti capacità di ragionamento.
3. GOATBench: L'introduzione di un nuovo benchmark di valutazione su larga scala per compiti orientati agli obiettivi. Costruito utilizzando la pipeline GOAT con una leggera verifica umana, copre domini diversificati (Intrattenimento, Finanza, Cibo, Viaggi) e include sia composizioni API "viste" che "non viste" per testare la generalizzazione.

Risultati Sperimentali

Gli autori hanno valutato GOAT su RestBench, API-Bank e il nuovo GOATBench.

• RestBench: I modelli open-source (Llama-2-13B, Vicuna-13B) affinati con GOAT hanno mostrato miglioramenti sostanziali rispetto alle baseline zero-shot e ai metodi open-source precedenti (RestGPT). In alcuni casi, hanno superato modelli closed-source come GPT-4.
• API-Bank: I modelli addestrati con GOAT hanno superato significativamente le baseline zero-shot e altri approcci basati su dati sintetici, raggiungendo tassi di successo e percentuali di percorsi corretti più elevati.
• GOATBench: Gli agenti addestrati con GOAT hanno dimostrato guadagni costanti rispetto ai modelli non affinati e ai modelli addestrati con dati instruction-first (ad es. da ToolLLM). Il framework si è dimostrato efficace sia in scenari a singolo strumento che inter-strumento (multi-API).
• Studi di Ablazione:
  • Call-First vs. Instruction-First: I modelli addestrati con dati call-first hanno raggiunto costantemente tassi di successo più elevati rispetto a quelli addestrati con dati instruction-first, validando la capacità della strategia di fornire una supervisione migliore per il ragionamento complesso.
  • Generalizzazione: I modelli addestrati su GOATBench hanno mostrato prestazioni migliorate su API non viste e generalizzazione cross-benchmark (ad es. addestramento su GOATBench e test su RestBench), sebbene i guadagni fossero più pronunciati nel dominio.

Significato e Affermazioni

Il documento afferma che GOAT fornisce un percorso pratico e scalabile verso la creazione di agenti LLM open-source robusti capaci di ragionamento complesso e utilizzo di strumenti. Eliminando la dipendenza da costose annotazioni umane e sfruttando il paradigma "call-first", GOAT consente un'adattamento efficiente specifico per dominio degli LLM. I risultati suggeriscono che i modelli open-source, quando opportunamente affinati con questi dati sintetici, possono competere o superare le prestazioni dei modelli proprietari nell'utilizzo di strumenti orientati agli obiettivi, affrontando un collo di bottiglia critico nel dispiegamento di sistemi AI agenti.

Gli autori riconoscono le limitazioni, notando che, sebbene il framework migliori le prestazioni nel dominio, la generalizzazione a scenari completamente non visti rimane limitata e la qualità dei dati generati dipende dalla qualità della documentazione API sorgente. Tuttavia, il lavoro stabilisce una nuova baseline per l'addestramento di agenti su utilizzo di strumenti interdipendenti senza intervento umano.