Dynamic Tool Dependency Retrieval for Efficient Function Calling

Il documento presenta DTDR, un metodo di recupero dinamico delle dipendenze degli strumenti che, condizionandosi sia alla query iniziale che al contesto di esecuzione in evoluzione, supera i limiti dei recuperatori statici migliorando significativamente l'accuratezza e l'efficienza degli agenti di chiamata di funzioni.

L'essenziale

Immagina di avere un assistente personale super intelligente (come un robot o un mago digitale) che vive sul tuo telefono. Questo assistente è molto bravo a capire cosa vuoi, ma ha un problema: deve scegliere tra centinaia di strumenti diversi (app, funzioni, pulsanti) per aiutarti.

Se gli dai una lista di tutti gli strumenti possibili ogni volta che gli parli, il suo cervello si sovraccarica, diventa lento e spesso sbaglia, scegliendo lo strumento sbagliato. È come se dovessi cercare un ago in un pagliaio ogni volta che vuoi cucire un bottone.

Fino a poco tempo fa, gli assistenti cercavano gli strumenti in due modi "statici":

1. Guardando solo la tua richiesta: Se dici "Manda un'email", cerca solo le app di posta. Ma se hai già aperto l'email e ora devi allegare un file, potrebbe non capire che ha bisogno anche dell'app dei file.
2. Guardando solo l'ultimo passo: Se l'ultimo strumento usato era "apri email", pensa che il prossimo debba essere sempre "apri email". È come se un cuoco, dopo aver tagliato una cipolla, pensasse che debba tagliare ancora cipolle per sempre, dimenticandosi di mettere la pentola sul fuoco.

La Soluzione: DTDR (Il "Navigatore Dinamico")

Gli autori di questo paper hanno creato un nuovo metodo chiamato DTDR (Dynamic Tool Dependency Retrieval). Immaginalo come un navigatore GPS intelligente che non guarda solo la destinazione finale, ma anche il percorso che hai già fatto.

Ecco come funziona, con una metafora semplice:

1. Non è solo una lista, è una mappa che si aggiorna

Quando chiedi al tuo assistente: "Manda un'email a Marco con l'agenda", il DTDR non guarda solo la frase. Guarda:

• Cosa vuoi: Inviare un'email.
• Cosa hai già fatto: Hai già aperto l'app email? Hai già scritto il testo?
• Le dipendenze: Per inviare quell'email, prima devi aver trovato l'indirizzo di Marco (quindi serve l'app contatti) e prima devi aver aperto l'allegato (quindi serve l'app file).

Il DTDR crea una mappa dinamica che dice: "Ok, siamo a questo punto del viaggio. Per arrivare alla destinazione, i prossimi 2-3 passi logici sono questi, non tutti gli altri 100 possibili".

2. Perché è leggero e veloce?

I metodi vecchi provavano a mostrare all'assistente tutti gli strumenti possibili, o una lista fissa basata su esempi passati.
Il DTDR è come un filtro magico:

• Prende la tua richiesta.
• Guarda cosa hai già fatto.
• Taglia via tutto ciò che è inutile in quel momento specifico.
• Passa all'assistente solo 3 o 4 strumenti rilevanti invece di 50.

Questo è fondamentale per i telefoni (dispositivi "on-device"): il telefono non ha la potenza di un supercomputer in cloud. Se l'assistente deve leggere 50 strumenti, si blocca. Se ne legge 3, è velocissimo e consuma poca batteria.

I Risultati: Quanto è meglio?

Il paper ha fatto dei test su diversi scenari (dalla gestione delle email alla creazione di eventi). I risultati sono impressionanti:

• Meno errori: Gli assistenti che usano questo metodo sbagliano molto meno perché non vengono distratti da strumenti inutili.
• Più successo: Il tasso di successo delle operazioni è aumentato fino al 104% rispetto ai metodi vecchi. È come dire che un assistente che prima faceva 5 cose su 10, ora ne fa 15 su 10 (perché risolve compiti più complessi che prima falliva).
• Adattabilità: Funziona bene sia su telefoni piccoli (con poca memoria) che su modelli più grandi.

In sintesi

Immagina di essere in una cucina enorme piena di 1000 utensili.

• Metodo vecchio: Il cuoco guarda la ricetta, poi guarda tutti i 1000 utensili, cerca di indovinare quale usare, e spesso prende il martello invece del coltello.
• Metodo DTDR: Il cuoco guarda la ricetta, guarda cosa ha già fatto (ha già tagliato la carne?), e il sistema gli porge solo il coltello e il tagliere, dicendo: "Per il prossimo passo, usa solo questi due".

Il risultato? La cena viene preparata più velocemente, con meno sprechi e senza bruciare la cucina. Questo è il DTDR: un modo intelligente, leggero e dinamico per dire all'intelligenza artificiale esattamente quali "attrezzi" usare, passo dopo passo.

Sommario tecnico

1. Il Problema

Gli agenti basati su Large Language Models (LLM) che utilizzano il "function calling" (chiamata di funzioni) devono selezionare gli strumenti esterni (API) corretti per automatizzare compiti complessi. Tuttavia, l'implementazione di questi agenti on-device (sui dispositivi mobili) presenta due sfide critiche:

1. Vincoli di efficienza: Limitazioni severe di memoria e latenza richiedono modelli compatti e prompt brevi.
2. Efficacia su grandi set di strumenti: Con centinaia di API disponibili, includere tutte le descrizioni nel prompt è inefficiente e confonde il modello.

Le soluzioni attuali utilizzano moduli di recupero (retrieval) per selezionare solo gli strumenti rilevanti, ma soffrono di limitazioni fondamentali:

• Input statici: Molti metodi si basano solo sulla similarità semantica tra la query dell'utente e la descrizione dello strumento, ignorando il contesto dinamico dell'esecuzione.
• Dipendenze non modellate: Non catturano le dipendenze multi-step tra gli strumenti (es. per inviare un'email a più persone, è necessario chiamare ripetutamente la funzione "ottenere indirizzo email").
• Bias storici: I metodi basati su grafi statici costruiti da traiettorie di dimostrazione tendono a recuperare strumenti irrilevanti o a favorire chiamate ripetute non necessarie, degradando accuratezza ed efficienza.

2. Metodologia Proposta: DTDR

Gli autori propongono Dynamic Tool Dependency Retrieval (DTDR), un metodo di recupero leggero che condiziona la selezione degli strumenti sia sulla query iniziale che sul contesto di esecuzione in evoluzione (la storia delle chiamate di funzione precedenti).

L'obiettivo è recuperare un sottografo minimale e specifico per il compito, adattandosi man mano che il piano di esecuzione si dispiega. DTDR viene implementato in due varianti leggere:

A. DTDR-C (Clustering-based)

• Approccio: Non supervisionato.
• Funzionamento: Utilizza un modello di embedding pre-addestrato per mappare le query in uno spazio vettoriale. Viene applicato un clustering (K-Means) per raggruppare le dimostrazioni simili.
• Recupero: Per una nuova query, il sistema identifica il cluster pertinente e costruisce un grafo di dipendenza degli strumenti specifico per quel cluster. Questo grafo viene poi attraversato basandosi sulla storia delle chiamate precedenti ($f_{0:t-1}$) per prevedere i prossimi strumenti probabili.
• Vantaggio: Non richiede addestramento pesante, ideale per scenari con risorse limitate.

B. DTDR-L (Linear-based)

• Approccio: Supervisionato.
• Funzionamento: Addestra un classificatore lineare a uno strato sopra un modello di embedding congelato.
• Recupero: Il classificatore prende in input la concatenazione della query e della storia delle funzioni e predice la distribuzione di probabilità per il prossimo strumento. Vengono selezionati solo gli strumenti con probabilità superiore a una soglia $\alpha$.
• Vantaggio: Apprende direttamente le dipendenze contestuali dai dati di dimostrazione, adattandosi meglio a pattern specifici.

Integrazione nel Prompt (ICL)

Una volta recuperato il sottoinsieme di strumenti, il paper analizza diverse strategie di codifica nel prompt (In-Context Learning):

• Hard Masking: Rimuove completamente gli strumenti non rilevanti dal prompt, riducendo drasticamente la lunghezza.
• Soft Masking: Mantiene tutti gli strumenti ma evidenzia quelli recuperati.
• Weighted Hard Masking: Include le probabilità di recupero come pesi nel prompt.
• Risultato: Per i modelli più piccoli (edge), l'Hard Masking pesato si è rivelato la strategia migliore, semplificando il problema decisionale per l'LLM.

3. Contributi Chiave

1. Metodo di Recupero Dipendente dal Contesto: DTDR è il primo approccio leggero che combina esplicitamente la query utente e la storia delle chiamate per recuperare dipendenze di strumenti, superando i limiti dei metodi statici o basati solo sulla query.
2. Valutazione Estensiva: Il metodo è stato testato su quattro dataset (TinyAgent, TaskBench DailyLife, HuggingFace, Multimedia) e su diversi backbone LLM (dai modelli Qwen 3 da 0.6B a 14B, fino a GPT-4o).
3. Analisi dell'Efficienza del Prompt: Dimostrazione che la riduzione dinamica del set di strumenti non solo migliora l'accuratezza, ma riduce la lunghezza del prompt fino al 51% (e la parte variabile fino al 72%), cruciale per l'inferenza on-device.
4. Dimostrazione della Superiorità: I risultati mostrano che i metodi statici o privi di consapevolezza storica falliscono nel recuperare gli strumenti corretti per compiti multi-step.

4. Risultati Sperimentali

I risultati sono significativi sia nelle metriche di recupero che in quelle di esecuzione del compito:

• Accuratezza di Selezione Funzione (FSA): DTDR supera gli stati dell'arte (SOTA) in tutte le configurazioni.
  • Su TinyAgent, DTDR-L raggiunge il 65.1% di accuratezza di selezione, contro il 30.7% del miglior retriever statico (DR) e il 25.6% del Learned Retriever statico.
  • Su TaskBench HuggingFace, DTDR-L ottiene il 27.8% contro il 17.1% del baseline statico.
• Successo End-to-End (FCA): Per i dataset con dipendenze tra strumenti, DTDR migliora il tasso di successo del compito finale tra il 23% e il 104% rispetto ai migliori baselines statici.
• Ponte tra Edge e Cloud: Su TinyAgent, l'uso di DTDR-L con un modello Qwen 3 da 4B supera le prestazioni di un modello Qwen 3 da 14B e di GPT-4o che non utilizzano ICL (In-Context Learning), dimostrando che una strategia di recupero dinamica può compensare la minore capacità del modello.
• Efficienza: La lunghezza del prompt è ridotta significativamente, accelerando la fase di prefilling (dominante per l'inferenza su dispositivi mobili).

5. Significato e Impatto

Questo lavoro è fondamentale per lo sviluppo di agenti AI autonomi su dispositivi mobili.

• Fattibilità On-Device: Dimostra che è possibile ottenere prestazioni di alto livello senza ricorrere a modelli cloud massicci o fine-tuning costoso, utilizzando invece un modulo di recupero leggero e adattivo.
• Gestione della Complessità: Risolve il problema della "curse of dimensionality" nei set di strumenti, permettendo agli agenti di navigare efficacemente in ambienti con centinaia di API dinamiche.
• Scalabilità: L'approccio è scalabile e si adatta a diverse dimensioni di modelli, rendendo possibile l'implementazione di agenti intelligenti su hardware con risorse limitate (es. smartphone, PC edge).

In sintesi, DTDR trasforma il recupero degli strumenti da un processo statico e basato su similarità superficiale a un processo dinamico e contestuale, abilitando agenti on-device più precisi, efficienti e capaci di pianificazione multi-step.