MyAG: A Graph-Based Framework for Designing and Analyzing Composable LLM Agent Systems

Immaginate un mondo in cui i computer non si limitano a rispondere alle domande, ma compiono effettivamente delle azioni. Possono navigare sul web, prenotare voli o risolvere puzzle complessi agendo come assistenti digitali. Questo è il regno degli Agenti IA. Pensate a loro non come a semplici chatbot, ma come a piccoli robot con un cervello (un Modello di Linguaggio di Grandi Dimensioni) e un set di mani (strumenti per interagire con il mondo). Ma ecco la parte complicata: costruire questi robot è un lavoro disordinato. Bisogna decidere quali strumenti devono avere, come devono pensare passo dopo passo e cosa fare quando si bloccano. È come cercare di costruire un'auto in cui il motore, il volante e il GPS sono tutti incollati in un modo che rende impossibile sostituirli. Se vuoi cambiare il modo in cui l'auto guida, potresti dover ricostruire l'intero motore. I ricercatori stanno cercando di capire come costruire questi agenti affinché siano flessibili, efficienti e facili da riparare, perché al momento è difficile capire se un robot stia fallendo perché è "stupido" o perché le istruzioni erano semplicemente scritte male.

Entra in scena MyAG, un nuovo toolkit creato da Zhisong Zhang della City University of Hong Kong. Il documento presenta MyAG come un "framework basato su grafi", un modo elegante per dire che organizza la progettazione degli agenti in tre progetti separati e chiari invece di un unico grande groviglio disordinato. Gli autori suggeriscono che separando il "chi" (i componenti), il "come" (il flusso di lavoro) e il "e se" (la strategia di ricerca), gli sviluppatori possono combinare e accoppiare le parti come pezzi Lego. Hanno scoperto che questa separazione rende molto più facile testare diverse strategie senza dover riscrivere l'intero sistema. Nei loro esperimenti, hanno dimostrato che questo approccio permette un esame dettagliato dei compromessi tra quanto bene un agente svolge un compito e quanto tempo o denaro costa farlo. Non hanno sostenuto di aver risolto tutti i problemi dell'IA, ma hanno dimostrato che il loro metodo aiuta i ricercatori a vedere esattamente dove l'agente sta spendendo il suo tempo e dove sta sprecando risorse.

I Tre Progetti di un Cervello Digitale

Per capire MyAG, immaginate di dirigere un film. Avete tre lavori distinti e MyAG insiste affinché li manteniate separati per poterne sistemare uno senza rovinare gli altri.

1. Il Grafo dei Componenti: Il Cast e la Troupe
Questo è il vostro elenco di chi partecipa al film. Nel mondo dell'IA, questi sono gli agenti (gli attori che prendono decisioni), gli ambienti (i set su cui recitano, come un browser web) e gli strumenti (gli oggetti di scena che usano). In MyAG, questo è disegnato come una mappa che mostra chi può parlare con chi. Ad esempio, un "Agente d'Azione" potrebbe essere collegato a un "Ambiente Browser", il che significa che l'agente può cliccare sui pulsanti di una pagina web. La cosa interessante qui è che potete riutilizzare lo stesso attore per scene diverse. Non dovete costruire un nuovo attore solo perché la scena cambia; basta dire all'esistente cosa fare dopo.

2. Il Grafo del Flusso di Lavoro: La Sceneggiatura
Questa è la sceneggiatura che dice agli attori quando parlare e cosa fare dopo. È il flusso della storia. L'agente controlla il meteo e poi prenota un biglietto? O torna indietro e riprova se fallisce? MyAG vi permette di disegnare questa sceneggiatura sotto forma di diagramma di flusso. Potete avere cicli, ramificazioni (se succede questo, vai a sinistra; se succede quello, vai a destra) e condizioni di arresto. La parte migliore? Potete mantenere lo stesso cast (Grafo dei Componenti) ma sostituire la sceneggiatura (Grafo del Flusso di Lavoro) per vedere se una diversa struttura narrativa funziona meglio.

3. Il Grafo di Ricerca: Le Prove del "E se..."
È qui che la cosa diventa davvero interessante. A volte, un robot ha bisogno di esplorare diversi percorsi prima di decidere quale sia il migliore. Magari prova una porta, si rende conto che è chiusa e poi prova una finestra. Il Grafo di Ricerca registra tutti questi scenari del "e se...". Tiene traccia di ogni ramo intrapreso dall'agente, di ogni vicolo cieco e di ogni percorso di successo. Ciò consente al sistema di utilizzare strategie come la "Ricerca Best-First" (scegliere sempre il percorso più promettente) o il "Rollback" (tornare a un passaggio precedente se le cose vanno male). È come avere un regista che può dire: "Taglia! Proviamo di nuovo quella scena, ma questa volta il personaggio corre invece di camminare", senza dover ricostruire l'intero set cinematografico.

Costruire Torri con i Blocchi Lego

Una delle grandi idee del documento è la Composizione Gerarchica. Immaginate di stare costruendo un robot gigante. Invece di provare a progettare ogni minuscola vite e cavo tutto in una volta, costruite una mano, poi una gamba, poi una testa e infine le assemblate. MyAG vi permette di fare questo con gli agenti IA. Potete costruire un piccolo "Sistema di Navigazione Web" che è molto bravo a trovare articoli su internet. Poi, potete avvolgere l'intero sistema e trattarlo come un singolo strumento all'interno di un sistema più grande di "Assistente alla Ricerca".

Il documento spiega che questi "sottosistemi" possono essere stateless (si resettano ogni volta che vengono utilizzati, come una calcolatrice) o stateful (ricordano ciò che è accaduto prima, come un assistente umano che ricorda le vostre preferenze). Questa modularità significa che potete costruire agenti complessi incastrando pezzi più piccoli e già testati, invece di ricominciare da zero ogni volta.

Il Cronometro e il Portafoglio: Misurare l'Efficienza

Gli autori tengono conto anche dell'efficienza. Sostengono che il fatto che un agente trovi la risposta giusta non significa necessariamente che sia un buon agente; potrebbe averci messo 100 tentativi e aver costosamente consumato tempo di calcolo. MyAG include un cronometro e un portafoglio integrati.

Misurano due cose principali:

• Costo LLM ($C_L$): Quanto costa il "cervello". Questo viene calcolato in base a quante parole (token) l'IA legge e scrive. Utilizzano una formula in cui pesano i token in ingresso e in uscita, permettendo agli utenti di impostare i prezzi in base a quanto è costoso il modello di IA.
• Costo dell'Ambiente ($C_E$): Quanto costano le "mani". Questo misura il tempo necessario per compiere azioni nel mondo reale, come aspettare che una pagina web si carichi o scorrere una pagina verso il basso.

Tracciando questi costi, i ricercatori possono vedere il compromesso tra prestazioni ed efficienza. Ad esempio, hanno scoperto che una strategia semplice "Greedy" (fare semplicemente la prima cosa che viene in mente) è la più veloce e la più economica. Tuttavia, una strategia di "Rollback" (che permette all'agente di tornare indietro e riprovare) può essere leggermente più costosa, ma spesso ottiene un risultato migliore. La strategia "Best-of-N" (provare molti percorsi contemporaneamente e scegliere il migliore) può essere molto accurata, ma è molto lenta e costosa.

Cosa hanno mostrato gli Esperimenti

Il team ha testato MyAG su due compiti del mondo reale: rispondere a domande complesse (usando il benchmark GAIA) e navigare nei siti web (usando Mind2Web-Live). Hanno eseguito questi test con diverse strategie per vedere come si confrontavano.

• Velocità vs Intelligenza: La strategia Greedy è stata la più efficiente, richiedendo meno tempo e utilizzando meno token di calcolo perché non perdeva tempo a controllare le alternative.
• Il Potere delle Seconde Opportunità: La strategia Rollback è stata la migliore in termini generali quando dotata di tempo sufficiente. Ha permesso all'agente di ammettere gli errori e riprovare, il che ha portato a una maggiore precisione, nonostante il costo leggermente superiore in termini di tempo e token.
• Il Costo della Complessità: Strategie come Best-First e Best-of-N potevano migliorare le prestazioni, ma comportavano un prezzo elevato. Richiedevano molta più potenza di calcolo e tempo. Il documento nota che il successo di questi metodi complessi dipende fortemente dalla presenza di un buon "giudice" per decidere quale percorso sia il migliore.

Hanno anche analizzato dettagliatamente dove veniva speso il tempo. Per la navigazione web, hanno scoperto che lo "scorrimento" (scrolling) era sorprendentemente economico e veloce, mentre l' "attesa" del caricamento di una pagina era l'azione più costosa, occupando una fetta enorme del tempo pur accadendo con meno frequenza. Questo tipo di analisi dettagliata aiuta gli sviluppatori a sapere esattamente dove ottimizzare i loro agenti.

In Conclusione

MyAG non è una bacchetta magica che risolve tutti i problemi dell'IA, e gli autori sono chiari nel dire che è progettato come uno strumento di ricerca, non come un prodotto finito per costruire app commerciali con milioni di utenti. Non gestisce ancora aspetti come la sicurezza o le reti distribuite. Tuttavia, dimostra con successo che separare il "chi", il "come" e il "e se" rende molto più facile progettare, testare e comprendere gli agenti IA. Fornendo ai ricercatori un modo chiaro per visualizzare e misurare i loro agenti, MyAG aiuta a capire come costruire assistenti digitali più intelligenti, veloci ed economici. Il documento suggerisce che questo approccio è un passo avanti fondamentale per rendere i sistemi di agenti IA più trasparenti e gestibili.