Sintesi Tecnica: Competenze Dichiarative per Agenti AI in Workflow di Utilizzo di Strumenti con Fondamento di Conoscenza

Problema

Il documento affronta l'orchestrazione di agenti AI in workflow di servizio clienti realistici e complessi che si affidano a basi di conoscenza (KB) non strutturate. Nello specifico, gli autori si concentrano sul benchmark $\tau$-Knowledge, un dominio relativo al servizio clienti fintech in cui gli agenti devono eseguire tre distinte competenze: interazione conversazionale, esecuzione di task procedurali (vincoli di ordinamento, verifiche) e ragionamento su documenti recuperati.

La sfida centrale è che gli agenti devono scoprire le capacità degli strumenti e le regole procedurali all'interno di una vasta KB non strutturata (ad esempio, scoprire che "chiudere un conto bancario" richiede un suffisso casuale specifico e delle precondizioni) prima di eseguirle. L'ambiente è modellato come un Processo Decisionale di Markov Parzialmente Osservabile Decentralizzato (Dec-POMDP), dove l'agente ha una visione incompleta dello stato del database e deve fare affidamento sugli output degli strumenti e sui messaggi dell'utente per raggiungere uno stato target. Gli autori identificano che gli attuali agenti faticano con:

1. Interdipendenze complesse che richiedono ragionamento multi-hop.
2. Mancato rispetto dell'ordinamento implicito dei sottotask (ad esempio, verificare l'identità prima di modificare i dati).
3. Eccessiva fiducia nelle asserzioni dell'utente senza verifica tramite strumenti.
4. Inefficienza nella ricerca e assunzioni ingiustificate.

Metodologia

Lo studio confronta tre distinte classi di policy (paradigmi di orchestrazione) istanziate attraverso cinque Large Language Models (LLM) sotto due regimi di recupero (Golden retrieval e Embedding-based retrieval).

1. Agente Baseline ($\pi_B$)

Un agente LLM standard non scaffoldato, condizionato solo da un prompt di sistema statico e dalla cronologia della conversazione. Non possiede un controllo del flusso esplicito o prior procedurali.

2. Agente Dichiarativo ($\pi_D$)

Questo agente estende la baseline aggiungendo file di skill in linguaggio naturale al prompt di sistema. Questi file agiscono come un prior procedurale, descrivendo:

• Procedure Bancarie: Precondizioni, requisiti di scoperta degli strumenti e vincoli di ordinamento (ad esempio, "l'aumento del limite di credito richiede l'assenza di contenziosi pendenti").
• Interazione con il Cliente: Una struttura conversazionale descrittiva in quattro fasi (Saluto, Triage, Verifica, Azione).
• Scoperta della Conoscenza: Strategie per la ricerca nella KB, enfatizzando che la scoperta dello strumento è un precondizione fondamentale per gli strumenti che modificano lo stato.
  L'LLM legge questi file a runtime e decide il workflow, gli strumenti e la strategia di verifica in modo dinamico, senza una macchina a stati esplicita.

3. Agente Imperativo ($\pi_I$)

Questo agente implementa una macchina a stati finiti deterministica (Controllo Esternalizzato). Impone un grafo di fase rigido: Saluto $\to$ Triage $\to$ Verifica $\to$ Pianificazione $\to$ Esecuzione $\to$ Conferma.

• Flusso di Controllo: Le transizioni di fase sono calcolate dal codice, non dall'LLM.
• Vincoli: Lo spazio delle azioni è ristretto ad ogni turno ($A_{\phi_t} \subset A$). Ad esempio, gli strumenti che mutano lo stato sono consentiti solo nella fase di Esecuzione, che è subordinata a un flag di Verifica avvenuta con successo.
• Meccanismi: Include code di task esplicite (algoritmo di Kahn per l'ordinamento topologico), policy di retry per singolo strumento con escalation deterministica verso una fase di Escalation, e imposizione rigorosa del tipo di risposta.

Framework Teorico

Gli autori formalizzano gli agenti all'interno del framework Dec-POMDP e propongono quattro proposizioni teoriche:

• Prop 1: I file di skill forniscono un vantaggio informativo (riducendo l'entropia condizionale delle azioni) per i modelli con un gap di competenza procedurale.
• Prop 2: La restrizione imperativa restringe la classe di policy; il successo dipende dal fatto che i guadagni in termini di conformità compensino la perdita di capacità del modello.
• Prop 3: Gli agenti imperativi dovrebbero ridurre i costi limitando la lunghezza della traiettoria tramite limiti di retry.
• Prop 4: Il rumore nel recupero degrada il canale di osservazione; se il canale è troppo rumoroso, il beneficio dei file di skill crolla.

Risultati Chiave

1. Impatto dell'Orchestrazione sulle Prestazioni

• Vantaggio Dichiarativo: Sotto Golden Retrieval (evidenza di alta qualità), l'Agente Dichiarativo ha superato costantemente la Baseline su quattro dei cinque modelli, con guadagni che scalano con il gap di competenza procedurale del modello. Ha migliorato il Pass1 (successo del task) e l'Accuratezza della Scrittura dell'Argomento.
• Sottoperformance Imperativa: L'Agente Imperativo è stato inferiore alla Baseline in tutti i modelli e nelle impostazioni di recupero. La restrizione dello spazio delle azioni ha ridotto la capacità del modello di risolvere i task senza fornire sufficienti benefici di conformità per compensare la perdita di capacità.
• Il Recupero come Collo di Bottiglia: Sotto Embedding Retrieval (rumoroso), le prestazioni sono scese drasticamente per tutti gli agenti. Il vantaggio dell'Agente Dichiarativo è crollato per i modelli più deboli, confermando che i file di skill non possono compensare evidenze fondamentalmente errate o mancanti.

2. Conformità ed Efficienza

Contrariamente all'ipotesi che i gate deterministici migliorino la sicurezza:

• Scritture Non Autorizzate: L'Agente Imperativo non ha ridotto il tasso di scritture non autorizzate (scritture prima della verifica) rispetto alla Baseline. In alcuni casi (embedding retrieval), ha avuto un tasso di scritture pre-verifica più elevato.
• Fragilità: L'Agente Imperativo ha mostrato un tasso di over-retry significativamente più alto (4–7$\times$ superiore rispetto a Baseline/Dichiarativo) e lunghezze di traiettoria maggiori. Ciò suggerisce che le transizioni di fase rigide basate su codice sono fragili; se l'LLM classifica erroneamente una fase, può bypassare i gate o entrare in loop infiniti, mentre gli agenti adattivi basati su LLM gestiscono meglio gli errori.
• Costo: L'Agente Imperativo non ha ottenuto i risparmi di costo previsti a causa dell'aumento delle lunghezze delle traiettorie e dei loop di retry.

Significato e Claim

Il documento rivendica i seguenti contributi e intuizioni:

1. Skill Dichiarative come Prior Efficaci: I file di skill in linguaggio naturale sono un paradigma di orchestrazione efficace per gli agenti che utilizzano strumenti, particolarmente quando il modello sottostante presenta un gap di competenza procedurale. Migliorano l'accuratezza e riducono gli errori di orchestrazione senza la fragilità delle macchine a stati.
2. Limitazioni dell'Orchestrazione Imperativa: Lo studio confuta empiricamente l'assunto che le macchine a stati deterministiche garantiscano la conformità in ambienti complessi e non strutturati. La rigidità del controllo basato su codice può portare a una cattiva classificazione delle fasi e all'incapacità di recuperare dagli errori, offrendo nessun vantaggio di sicurezza rispetto agli agenti adattivi in questo contesto.
3. Dominanza del Recupero: La qualità del recupero è il collo di bottiglia dominante per gli agenti AI. Nessun paradigma di orchestrazione (dichiarativo o imperativo) può recuperare le prestazioni quando il canale di osservazione (evidenza recuperata) è rumoroso o incompleto.
4. Implicazioni per l'Ingegneria: Per i domini regolamentati, fare affidamento su gate deterministici per garantire la conformità può essere fuorviante. Gli prompt aumentati dalle skill offrono un metodo manutenibile e a basso costo per migliorare il comportamento dell'agente, a condizione che la qualità del recupero sia elevata.

Gli autori concludono che, sebbene l'orchestrazione dichiarativa offra miglioramenti misurabili dell'accuratezza, il campo deve dare priorità ai progressi nel recupero insieme all'orchestrazione per sbloccare il potenziale commerciale dei sistemi agentici.