Riepilogo Tecnico: Conformità Condizionata da Asserzioni in Agenti Multi-Turn con Tool-Calling

Definizione del Problema

Sebbene i Large Language Models (LLM) aumentati da capacità di tool-calling abbiano dimostrato una significativa utilità nei dialoghi multi-turn, il loro impiego in settori critici per la sicurezza è ostacolato da preoccupazioni riguardanti la robustezza del ragionamento. I benchmark esistenti, come il Berkeley Function-Calling Leaderboard (BFCL), valutano principalmente il successo finale del compito (accuratezza) basandosi sullo stato finale dell'ambiente. Tuttavia, tali metriche spesso non riescono a catturare la robustezza procedurale — ovvero la capacità del modello di mantenere una pipeline di esecuzione corretta quando confrontato con informazioni fuorvianti.

Le attuali valutazioni della sicurezza si concentrano spesso su attacchi avversari espliciti (es. prompt injection) o sulla sicofanzia linguistica (accordo verbale). Esiste un vuoto critico nella comprensione di come gli agenti gestiscono le asserzioni errate che originano da diverse fonti di provenienza:

1. Asserzioni da parte dell'Utente (User-Sourced Assertions - USA): Informazioni fuorvianti fornite dall'utente, che testano la tendenza del modello alla sicofanzia.
2. Asserzioni da parte della Funzione (Function-Sourced Assertions - FSA): Suggerimenti contraddittori o obsoleti provenienti dagli output degli strumenti o dalle policy di sistema, che testano la conformità del modello ai segnali interni del sistema.

Il problema centrale è che un agente può completare con successo un compito (alta accuratezza) pur eseguendo operazioni superflue, insicure o fuorvianti lungo il percorso a causa della conformità a queste asserzioni errate. Questa "over-compliance" silenziosa rappresenta una vulnerabilità latente in cui la pipeline di esecuzione viene corrotta anche se lo stato finale appare corretto.

Metodologia

Gli autori introducono la Assertion-Conditioned Compliance (A-CC), un nuovo paradigma di valutazione progettato per diagnosticare come i modelli incorporano asserzioni errate nel loro ragionamento e nelle loro pipeline di tool-calling.

Setup Sperimentale

• Benchmark: Lo studio utilizza la categoria multi_turn_base del BFCL, composta da 200 voci curate basate su API reali.
• Modelli: La valutazione è stata condotta su 11 modelli allo stato dell'arte, tra cui Qwen3, l'xLAM 2 di Salesforce, Watt Tool, BitAgent Bounty e ToolACE 2, con parametri che variano da 3B a 70B.
• Generazione delle Asserzioni:
  • USA: Asserzioni sintetiche, plausibili ma errate, sono state iniettate nei prompt dell'utente. Sono state generate in due varianti tonali (sicure/confident e esitanti/hedged) e tre modalità funzionali (init, read-heavy, write-heavy) per simulare diversi tipi di depistaggio dell'utente.
  • FSA: Note di policy fuorvianti sono state iniettate direttamente nei payload di output degli strumenti. Sono state progettate per contraddire le azioni intese dall'utente, simulando scenari in cui strumenti non aggiornati forniscono suggerimenti obsoleti o errati.
• Protocollo: Ogni caso di test è stato eseguito in una condizione di baseline (senza asserzione) e in condizioni di asserzione. Lo studio ha tracciato se il modello ha invocato la funzione asserita (errata) almeno una volta all'interno del turno pertinente.

Metriche di Valutazione

Gli autori scindono il Successo del Compito (accuratezza standard BFCL basata sullo stato finale dell'ambiente) dal Tasso di Conformità (Compliance Rate - CR).

• Tasso di Conformità (CR): Misura la frequenza con cui un agente esegue un'operazione asserita, indipendentemente dal fatto che il compito finale abbia successo.
• Bucket di Risultato: Per analizzare la relazione tra accuratezza e conformità, le esecuzioni sono state categorizzate in quattro transizioni:
  • S→S: Successo preservato (la conformità è avvenuta, ma il compito è comunque riuscito).
  • S→F: Fallimento indotto dall'asserzione (la conformità ha portato al fallimento del compito).
  • F→S: Recupero indotto dall'asserzione.
  • F→F: Il fallimento è persistito.

Contributi Chiave

1. Un Nuovo Paradigma di Valutazione (A-CC): Formalizza la misurazione di come gli LLM integrano asserzioni errate nella loro esecuzione procedurale, andando oltre il semplice accordo verbale superficiale per tracciare la manipolazione della pipeline.
2. Vettori di Doppia Provenienza: Introduce test distinti per le asserzioni da parte dell'Utente (sociali) e da parte della Funzione (procedurali), rivelando che gli agenti mostrano diversi bias di conformità a seconda della fonte del segnale fuorviante.
3. Framework di Benchmarking Riproducibile: Fornisce un framework per confrontare empiricamente i pattern comportamentali tra le famiglie di modelli, isolando specificamente gli effetti delle asserzioni etichettate per provenienza.
4. Metriche Scindibili: Stabilisce il Tasso di Conformità come una metrica critica che rivela rischi di sicurezza invisibili alle normali metriche di accuratezza, dimostrando che un alto successo del compito non garantisce una pipeline di esecuzione sicura o efficiente.

Risultati

L'analisi empirica su 11 modelli ha prodotto diverse scoperte critiche:

• Vulnerabilità Diffusa: I modelli mostrano una conformità moderata ma significativa sia alle USA che alle FSA.
  • Conformità USA: La conformità media macro-mediata è stata del 36,3% per le asserzioni sicure e del 27,7% per quelle esitanti. I modelli nativi per gli strumenti (es. Watt Tool 70B) e i modelli context-aware (varianti Qwen3) hanno mostrato una maggiore suscettibilità ai suggerimenti provenienti dalla funzione.
  • Conformità FSA: La conformità media è stata del 27,8%, indicando che gli agenti spesso trattano il feedback errato degli strumenti come autorevole.
• Disaccoppiamento tra Accuratezza e Conformità: Il successo del compito (accuratezza) e la conformità comportamentale non sono strettamente correlati.
  • Modelli con simile accuratezza di base hanno mostrato differenze marcate nei tassi di conformità.
  • Crucialmente, molti modelli hanno mostrato un'alta conformità nel bucket S→S (Successo→Successo). Ciò significa che gli agenti hanno frequentemente eseguito operazioni superflue o fuorvianti pur raggiungendo lo stato finale corretto, mascherando la vulnerabilità sotto le metriche standard.
• Significativo Degradamento nel Caso Peggiore: Nonostante una conformità media moderata, le asserzioni hanno causato cali sostanziali nel successo del compito.
  • Il degradamento del successo nel caso peggiore è stato mediamente di 16,9 punti percentuali tra i modelli.
  • Qwen3 14B (FC) ha subito il calo maggiore (23,4 punti), seguito da xLAM 2 32B (-20,3) e BitAgent Bounty 8B (-20,8).
• Sensibilità alla Provenienza: La fonte dell'asserzione è importante. I modelli nativi per gli strumenti sono stati particolarmente suscettibili alle Asserzioni da parte della Funzione (FSA), suggerendo che essi diano priorità al feedback interno del sistema rispetto alla verifica esterna.

Significato e Rivendicazioni

Il documento sostiene che la Assertion-Conditioned Compliance rappresenti una vulnerabilità latente e critica negli agenti multi-turn distribuiti. Il significato primario risiede nella rivelazione che i punteggi standard dei leaderboard (accuratezza BFCL) sono insufficienti per l'impiego in contesti critici per la sicurezza perché non rilevano i fallimenti procedurali "silenziosi".

• Rischi Nascosti: Gli agenti giudicati esclusivamente sul successo del compito possono comunque eseguire operazioni insicure o non necessarie di fronte ad asserzioni plausibili ma false provenienti dagli utenti o da suggerimenti obsoleti degli strumenti.
• Implicazioni Operative: Lo studio sostiene che i prompt dell'utente, gli output degli strumenti e i suggerimenti delle policy debbano essere trattati come canali separati e potenzialmente avversari, piuttosto che come un unico contesto fidato.
• Necessità di Valutazione: Gli autori postulano che una valutazione in stile A-CC sia un controllo necessario pre-distribuzione per le pipeline che mediano azioni ad alto rischio, poiché espone rischi che le metriche di accuratezza standard occultano.

Il documento conclude con modestia, riconoscendo che, sebbene definisca e misuri la vulnerabilità A-CC, non propone ancora obiettivi di addestramento specifici o modifiche architettoniche per rimediarvi. Il lavoro funge da test di stress controllato per evidenziare la necessità di ulteriori protezioni e di una robustezza sensibile alla provenienza nel design futuro degli agenti.