Riepilogo Tecnico: AgentForesight

1. Formulazione del Problema

Il documento affronta un collo di bottiglia critico per l'affidabilità nei sistemi multi-agente basati su Modelli Linguistici di Grande Dimensione (LLM): il fenomeno del "fallimento a cascata". In compiti a lungo orizzonte, un singolo errore decisivo (ad esempio, una chiamata a strumento malformata o una deduzione errata) viene spesso accettato dagli agenti a valle, propagandosi attraverso la traiettoria e rendendo il risultato finale irrecuperabile.

Gli approcci esistenti inquadrano questo problema come attribuzione del fallimento post-hoc, dove i modelli diagnosticano l'agente responsabile e il passo solo dopo che la traiettoria è completata e fallita. Gli autori sostengono che questo paradigma rinuncia all'opportunità di intervento. Una volta diagnosticato un fallimento retrospettivamente, gli agenti a valle hanno già consumato risorse e potenzialmente innescato effetti collaterali irreversibili.

Il documento riformula questo problema come Audit Online. In questo contesto, un auditor dedicato osserva solo il prefisso corrente di una traiettoria in svolgimento (senza accesso a passi futuri, risposte degli strumenti o all'esito finale) e deve impegnarsi in un verdetto continua-o-allerta ad ogni passo. L'auditor deve:

1. Distinguere in modo affidabile tra prefissi che sono ancora sicuri e quelli che hanno superato un errore decisivo.
2. Impegnarsi in un'allerta al preciso passo in cui si verifica l'errore, piuttosto che a posteriori.

2. Metodologia

Gli autori propongono AgentForesight, un framework composto da un dataset curato e una ricetta di training da grezzo a fine.

A. Dataset: AFTRAJ-2K

Per supportare l'audit online, gli autori hanno costruito AFTRAJ-2K, un corpus di circa 2.300 traiettorie agentiche nei domini Coding, Matematica e Agentic. A differenza dei dataset precedenti che etichettavano solo fallimenti completati, AFTRAJ-2K fornisce supervisione a livello di passo sia per traiettorie sicure che insicure:

• Traiettorie Sicure Verificate ($D_{safe}$): Le esecuzioni di successo vengono filtrate attraverso una pipeline rigorosa (equivalenza dell'esito, integrità degli strumenti e controlli di coerenza) per garantire che non contengano errori intermedi "silenziosi" che potrebbero fuorviare l'auditor.
• Traiettorie di Fallimento ($D_{unsafe}$): Queste sono costruite tramite due flussi:
  • Flusso Costruttivo: Iniezione controllata di errori decisivi in traiettorie sicure verificate (ad esempio, riscrittura di una chiamata a strumento o di un verdetto) per creare fallimenti controfattuali con passi di errore noti a livello di verità fondamentale.
  • Flusso Diagnostico: Traiettorie fallite naturalmente dove il passo decisivo è sconosciuto. Queste vengono annotate tramite un ensemble "proponi-e-verifica" che utilizza molteplici giudici LLM per raggiungere un consenso sul primo passo di errore decisivo e sull'agente responsabile.

B. Modello: AgentForesight-7B

Gli autori addestrano un auditor online compatto (basato su Qwen2.5-7B-Instruct) utilizzando una ricetta di Apprendimento per Rinforzo (RL) da grezzo a fine:

• Fase 1: Allineamento del Confine di Fallimento (BPPO):
  Il modello viene addestrato a riconoscere la transizione netta tra prefissi sicuri e insicuri. Utilizzando l'Ottimizzazione delle Preferenze di Coppia di Confine (BPPO), il modello impara a produrre CONTINUA per il prefisso immediatamente precedente un errore decisivo e ALLERTA per il prefisso che include l'errore. Questo stabilisce un "prior di anticipazione del rischio" al confine di fallimento.
• Fase 2: Affinamento del Verdetto su Tre Assi (GRPO):
  Il modello viene ulteriormente raffinato utilizzando l'Ottimizzazione della Politica Relativa di Gruppo (GRPO) con una funzione di ricompensa composita mirata a tre assi:
  • Cosa (Struttura): Garantisce che l'output segua uno schema JSON rigoroso (verdetto, passo, agente, motivo).
  • Dove (Tempistica): Ricompensa la localizzazione precisa del passo decisivo (utilizzando una ricompensa gaussiana centrata sulla verità fondamentale).
  • Chi (Attribuzione): Ricompensa l'identificazione dell'agente responsabile corretto.
    Questa fase affina il prior di anticipazione del rischio in una localizzazione precisa a livello di passo.

3. Contributi Chiave

1. Paradigma di Audit Online: Il documento introduce l'audit online come una riformulazione dell'analisi dei fallimenti al momento del deployment, spostandosi dalla diagnosi retrospettiva all'intervento attivo a livello di passo.
2. AFTRAJ-2K: Un dataset curato che fornisce la prima verità fondamentale a livello di passo sia per traiettorie sicure che insicure, annotato con passi di errore decisivo e agenti responsabili tramite consenso multi-giudice.
3. AgentForesight-7B: Un auditor online compatto addestrato tramite una ricetta RL a due fasi che supera modelli proprietari significativamente più grandi nel contesto con prefisso limitato.
4. Validazione Empirica: Valutazione estesa che dimostra come l'approccio da grezzo a fine produca un modello capace di intervenire prima che la propagazione del fallimento si blocchi definitivamente.

4. Risultati Sperimentali

Gli autori hanno valutato AgentForesight-7B sulla split AFTRAJ-2K tenuta da parte e sul benchmark esterno Who&When.

• Prestazioni su AFTRAJ-2K: AgentForesight-7B ha ottenuto un punteggio F1 Esatto-Passo di 66,44, superando la baseline proprietaria più forte (DeepSeek-V4-Pro) del +19,9% (46,56). Ha anche ridotto lo Spostamento Assoluto del Passo (errore di localizzazione) di 3 volte (0,59 contro 1,77).
• Generalizzazione: Sul benchmark esterno Who&When, AgentForesight-7B ha raggiunto una Precisione del Passo del 57,69% e una Precisione dell'Agente del 73,08%, superando GPT-4.1 di circa 19,6 punti nella precisione del passo.
• Compromesso di Deployment: Il modello opera all'interno di una "regione deployabile" (Tasso di Falsa Allerta ≤ 20%, Precisione del Passo ≥ 50%), mentre baseline proprietarie più forti come DeepSeek-V4-Pro cadevano al di fuori di questa regione a causa di alti tassi di falsa allerta.
• Ablazione: La ricetta a due fasi si è dimostrata essenziale; la sola Fase 1 ha migliorato l'F1 da 21,1 a 35,6, e la sola Fase 2 ha raggiunto 50,4, ma la combinazione era necessaria per ottenere il punteggio finale di 66,44, in particolare nel complesso dominio Agentic.

5. Significato e Affermazioni

Il documento afferma che AgentForesight riapre il ciclo dalla rilevazione del fallimento post-hoc all'intervento al momento del deployment. Trattando l'analisi dei fallimenti come un compito di audit online, il framework permette ai sistemi di fermare l'esecuzione nel momento in cui un errore decisivo diventa visibile, prevenendo la cascata di errori che porta al fallimento dell'intera traiettoria.

Gli autori sottolineano che i loro guadagni derivano dalla ricetta di training e dal dataset specializzati adattati al contesto online, piuttosto che dalla semplice scalatura delle dimensioni del modello. Notano che anche il riutilizzo diretto di un modello di attribuzione post-hoc (AgentDebug-7B) fallisce sotto il protocollo online, evidenziando la natura distinta del problema. Il lavoro posiziona l'auditor esterno come una salvaguardia modulare e specializzata che può essere aggiornata indipendentemente dal sistema multi-agente sottostante, offrendo una strada verso deployment agentici più affidabili e sicuri a runtime.