💻 computer science

Learning Correct Behavior from Examples: Validating Sequential Execution in Autonomous Agents

Questo articolo presenta un nuovo algoritmo che convalida il comportamento sequenziale degli agenti autonomi apprendendo modelli di verità fondamentale generalizzati da sole 2–10 tracce di esecuzione, sfruttando l'analisi dei dominatori e i grandi modelli linguistici multimodali per ottenere un'alta accuratezza nel rilevamento dei bug e nella convalida spiegabile in diversi domini.

Autori originali: Reshabh K Sharma, Gaurav Mittal, Yu Hu

Pubblicato 2026-05-06

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Reshabh K Sharma, Gaurav Mittal, Yu Hu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un assistente robot molto intelligente, ma leggermente caotico, come preparare una tazza di caffè.

Un tempo, se volevi verificare se il robot avesse svolto il compito correttamente, dovevi scrivere un rigido regolamento: "Prima, afferra la tazza. Poi, premi il pulsante. Poi, attendi esattamente 3 secondi. Poi, versa." Se il robot avesse afferrato la tazza, premuto il pulsante e versato il caffè in 2 secondi perché la macchina era più veloce quel giorno, il tuo rigido regolamento avrebbe urlato: "ERRORE! Non hai aspettato 3 secondi!" e avrebbe bocciato il robot, anche se il caffè era perfetto.

Questo è il problema nel testare gli agenti AI moderni. Sono flessibili. A volte prendono una scorciatoia; a volte attendono più a lungo. Non seguono esattamente lo stesso percorso ogni volta, anche quando svolgono il compito correttamente.

Questo articolo introduce un nuovo modo per testare questi agenti, che assomiglia meno a un rigido regolamento e più a un mentore intelligente.

L'Idea Fondamentale: Imparare dai "Giorni Buoni"

Invece di scrivere regole, il sistema chiede all'agente di eseguire il compito con successo solo 2 o 10 volte. Osserva questi "giorni buoni" e costruisce una mappa mentale di ciò che deve accadere rispetto a ciò che può cambiare.

Pensala come osservare un gruppo di amici che attraversano una città per raggiungere un ristorante specifico:

Amico A prende la metropolitana, scende alla stazione principale, attraversa il parco e arriva.
Amico B prende l'autobus, scende a due isolati di distanza, passa davanti a una pasticceria e arriva.
Amico C prende la metropolitana, scende alla stazione principale, attraversa il parco, ma si ferma per allacciarsi la scarpa prima di arrivare.

Un tester rigido direbbe: "Amico B ha fallito perché non ha preso la metropolitana!" oppure "Amico C ha fallito perché si è fermato!".

Ma questo nuovo sistema è più intelligente. Esamina tutti e tre i percorsi e capisce:

Le Fermate Essenziali (l'Albero "Dominator"): Tutti devono partire da casa e devono finire al ristorante. Questi sono i punti di controllo non negoziabili.
Le Fermate Opzionali: Il parco, la pasticceria e il fermarsi per allacciarsi la scarpa sono solo variazioni. Sono gradite, ma non obbligatorie.

Come Funziona (I Tre Passaggi)

1. L'"Album Fotografico" (Cattura delle Tracce)
Il sistema scatta screenshot (o registra le azioni) dell'agente che esegue il compito correttamente alcune volte. Trasforma queste tracce in un diagramma di flusso, come un libro "Scegli la tua avventura" in cui ogni percorso funzionante viene registrato.

2. La "Fusione Intelligente" (Individuazione del Pattern)
Questa è la parte magica. Il sistema utilizza due strumenti per capire cosa conta:

L'Occhio (Metriche Visive): Esamina gli screenshot. Se due schermate sono identiche al 99%, le tratta come lo stesso passaggio.
Il Cervello (Analisi LLM): A volte le schermate sembrano diverse ma significano la stessa cosa (ad esempio, una finestra è leggermente più grande, o l'ora sull'orologio è cambiata). Il sistema chiede a un potente modello linguistico AI: "Queste differenze sono importanti o solo estetiche?". Se l'AI risponde: "No, è solo un font diverso", il sistema lo ignora.

Fondendo questi percorsi, il sistema costruisce un "Albero Dominator". Questa è una mappa semplificata che mostra solo i traguardi critici attraverso i quali ogni tentativo riuscito è passato. Filtra il rumore (come le schermate di caricamento che appaiono a volte ma non altre).

3. La "Lista di Controllo" (Validazione delle Nuove Esecuzioni)
Quando l'agente riprova il compito, il sistema non verifica se ha seguito lo stesso identico percorso. Invece, chiede: "Hai toccato tutti i traguardi critici nell'ordine corretto?"

Se l'agente salta la "Finestra Principale" e va direttamente ai "Risultati", il sistema dice: "FALLIMENTO". (Hai saltato una fermata critica).
Se l'agente salta la "Schermata di Caricamento" (che è opzionale), il sistema dice: "PASS". (Hai svolto il lavoro in modo efficiente).

Perché Questo è Importante

L'articolo ha testato questo metodo su un agente informatico che doveva aprire un editor di codice e cercare del testo.

Il Vecchio Modo (Auto-segnalazione): L'agente spesso diceva: "L'ho fatto!" anche quando falliva, oppure "Ho fallito!" quando in realtà aveva successo, perché si confondeva a causa di problemi di temporizzazione. Era accurato solo nell'82%.
Il Nuovo Modo: Utilizzando l'"Albero Dominator" appreso da soli 3 esempi di successo, il sistema ha raggiunto il 100% di accuratezza. È stato in grado di distinguere quando l'agente aveva effettivamente rotto il software (un bug del prodotto) rispetto a quando l'agente aveva solo inciampato a causa di una connessione internet lenta (un problema dell'agente).

La Conclusione

Questo articolo presenta uno strumento che insegna a un'AI come valutarsi da sola. Invece di aver bisogno di migliaia di esempi o di un regolamento rigido, impara lo "scheletro" di un compito corretto da solo un manipolo di buoni esempi. Capisce che, sebbene il viaggio possa variare, la destinazione e i punti di riferimento chiave devono rimanere gli stessi. Questo rende il test degli agenti autonomi molto più affidabile e meno soggetto a falsi allarmi.

Riepilogo Tecnico: Apprendimento del Comportamento Corretto da Esempi per Agenti Autonomi

Enunciato del Problema

Mentre gli agenti autonomi (ad esempio, agenti per l'uso del computer, agenti di programmazione) diventano più sofisticati, la validazione del loro comportamento sequenziale presenta una sfida significativa a causa del non determinismo. A differenza del software tradizionale, i sistemi autonomi raramente seguono la stessa esatta sequenza di stati e azioni tra le diverse esecuzioni. Le variazioni derivano da differenze temporali, fattori ambientali e percorsi alternativi legittimi (ad esempio, la comparsa o la scomparsa di una schermata di caricamento, o diversi percorsi dell'interfaccia utente che raggiungono lo stesso obiettivo).

Gli approcci di validazione esistenti soffrono di limitazioni critiche in questo contesto:

Test basati su asserzioni: Richiedono una specifica manuale per ogni controllo, non individuano problemi di stato visivo e non possono gestire percorsi alternativi.
Registrazione e riproduzione (Record-and-replay): Fragili; falliscono a causa di minime differenze di rendering o variazioni temporali.
Test di regressione visiva: Confrontano gli screenshot in isolamento senza comprendere il flusso di esecuzione o il significato semantico.
Oracle di apprendimento automatico: Richiedono migliaia di esempi di addestramento e mancano di spiegabilità.

Il problema fondamentale consiste nel distinguere tra variazioni accettabili (stati non essenziali) e effettivi fallimenti (stati essenziali saltati) senza specifiche manuali.

Metodologia

Il documento propone un algoritmo innovativo che apprende automaticamente un modello di verità fondamentale generalizzato da un piccolo numero di tracce di esecuzione superate (2–10) e convalida nuove esecuzioni rispetto a tale modello. L'approccio consta di tre fasi:

Fase 1: Acquisizione e Costruzione dell'Albero dei Prefissi

Il sistema raccoglie le tracce di esecuzione da esecuzioni note come corrette. Ogni traccia include osservazioni di stato sequenziali (ad esempio, screenshot per agenti UI) e azioni (ad esempio, clic, pressioni di tasti). Queste tracce vengono convertite in Accettori di Albero dei Prefissi (PTA), grafi orientati in cui i nodi rappresentano stati osservabili e gli archi rappresentano azioni.

Fase 2: Fusione e Generalizzazione

Questa fase fonde più PTA per gestire il non determinismo e identificare gli stati essenziali rispetto a quelli opzionali.

Rilevamento dell'Equivalenza degli Stati su Più Livelli: Per determinare se screenshot diversi rappresentano lo stesso stato logico, il sistema utilizza un approccio a tre livelli:
- Livello 1 (Metriche Visive): Utilizza l'hashing percettivo, l'Indice di Similarità Strutturale (SSIM) e i rapporti di cambiamento dei pixel.
- Livello 2 (Analisi Semantica): Se le metriche visive sono ambigue, un Modello Linguistico Multimodale (LLM) esegue un confronto affiancato per distinguere tra differenze semanticamente significative (ad esempio, errori di modulo) e irrilevanti (ad esempio, decorazioni della finestra, timestamp).
- Livello 3 (Fusione Intelligente): Costruisce un grafo unificato che cattura i rami per percorsi alternativi (ad esempio, con/senza schermate di caricamento) e i punti di convergenza.
Estrazione dei Dominatori: Utilizzando l'analisi dei dominatori dalla teoria dei compilatori, il sistema identifica gli stati che "dominano" altri (cioè, ogni percorso dallo stato iniziale a uno stato specifico deve passare attraverso il dominatore). Tracciando all'indietro dagli stati terminali allo stato iniziale, il sistema estrae un albero dei dominatori contenente solo stati essenziali (ad esempio, "Finestra Principale", "Finestra di Ricerca") filtrando le variazioni opzionali (ad esempio, "Schermata di Caricamento").

Fase 3: Convalida tramite Corrispondenza di Sottosequenze Topologiche

Quando arriva una nuova traccia di test, il sistema verifica se la sua sequenza di stati contiene una sottosequenza topologica che corrisponde a un percorso nell'albero dei dominatori appreso.

Logica di Corrispondenza: Se gli stati di riferimento sono $A \to B \to C \to D$ e la traccia di test è $A \to X \to B \to Y \to C \to D$ , si tratta di una CORRISPONDENZA perché gli stati essenziali appaiono nell'ordine corretto, con $X$ e $Y$ trattati come aggiunte consentite.
Metriche: Il sistema calcola la copertura ( $\frac{\text{stati corrispondenti}}{\text{stati di riferimento totali}}$ ) e verifica se lo stato terminale corrisponde.
Output: I risultati sono PASS o FAIL, accompagnati da metriche spiegabili (percentuale di copertura, stati mancanti) piuttosto che classificazioni a scatola nera.

Contributi Chiave

Algoritmo a Tre Fasi: Una nuova integrazione di Accettori di Albero dei Prefissi e analisi dei dominatori per identificare automaticamente gli stati essenziali rispetto a quelli opzionali da 2–10 tracce di esempio.
Rilevamento dell'Equivalenza su Più Livelli: Un sistema ibrido che combina metriche visive con analisi semantica di LLM multimodali per gestire in modo robusto il comportamento non deterministico e distinguere l'equivalenza funzionale dal rumore visivo.
Corrispondenza di Sottosequenze Topologiche: Un meccanismo di convalida che verifica la correttezza dell'esecuzione tollerando variazioni accettabili, fornendo metriche di copertura spiegabili.

Risultati Sperimentali

Gli autori hanno condotto uno studio di caso controllato utilizzando uno scenario sintetico di rilevamento di bug per estensioni di VS Code con 28 esecuzioni di agenti (3 per l'addestramento, 25 per il test).

Accuratezza: Il sistema ha raggiunto un'accuratezza del 100% nel rilevare bug del prodotto (11/11), problemi dell'agente (3/3), falsi positivi (1/1) e bug mancati (1/1).
Confronto: Rispetto a una linea di base in cui l'Agente per l'Uso del Computer (CUA) segnala autonomamente successo/fallimento, l'approccio proposto ha superato significativamente la linea di base:
- Accuratezza: 100% vs 82,2% (+17,8 punti percentuali).
- Recall: 100% vs 60,0% (+40,0 punti percentuali).
- Punteggio F1: 100% vs 69,8% (+30,2 punti percentuali).
Analisi della Causa Radice: Il sistema ha dimostrato la capacità di distinguere tra "errori di esecuzione dell'agente" e "bug del prodotto", raggiungendo un punteggio F1 del 52,2% nell'identificare scenari di "non bug" (dove l'agente ha esitato ma il prodotto era corretto), mentre la linea di base CUA non è riuscita a identificare affatto questi scenari (0% di punteggio F1).

Significato e Affermazioni

Il documento afferma che una convalida comportamentale affidabile per agenti autonomi non richiede enormi corpora di addestramento, specifiche rigide di corrispondenza esatta o asserzioni manuali. Imparando da poche tracce superate, il sistema:

Riduce i Costi di Configurazione: Elimina la necessità di centinaia o migliaia di esempi di addestramento richiesti dagli oracle basati su ML.
Fornisce Spiegabilità: Genera alberi dei dominatori interpretabili e metriche di copertura precise, a differenza dei classificatori ML a scatola nera.
Gestisce il Non Determinismo: Tollerare con successo variazioni accettabili (come le schermate di caricamento) mentre impone un comportamento strutturale essenziale, affrontando una debolezza chiave degli strumenti di registrazione-riproduzione e regressione visiva.
Ampia Applicabilità: Sebbene dimostrato sul testing UI, gli autori affermano che l'approccio è applicabile ad agenti di programmazione (convalida di pattern di sviluppo), automazione dei processi robotici (punti di controllo di conformità) e apprendimento per rinforzo (filtraggio dei dati di addestramento).

Gli autori riconoscono le limitazioni, tra cui la dipendenza dalla rappresentazione dello stato visivo (meno efficace per i servizi backend), la necessità di tracce superate (non può apprendere dai soli fallimenti) e la dipendenza dagli LLM per l'equivalenza semantica. Tuttavia, sostengono che questo approccio offra un meccanismo pratico, a basso numero di esempi e interpretabile per garantire l'affidabilità degli agenti autonomi in ambienti di produzione complessi.