Sintesi Tecnica: GroundEval

1. Il Problema: Correttezza Stato-Invalida

Gli attuali metodi di valutazione per gli agenti basati su Large Language Model (LLM), in particolare gli approcci "LLM-as-Judge", si concentrano principalmente sulla plausibilità e sulla correttezza della risposta finale. Tuttavia, per gli agenti stateful che operano in ambienti aziendali (accedendo a log, CRM, repository di codice e dati con permessi basati sul ruolo), la correttezza è insufficiente. Un agente può produrre una risposta fattualmente vera pur violando i vincoli di stato del task.

Il paper definisce questo modo di fallimento come Correttezza Stato-Invalida (State-Invalid Correctness): una risposta in cui la risposta finale corrisponde allo stato del mondo atteso, ma il percorso di evidenza utilizzato per derivarla viola i vincoli riguardanti:

• Visibilità: Accesso a dati al di fuori dei permessi del ruolo o del sottosistema dell'attore.
• Confini Temporali: Utilizzo di artefatti creati dopo il tempo "as-of" (al momento di) la domanda.
• Completezza della Ricerca: Rivendicare l'assenza di prove senza aver cercato nei repository richiesti.
• Fondamento Causale: Inferire la causalità basandosi sulla vicinanza temporale piuttosto che su link di eventi verificati.

I giudici LLM faticano a rilevare questi fallimenti perché mancano dell'accesso al contratto di stato verificabile tramite macchina (policy di accesso, log degli eventi e timestamp degli artefatti) necessario per verificare deterministicamente se un artefatto fosse visibile a un attore in un determinato momento.

2. Metodologia: Il Framework GroundEval

GroundEval è un framework deterministico, privo di giudici (judge-free), che valuta gli agenti rispetto a un contratto di verità fondamentale (ground-truth contract) leggibile dalla macchina. Non si affida all'introspezione del chain-of-thought o alle razionali dei modelli di giudizio.

Componenti Core

Il framework opera su quattro input per generare un Contratto di Verità Fondamentale:

1. Event Log: Uno stream temporizzato di attori, artefatti e tipi di eventi.
2. Corpus di Artefatti: I documenti o i record disponibili per il recupero.
3. Access Policy: Regole che definiscono la visibilità del sottosistema e i confini temporali per ogni attore/ruolo.
4. Configurazione di Valutazione: Specifiche per i link causali, le coppie di silenzio (assenze attese) e i template delle domande.

Da questo contratto, il sistema genera Contratti di Domanda e Schemi di Risposta Attesa. L'agente viene valutato in uno di due modi:

• Modalità Context: L'agente riceve una finestra di contesto pre-filtrata e deve inviare una risposta strutturata con citazioni esplicite di evidence_artifacts.
• Modalità Tool: L'agente interagisce con un runtime controllato che impone i vincoli di accesso al momento delle chiamate fetch o search, registrando una traccia completa dell'uso degli strumenti.

Track di Valutazione

GroundEval mira a tre specifiche classi di fallimento, ciascuna con una track dedicata:

1. Perspective (Prospettiva): Testa se un agente rispetta ciò che un attore avrebbe potuto sapere in un determinato momento (controllando la fuga temporale e le violazioni di permessi).
2. Counterfactual (Controfattuale): Testa se un agente identifica relazioni causa-effetto valide utilizzando condizioni di join esplicite (ad esempio, ID di ticket) invece della semplice adiacenza temporale.
3. Silence (Silenzio): Testa se un agente verifica l'assenza effettuando una ricerca negli spazi richiesti prima di dichiarare che qualcosa non è accaduto.

Meccanismo di Punteggio

GroundEval impiega un Modello di Punteggio Duale:

• Punteggio di Risposta ($S_{answer}$): Misura se la risposta finale strutturata corrisponde alla verità fondamentale.
• Punteggio di Traiettoria ($S_{traj}$): Misura se il percorso di evidenza dell'agente (ricerche, fetch, citazioni) è rimasto all'interno del contratto di stato.

Questi vengono combinati in un Punteggio Corretto per Compliance ($S_{adj}$):
$$S_{adj} = (w_a \cdot S_{answer} + w_t \cdot S_{traj}) \cdot (1 - v)^2$$
Dove $v$ è il tasso di violazione (violazioni di gate dell'attore, del sottosistema o dell'orizzonte temporale). La penalità quadratica assicura che un'alta accuratezza della risposta non possa compensare un alto tasso di violazioni di governance.

3. Contributi Chiave

1. Contratto di Valutazione Deterministico: Un framework che deriva contratti di domanda e schemi di risposta dai log degli eventi e dalle policy di accesso senza richiedere un modello di giudizio, rendendo i segnali di correttezza indipendentemente auditabili.
2. Punteggio Duale con Correzione per Violazione: Un modello di punteggio che distingue tra risposte corrette e risposte raggiunte validamente, penalizzando gli agenti che violano i vincoli di stato anche se l'output finale è corretto.
3. Determinismo Formalizzato: Garantisce che i punteggi siano deterministici dato lo stesso contratto e traccia, permettendo al framework di servire come gate di regressione attraverso versioni del modello e cambiamenti di prompt.
4. Tre Track Riutilizzabili: Protocolli di valutazione specifici per i fallimenti di Perspective, Counterfactual e Silence che affrontano i punti ciechi della valutazione attuale delle traiettorie.

4. Risultati Sperimentali

Il framework è stato validato utilizzando OrgForge, un framework di simulazione che genera verità fondamentale deterministica. La valutazione ha coinvolto 96 domande attraverso tre track (Perspective, Counterfactual, Silence) e un agente DeepSeek-V4-Pro.

Risultati Chiave:

• Il Gap del Giudice (The Judge Gap): In un caso di studio, due giudici LLM di frontiera (Kimi-K2.6 e ChatGPT-5.5) hanno valutato una risposta dell'agente plausibile ma invalida con punteggi rispettivamente di 0.90 e 0.85. GroundEval ha assegnato alla stessa risposta un punteggio di 0.000 per la risposta (perché l'artefatto richiesto non era mai stato recuperato) e 0.273 per la traiettoria, esponendo il percorso di evidenza invalido.
• Fallimenti di Perspective: Gli agenti hanno spesso confuso la presenza fisica con l'accesso al sottosistema basato sul ruolo, risultando in alti punteggi di risposta ma in significative penalità di traiettoria a causa di violazioni dell'attore-gate.
• Fallimenti di Counterfactual: Gli agenti hanno spesso fatto affidamento sulla somiglianza superficiale dei temi piuttosto che su condizioni di join strutturali (ad esempio, ID di ticket), portando a affermazioni causali errate che non erano rilevate dal punteggio della risposta finale, ma sono state segnalate dall'analisi della traiettoria.
• Baseline Zero-Shot: Gli agenti hanno ottenuto punteggi di risposta non trascurabili in condizioni zero-shot (senza accesso agli strumenti), suggerendo che alcune domande potevano essere soddisfatte tramite la formulazione superficiale piuttosto che tramite il recupero delle evidenze, evidenziando la necessità di rigorosi controlli nella generazione delle domande.

5. Significato e Rivendicazioni

Il paper sostiene che il divario tra "plausibile" e "valido" non sia un caso limite raro, ma un punto cieco fondamentale nella valutazione attuale degli agenti. GroundEval afferma che, per gli agenti stateful, il percorso di evidenza è parte della risposta.

La significanza di questo lavoro risiede nello spostamento della valutazione dalla supervisione dell'esito (l'agente ha ottenuto la risposta corretta?) alla supervisione del processo (l'agente ha raggiunto la risposta tramite un percorso di stato valido?). Rendendo il contratto di stato esplicito e misurabile, GroundEval fornisce un meccanismo per rilevare la "correttezza stato-invalida" che i giudici LLM, basandosi sulla plausibilità semantica, sono strutturalmente incapaci di cogliere. Il framework è progettato per essere riutilizzabile attraverso diverse versioni di modelli e domini, fungendo da gate di regressione deterministico per lo sviluppo di agenti.