🤖 AI

Copy-on-Write Scoring: Application-Specific Agent Evaluations

Questo articolo introduce il CoW (Copy-on-Write) Scoring, un framework che sfrutta l'isolamento a livello di PostgreSQL per valutare agenti basati su LLM direttamente all'interno degli ambienti applicativi, consentendo un'identificazione granulare e conveniente dei fallimenti di scrittura nel database e miglioramenti iterativi delle superfici degli strumenti dell'agente.

Autori originali: Joanna Roy, Sven Hoelzel

Pubblicato 2026-07-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Joanna Roy, Sven Hoelzel

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di aver appena costruito un assistente robotico super intelligente capace di parlare con le tue app preferite, come uno strumento di gestione dei progetti o un calendario. Vorresti che ti aiutasse a organizzare la tua vita, ma sei terrorizzato all'idea che possa accidentalmente cancellare tutta la tua lista di cose da fare o cambiare lo stato del tuo capo in "in vacanza" quando invece è in riunione. Questo è il mondo degli agenti AI: programmi informatici che non si limitano a chiacchierare, ma compiono effettivamente delle azioni nei sistemi software. Il grande problema attuale è capire come testare questi robot in modo sicuro. Di solito, gli scienziati li testano in mondi finti e inventati (come una simulazione di un videogioco), ma queste simulazioni spesso si discostano dalla realtà, oppure sono così costose da costruire che nessuno può permettersi di aggiornarle ogni volta che la vera app cambia. Abbiamo bisogno di un modo per osservare il robot lavorare nella vera app senza che rompa mai nulla, così da poter vedere esattamente dove si confonde e correggerlo.

Entra in gioco una nuova idea chiamata Copy-on-Write (CoW) Scoring, proposta dai ricercatori Joanna Roy e Sven Hölzel. Pensa al loro metodo come a una "parete di vetro magica" costruita proprio all'interno di un database (il archivio digitale dove le app conservano i propri dati). Normalmente, se dici a un robot di "cambiare questo file", esso va direttamente sul file reale e ci scrive sopra. Con il CoW, al robot viene detto di scrivere su un foglio di vetro speciale e invisibile che si trova sopra il file reale. Il robot pensa di scrivere sulla cosa reale, ma in realtà sta solo scrivendo sul vetro. Il file originale sottostante rimane perfettamente al sicuro e intatto.

Ecco la parte intelligente: il sistema mantiene una versione "ground truth" (verità fondamentale) di ciò che dovrebbe accadere (come un essere umano perfetto che svolge il compito) e la confronta con ciò che ha fatto il robot sul vetro. Poiché il robot sta scrivendo su uno strato separato, i ricercatori possono vedere istantaneamente: "Oh, il robot ha cercato di eliminare la riga sbagliata", oppure "Ha aggiunto un commento al compito sbagliato". Possono valutare la prestazione del robot in base a quanto la sua scrittura sul vetro fosse vicina alla versione umana perfetta. Se il robot fallisce, i ricercatori si limitano a pulire il vetro e riprovare, senza mai dover ripristinare un backup o preoccuparsi di corrompere i dati reali.

Nel loro studio, il team ha testato questo metodo su Plane, una piattaforma di gestione dei progetti open-source. Hanno impostato 20 diversi compiti del mondo reale, come "sposta tutti i bug non risolti nella lista 'In corso'" o "assegna i nuovi compiti a membri specifici del team". Hanno lasciato che cinque diversi modelli di IA provassero a svolgere questi lavori mentre il sistema CoW li osservava. I risultati sono stati rivelatori. I ricercatori hanno scoperto che molti robot fallivano non perché fossero "stupidi", ma a causa di discrepanze di vocabolario. Per esempio, l'app chiamava alcune cose "work items" (elementi di lavoro), ma i robot cercavano "issues" (problemi/segnalazioni). I robot si bloccavano, si arrendevano o iniziavano ad allucinare (inventando comandi falsi) perché non riuscivano a trovare le parole giuste.

Usando il CoW Scoring, il team è riuscito a individuare esattamente questi fallimenti. Si sono resi conto: "Ah, il robot sta fallendo qui perché non sa che 'issue' significa 'work item'". Così, hanno aggiornato gli strumenti che il robot utilizza per includere entrambi i termini. Quando hanno eseguito nuovamente i test, i robot sono migliorati notevolmente. Ad esempio, un modello chiamato Gemini-2.5-Pro ha migliorato il suo punteggio del 54%, e un altro chiamato GPT-4.1 è balzato del 47%. Lo studio suggerisce che questo metodo della "parete di vetro" è un modo potente e a basso costo per fare il debugging degli agenti AI nelle applicazioni reali, aiutando gli sviluppatori a correggere gli strumenti specifici e i prompt che confondono i robot, invece di tirare a indovinare su cosa sia andato storto. È un modo per lasciare che i robot si esercitino nel mondo reale senza il rischio di un disastro reale.

Sintesi Tecnica: Valutazione Copy-on-Write per la valutazione di Agenti Specifici per Applicazioni

Problema

Il dispiegamento di agenti basati su Large Language Model (LLM) in sistemi software di produzione affronta un critico divario di valutazione. Mentre gli agenti vengono sempre più integrati in strumenti enterprise e applicazioni consumer, i meccanismi di valutazione esistenti sono insufficienti per garantire l'affidabilità in contesti applicativi specifici.

Bassa Validità di Costrutto: I benchmark standard spesso non riflettono la complessità degli ambienti applicativi reali, degli strumenti e dei flussi di lavoro.
Limitazioni delle Repliche: Creare ambienti replica o simulati per colmare questo divario è dispendioso in termini di risorse, costoso e incline al "drift" (scostamento) dallo stato live dell'applicazione.
Rischio di Inaffidabilità: Gli agenti che operano direttamente in produzione rischiano errori catastrofici, come l'eliminazione accidentale di dati, la sovrascrittura di record critici o l'uso improprio degli strumenti, che sono difficili da isolare e prevenire senza una valutazione granulare.

I metodi attuali mancano della capacità di valutare gli agenti direttamente all'interno dei loro ambienti applicativi target con una granularità sufficiente per localizzare punti specifici di fallimento.

Metodologia: Valutazione Copy-on-Write (CoW)

Gli autori propongono la Valutazione Copy-on-Write (CoW), un framework progettato per valutare le operazioni degli agenti direttamente all'interno degli ambienti applicativi utilizzando un meccanismo di isolamento a livello PostgreSQL. Questo approccio evita il costo e il drift delle repliche pur mantenendo l'isolamento della sessione.

1. Il Meccanismo CoW

Il framework sfrutta un pattern Copy-on-Write a livello di database per intercettare e isolare le scritture degli agenti senza modificare i dati di produzione. L'implementazione prevede quattro componenti:

Tabelle Base (Base Tables): Contengono i dati sottostanti di produzione.
Tabelle delle Modifiche (Changes Tables): Strutturalmente identiche alle tabelle base, ma includono colonne di metadati aggiuntive (session_id, operation_id, cow_updated_at, cow_deleted). Queste tabelle memorizzano solo le righe scritte durante una specifica sessione dell'agente.
Viste (Views): Viste SQL che uniscono le tabelle base e le tabelle delle modifiche. Le letture interrogano la vista (che restituisce lo stato più recente), mentre le scritture vengono reindirizzate.
Trigger: Trigger INSTEAD OF sulle viste che intercettano le operazioni di scrittura. Invece di modificare la tabella base, il trigger crea una copia della riga interessata, applica la scrittura, aggiunge i metadati CoW e inserisce il risultato nella tabella delle modifiche.

Questa configurazione consente agli agenti di operare come se stessero scrivendo in produzione, mentre tutte le modifiche rimangono isolate nella tabella delle modifiche per quella specifica sessione.

2. Il Framework di Valutazione

La valutazione CoW confronta una sessione di Ground-Truth (GT) (registrata da un essere umano che esegue un workflow ideale) con una sessione dell'Agente (eseguita da un agente LLM con lo stesso prompt). Il confronto avviene a due livelli di granularità:

Punteggi a livello di Sessione: Valutano lo stato finale del database.
- Punteggio Strutturale ( $s_{struct}$ ): La frazione di righe corrispondenti (righe presenti sia nella sessione GT che in quella dell'agente) rispetto al totale delle righe modificate. Tiene conto delle righe mancanti (righe GT non prodotte) e delle righe extra (righe dell'agente senza un corrispettivo GT).
- Punteggio di Contenuto ( $s_{content}$ ): La media della similarità per campo su tutte le righe corrispondenti, calcolata utilizzando comparatori predefiniti basati sui tipi di dati SQL (ad esempio, corrispondenza esatta per i numeri, uguaglianza profonda per JSON, matching di sequenza per il testo).
Punteggi a livello di Operazione: Quantificano l'utilità delle singole azioni.
- Utilità Strutturale ( $u_{struct}$ ): La variazione del punteggio strutturale di sessione prima e dopo l'applicazione di un'operazione.
- Utilità di Contenuto ( $u_{content}$ ): La media della similarità di contenuto delle righe scritte da una specifica operazione.

Fondamentalmente, il framework confronta gli stati finali del database piuttosto che le sequenze di azioni, rendendo i punteggi di livello sessione invarianti rispetto al percorso specifico seguito dall'agente per raggiungere il risultato.

Contributi Chiave

Un Nuovo Framework di Valutazione: L'introduzione della Valutazione CoW, che consente una valutazione a basso costo e alta fedeltà degli agenti direttamente all'interno degli ambienti applicativi, superando la necessità di costose repliche.
Implementazione Open-Source: Il rilascio della libreria Python agent-cow, che gestisce la configurazione del database (creazione di tabelle base/modifiche, viste e trigger) e fornisce la pipeline di valutazione.
Diagnostica Granulare: La capacità di far emergere modalità di fallimento specifiche a livello di operazione, distinguendo tra errori strutturali (righe mancanti/extra) ed errori di contenuto (valori errati).
Validazione Empirica: Uno studio preliminare su Plane, una piattaforma di gestione progetti open-source, che dimostra la capacità del framework di identificare problemi specifici della superficie degli strumenti e misurare i miglioramenti dopo le correzioni.

Risultati: Il Caso Studio Plane

Gli autori hanno valutato cinque modelli linguistici (GPT-5, GPT-4.1, Gemini-3.1-Pro, Gemini-3.1-Flash-Lite e Gemini-2.5-Pro) attraverso 20 workflow nell'applicazione Plane.

Risultati Iniziali: La valutazione ha rivelato modalità di fallimento distinte:
- Discrepanza di Vocabolario: Gli agenti hanno avuto difficoltà quando il prompt utilizzava termini (ad esempio, "issue") che differivano dalla terminologia interna dell'applicazione (ad esempio, "work item"). Ad esempio, Gemini-2.5-Pro si è ripetutamente arreso cercando "issues", mentre GPT-4.1 ha fatto assunzioni errate sulle stringhe di ricerca.
- Allucinazione e Scritture Extra: GPT-4.1 ha occasionalmente allucinato nomi di operazioni o parametri, e Gemini-3.1-Flash-Lite ha prodotto scritture extra (ad esempio, aggiornando etichette o assegnatari non richiesti), che sarebbero difficili da rilevare senza l'isolamento CoW.
Miglioramento Iterativo: Sulla base dei punteggi diagnostici, la superficie degli strumenti è stata aggiornata per allineare la terminologia (assicurando che "issues" fosse riconosciuto come "work items").
- Guadagni Misurabili: I modelli pesantemente colpiti dalla discrepanza di vocabolario hanno visto miglioramenti significativi nei punteggi: Gemini-2.5-Pro è migliorato del 54% e GPT-4.1 del 47%.
- Stabilità: I modelli con punteggi iniziali elevati (ad esempio, GPT-5, Gemini-3.1-Pro) hanno mostrato una varianza minima, confermando la stabilità del meccanismo di valutazione.

Significato e Rivendicazioni

Il paper posiziona la Valutazione CoW come uno strumento pratico per un dispiegamento più sicuro degli agenti. Il suo significato primario risiede nel consentire ai team di:

Localizzare i Fallimenti: Identificare esattamente dove gli agenti hanno successo o falliscono nelle operazioni di scrittura del database all'interno di un contesto applicativo specifico.
Iterare Efficientemente: Facilitare l'iterazione a basso costo su prompt dei modelli, superfici degli strumenti e meccanismi di recupero senza l'overhead di costruire e mantenere ambienti replica.
Colmare il Divario di Validità di Costrutto: Fornire dati di valutazione che siano direttamente rilevanti per l'applicazione specifica in cui vengono distribuiti, piuttosto che affidarsi a benchmark generici.

Gli autori notano con modestia che il framework si basa su sessioni di Ground-Truth create manualmente, il che richiede un investimento iniziale di sforzo paragonabile alla creazione di dataset specifici per l'applicazione. Riconoscono inoltre che l'implementazione attuale si concentra sulle operazioni di scrittura, sebbene i pattern di lettura potrebbero offrire segnali diagnostici aggiuntivi. Il framework è presentato non come un benchmark universale, ma come un metodo complementare per la validazione specifica dell'applicazione.