🤖 AI

Copy-on-Write Scoring: Application-Specific Agent Evaluations

Dit artikel introduceert CoW-Scoring, een framework dat gebruikmaakt van isolatie op PostgreSQL-niveau om op LLM-gebaseerde agents gebaseerde agents direct binnen applicatieomgevingen te evalueren, wat een granulaire, kosteneffectieve identificatie van database-schrijffouten en iteratieve verbeteringen aan de tool-oppervlakken van agents mogelijk maakt.

Oorspronkelijke auteurs: Joanna Roy, Sven Hoelzel

Gepubliceerd 2026-07-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Joanna Roy, Sven Hoelzel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je net een super-slimme robotassistent hebt gebouwd die met je favoriete apps kan praten, zoals een projectmanagementtool of een agenda. Je wilt dat hij je helpt je leven te organiseren, maar je bent doodsbang dat hij per ongeluk je hele takenlijst verwijdert of de status van je baas verandert naar "op vakantie" terwijl hij eigenlijk in een vergadering zit. Dit is de wereld van AI-agenten: computerprogramma's die niet alleen chatten, maar ook daadwerkelijk dingen doen in softwaresystemen. Het grote probleem op dit moment is uitzoeken hoe je deze robots veilig kunt testen. Meestal testen wetenschappers ze in nep, verzonnen werelden (zoals een videogame-simulatie), maar die simulaties wijken vaak af van de realiteit, of ze zijn zo duur om te bouwen dat niemand het zich kan veroorloven om ze elke keer dat de echte app verandert, bij te werken. We hebben een manier nodig om de robot in de echte app te laten werken zonder dat hij ooit echt iets kapot maakt, zodat we precies kunnen zien waar hij in de war raakt en het kunnen oplossen.

Maak kennis met een nieuw idee genaamd Copy-on-Write (CoW) Scoring, voorgesteld door onderzoekers Joanna Roy en Sven Hölzel. Denk aan hun methode als een "magische glazen wand" die rechtstreeks in een database is gebouwd (de digitale archiefkast waar apps hun gegevens opslaan). Normaal gesproken, als je een robot vertelt om "dit bestand te wijzigen", gaat dat rechtstreeks naar het echte bestand en schrijft de robot eroverheen. Met CoW wordt de robot verteld om op een speciale, onzichtbare glasplaat te schrijven die bovenop het echte bestand ligt. De robot denkt dat hij op het echte ding schrijft, maar hij schrijft eigenlijk alleen op het glas. Het originele bestand eronder blijft perfect veilig en onaangetast.

Het slimme deel is dit: het systeem houdt een "ground truth"-versie bij van wat er zou moeten gebeuren (zoals een perfecte mens die de taak uitvoert) en vergelijkt dit met wat de robot op het glas heeft geschreven. Omdat de robot op een aparte laag schrijft, kunnen de onderzoekers direct zien: "Oei, de robot probeerde de verkeerde rij te verwijderen," of "Hij voegde een opmerking toe aan de verkeerde taak." Ze kunnen de prestaties van de robot scoren op basis van hoe dicht de schrijfactie op het glas bij de perfecte menselijke versie lag. Als de robot faalt, vegen de onderzoekers simpelweg het glas schoon en proberen ze het opnieuw, zonder ooit een back-up te hoeven herstellen of zich zorgen te hoeven maken over het beschadigen van de echte gegevens.

In hun studie testte het team dit op Plane, een open-source projectmanagementplatform. Ze zetten 20 verschillende real-world taken op, zoals "verplaats alle onvoltooide bugs naar de 'In Progress'-lijst" of "ken nieuwe taken toe aan specifieke teamleden." Ze lieten vijf verschillende AI-modellen deze klussen proberen terwijl het CoW-systeem toekeek. De resultaten waren onthullend. De onderzoekers ontdekten dat veel robots niet faalden omdat ze "dom" waren, maar door vocabulaire-mismatches. Bijvoorbeeld, de app noemde dingen "work items", maar de robots zochten naar "issues". De robots liepen vast, gaven op of begonnen te hallucineren (nepcommando's verzinnen) omdat ze de juiste woorden niet konden vinden.

Door gebruik te maken van CoW Scoring konden het team deze exacte fouten aanwijzen. Ze realiseerden zich: "Ah, de robot faalt hier omdat hij niet weet dat 'issue' hetzelfde betekent als 'work item'." Dus ze werkten de tools die de robot gebruikt bij door beide woorden toe te voegen. Toen ze de tests opnieuw uitvoerden, werden de robots veel beter. Zo verbeterde een model genaamd Gemini-2.5-Pro zijn score met 54%, en een ander genaamd GPT-4.1 sprong met 47% omhoog. De studie suggereert dat deze "glazen wand"-methode een krachtige, goedkope manier is om AI-agenten te debuggen in echte applicaties, waardoor ontwikkelaars de specifieke tools en prompts kunnen repareren die de robots in verwarring brengen, in plaats van alleen maar te gissen naar wat er misging. Het is een manier om de robots in de echte wereld te laten oefenen zonder het risico op een ramp in de echte wereld.

Technische Samenvatting: Copy-on-Write Scoring voor Applicatiespecifieke Agent-evaluaties

Probleemstelling

De implementatie van op Large Language Models (LLM) gebaseerde agents in productie-softwareomgevingen staat voor een kritieke evaluatiekloof. Hoewel agents steeds vaker worden geïntegreerd in enterprise-tools en consumententoepassingen, schieten bestaande evaluatiemechanismen tekort om betrouwbaarheid in specifieke applicatiecontexten te waarborgen.

Lage constructvaliditeit: Standaard benchmarks slagen er vaak niet in de complexiteit van echte applicatieomgevingen, tooling en workflows te reflecteren.
Beperkingen van replica's: Het creëren van replica- of gesimuleerde omgevingen om deze kloof te overbruggen is resource-intensief, duur en gevoelig voor "drift" ten opzichte van de live-status van de applicatie.
Risico op onbetrouwbaarheid: Agents die direct in productie opereren, lopen het risico op catastrofale fouten, zoals het per ongeluk verwijderen van gegevens, het overschrijven van cruciale records of het misbruiken van tools, wat moeilijk te isoleren en te voorkomen is zonder granulaire evaluatie.

Huidige methoden missen het vermogen om agents direct binnen hun doelapplicatieomgevingen te evalueren met voldoende granulariteit om specifieke foutpunten te lokaliseren.

Methodologie: Copy-on-Write (CoW) Scoring

De auteurs stellen Copy-on-Write (CoW) Scoring voor, een framework ontworpen om de operaties van agents direct binnen applicatieomgevingen te evalueren met behulp van een PostgreSQL-niveau isolatiemechanisme. Deze aanpak vermijdt de kosten en drift van replica's terwijl sessie-isolatie behouden blijft.

1. Het CoW-mechanisme

Het framework maakt gebruik van een database-niveau Copy-on-Write-patroon om agent-schrijfacties te onderscheppen en te isoleren zonder de productiedata te wijzigen. De implementatie omvat vier componenten:

Base Tables (Basistabellen): Bevatten de onderliggende productiedata.
Changes Tables (Wijzigingstabellen): Structureel identiek aan de basistabellen, maar voorzien van extra metadatacolommen (session_id, operation_id, cow_updated_at, cow_deleted). Deze tabellen slaan alleen de rijen op die tijdens een specifieke agent-sessie zijn geschreven.
Views (Views): SQL-views die de base- en change-tabellen samenvoegen. Leesacties query's de view (die de nieuwste status teruggeeft), terwijl schrijfacties worden omgeleid.
Triggers (Triggers): INSTEAD OF-triggers op de views onderscheppen schrijfacties. In plaats van de basistabel te wijzigen, maakt de trigger een kopie van de betreffende rij, past de schrijfactie toe, voegt CoW-metadata toe en voert het resultaat in de change-tabel in.

Deze opzet stelt agents in staat om te opereren alsof ze naar productie schrijven, terwijl alle wijzigingen geïsoleerd blijven tot de change-tabel voor die specifieke sessie.

2. Het Scoring Framework

CoW Scoring vergelijkt een Ground-Truth (GT) sessie (opgenomen door een mens die een ideaal workflow uitvoert) met een Agent-sessie (uitgevoerd door een LLM-agent met dezelfde prompt). De vergelijking vindt plaats op twee niveaus van granulariteit:

Sessie-niveau scores: Evalueren de uiteindelijke database-status.
- Structurele Score ( $s_{struct}$ ): Het deel van de overeenkomende rijen (rijen die aanwezig zijn in zowel de GT- als de agent-sessie) ten opzichte van de totale gewijzigde rijen. Dit houdt rekening met ontbrekende rijen (GT-rijen die niet zijn geproduceerd) en extra rijen (agent-rijen zonder GT-tegenhanger).
- Inhoudelijke Score ( $s_{content}$ ): De gemiddelde per-veld gelijkenis over alle overeenkomende rijen, berekend met standaard comparators gebaseerd op SQL-datatypen (bijv. exacte match voor getallen, diepe gelijkheid voor JSON, sequence matching voor tekst).
Operatie-niveau scores: Kwantificeren de bruikbaarheid van individuele acties.
- Structurele Utility ( $u_{struct}$ ): De verandering in de structurele score op sessieniveau vóór en na het toepassen van een operatie.
- Inhoudelijke Utility ( $u_{content}$ ): De gemiddelde inhoudelijke gelijkenis van de rijen die door een specifieke operatie zijn geschreven.

Cruciaal is dat het framework de uiteindelijke database-statussen vergelijkt in plaats van de actievolgordes, waardoor de scores op sessieniveau invariant zijn voor het specifieke pad dat de agent nam om het resultaat te bereiken.

Belangrijkste Bijdragen

Een Nieuw Evaluatieframework: De introductie van CoW Scoring, die een laag-kosten, hoog-getrouwe evaluatie van agents direct binnen applicatieomgevingen mogelijk maakt, waarbij de noodzaak voor dure replica's wordt omzeild.
Open-Source Implementatie: De release van de agent-cow Python-bibliotheek, die de database-setup afhandelt (het aanmaken van base/changes-tabellen, views en triggers) en de scoring-pipeline biedt.
Granulaire Diagnostiek: Het vermogen om specifieke foutmodi op operatie-niveau bloot te leggen, waarbij onderscheid wordt gemaakt tussen structurele fouten (ontbrekende/extra rijen) en inhoudelijke fouten (onjuiste waarden).
Empirische Validatie: Een voorlopige studie op Plane, een open-source projectmanagementplatform, die het vermogen van het framework demonstreert om specifieke problemen met de tool-surface te identificeren en verbeteringen na fixes te meten.

Resultaten: De Plane Case Study

De auteurs evalueerden vijf taalmodellen (GPT-5, GPT-4.1, Gemini-3.1-Pro, Gemini-3.1-Flash-Lite en Gemini-2.5-Pro) over 20 workflows in de Plane-applicatie.

Initiële Bevindingen: De scoring onthulde duidelijke foutmodi:
- Vocabulaire Mismatch: Agents hadden moeite wanneer de prompt termen gebruikte (bijv. "issue") die verschilden van de interne terminologie van de applicatie (bijv. "work item"). Bijvoorbeeld, Gemini-2.5-Pro gaf herhaaldelijk op bij het zoeken naar "issues", terwijl GPT-4.1 onjuiste aannames deed over zoekstrings.
- Hallucinatie en Extra Writes: GPT-4.1 hallucineerde soms operatienamen of parameters, en Gemini-3.1-Flash-Lite produceerde extra writes (bijv. het bijwerken van labels of toewijzingen die niet gevraagd waren), wat zonder CoW-isolatie moeilijk te detecteren zou zijn.
Iteratieve Verbetering: Op basis van de diagnostische scores werd de tool-surface bijgewerkt om de terminologie af te stemmen (zodat "issues" werd herkend als "work items").
- Meetbare Winsten: Modellen die zwaar werden getroffen door de vocabulaire mismatch zagen significante scoreverbeteringen: Gemini-2.5-Pro verbeterde met 54% en GPT-4.1 met 47%.
- Stabiliteit: Modellen met hoge initiële scores (bijv. GPT-5, Gemini-3.1-Pro) vertoonden minimale variantie, wat de stabiliteit van het scoringmechanisme bevestigt.

Betekenis en Claims

Het paper positioneert CoW Scoring als een praktisch hulpmiddel voor veiligere agent-implementatie. De primaire betekenis ligt in het in staat stellen van teams om:

Fouten te Lokaliseren: Precies te identificeren waar agents slagen of falen in database-schrijfacties binnen een specifieke applicatiecontext.
Efficiënt te Itereren: Het faciliteren van laag-kosten iteraties op model-prompts, tool-surfaces en retrieval-mechanismen zonder de overhead van het bouwen en onderhouden van replica-omgevingen.
De Constructvaliditeitskloof te Overbruggen: Direct relevante evaluatiedata te leveren voor de specifieke applicatie waarop wordt ingezet, in plaats van te vertrouwen op generieke benchmarks.

De auteurs merken bescheiden op dat het framework steunt op handmatig gecreëerde Ground-Truth sessies, wat een initiële investering van inspanning vereist die vergelijkbaar is met het bouwen van applicatiespecifieke datasets. Ze erkennen ook dat de huidige implementatie zich richt op schrijfacties, hoewel leespatronen aanvullende diagnostische signalen kunnen bieden. Het framework wordt gepresenteerd, niet als een universele benchmark, maar als een complementaire methode voor applicatiespecifieke validatie.