Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness

Technische Samenvatting: Laag-geïsoleerde Evaluatie van Productie-LLM Agenten

Probleemstelling
Huidige evaluatieparadigma's voor Large Language Model (LLM) agenten vertrouwen zwaar op end-to-end taaksuccesmetingen. Hoewel deze geaggregeerde cijfers aangeven of een agent is geregreerd, falen ze in het diagnosticeren van waar de fout is opgetreden binnen de complexe architectuur van de agent (bijv. intentie-resolutie, planning, veiligheidsvalidatie of geheugen). Het identificeren van het specifieke defecte subsysteem vereist het opnieuw draaien van stochastische, live agent-episoden en het bisectioneren van wijzigingen, een proces dat traag, ruisgevoelig en kostbaar is. Bovendien "maskeren" geaggregeerde metrieken vaak lokale regressies; een significante fout in een enkele component kan worden verdund door het succes van de rest van het systeem, waardoor de daling in de algehele slaagpercentage ononderscheidbaar wordt van normale variantie.

Methodologie
De auteurs stellen Laag-geïsoleerde Evaluatie voor, een deterministische, no-LLM testomgeving ontworpen voor een productie-agent voor het bestellen van voedsel en dranken. De methodologie bestaat uit drie kerncomponenten:

1. Architecturale Decompositie: De agent wordt gedecomposeerd in een vaste taxonomie van 23 architecturale lagen (bijv. ontologie pre-resolutie, intentie-signalen, routering, decompositie, escalatie, veiligheid, geheugen en cross-cutting defensie).
2. Pure-Mode Assertie Slices: Elke laag wordt geëxecuteerd door een toegewezen "assertie-slice" die draait in een deterministische, no-LLM "pure" modus. In plaats van een generatief model aan te roepen, stellen deze slices contracten vast op deterministische outputs (bijv. canonieke ID's van een ontologie-resolver, regelgebaseerde escalatiebeslissingen, dictionary herschrijvingen of server-zijde prijsherberekeningen).
   • De volledige suite bestaat uit 238 baseline-gevallen (225 pure gevallen + 13 legacy end-to-end gevallen).
   • De executietijd bedraagt ongeveer 2,39 seconden (≈10 ms per geval), waardoor het op elke Pull Request (PR) in de Continuous Integration (CI) kan worden gedraaid.
3. Coverage-Honesty Baseline: Het systeem maakt gebruik van een "locked per-slice baseline". Cruciaal is dat het een coverage-honesty criterium afdwingt: als een laag nul testgevallen heeft, wordt het slaagpercentage gerapporteerd als null (onbedekt) in plaats van 100%. Dit voorkomt dat een "groene" geaggregeerde score ongekende componenten verbergt.

Validatie en Resultaten
De auteurs valideerden de methode via gecontroleerde regressie-injectie, waarbij ze één niet-veiligheidslaag tegelijk degradeerden over zeven verschillende lagen en de impact op zowel de geaggregeerde slaagratio als de individuele slice-ratio's maten.

• Maskeringsfenomeen: De studie bevestigde dat geaggregeerde metrieken lokale fouten maskeren. Wanneer een enkele laag werd gedegradeerd, daalde de geaggregeerde slaagratio slechts marginaal (tussen -1,7 en -5,9 procentpunten), een verandering die klein genoeg is om te worden afgedaan als ruis op het dashboard.
• Lokalisatie: In tegen tegenstelling hiertoe "craterde" de specifieke slice die overeenkwam met de geïnjecteerde fout, met een daling tussen de -25 en -91 procentpunten.
• Foutlokalisatienauwkeurigheid: De eigen slice van de geïnjecteerde laag was de slechtst getroffen slice in 5 van de 7 gevallen en rangordeerde in de top 3 van de slechtst getroffen slices in alle 7 gevallen (gemiddelde rang 1,29 van 19). De "off-diagonal" impact (schade aan andere slices) was bijna vlak, behalve bij fundamentele lagen (zoals ontologie-resolutie), waar een kleine daling in de fundamentele laag ervoor zorgde dat downstream slices faalden, wat correct een fundamenteel probleem signaleerde.
• Cross-Tenant Replicatie: De lokalisatieresultaten werden gerepliceerd op een tweede, structureel verschillende tenant (Starbucks SG). Alle zeven overeenkomende slices "craterden" onder hun respectievelijke injecties, wat bevestigt dat de methode geen artefact is van een enkel catalogus.

Kernbijdragen
Het artikel claimt de volgende specifieke bijdragen:

1. Een Deterministische Harness: Een volledig gedecomposeerde, sub-seconde, no-LLM per-laag harness voor een productie-agent die CI bewaakt tegen een vergrendelde baseline.
2. Coverage-Honesty Criterium: Een test-adequatierule die weigert een niet-geëxecuteerde laag als geslaagd te scoren, waardoor "groene" geaggregeerde scores niet ongeteste risico's kunnen witwassen.
3. Empirische Validatie van Maskering: Een regressie-injectie demonstratie die bewijst dat per-slice baseline-locked gates regressies kunnen lokaliseren die geaggregeerde metrieken volledig missen.
4. Operationalisering van Theorie: Het werk biedt een concrete, uitvoerbare instantie van het "evaluation-driven agent operations" procesmodel voorgeschreven door Xia et al. (2024), dat voorheen een volledige implementatie miste.

Betekenis en Claims
De auteurs positioneren dit werk niet als een uitvinding van component-niveau evaluatie, maar als een concrete, deterministische instantie van bestaande theoretische kaders. Ze stellen expliciet:

• De methode is een drift detector, geen correctheidsorakel. Een groene slice certificeert dat de laag niet is veranderd van het gebaselineerde contract, niet dat het contract zelf "correct" is.
• De aanpak vult end-to-end stochastische testen aan, in plaats van ze te vervangen. Terwijl de "pure mode" de deterministische kern van de agent bewaakt, blijft stochastische whole-workflow mutatietesting (bijv. Bhardwaj, 2026) noodzakelijk voor generatieve gedragingen.
• De primaire waarde is signaal tijdens de ontwikkeling: het transformeert het trage, ruisgevoelige proces van het vinden van defecte subsystemen naar een snelle, deterministische en actiegerichte CI-gate.

Het artikel concludeert dat hoewel de injectiestudie beperkt is tot door de auteur gekozen fouten (N=7) en een enkele domein (F&B ordering), het aangetoonde vermogen om fouten te isoleren die geaggregeerde metrieken verbergen, een robuust mechanisme biedt voor het behoud van de stabiliteit van agenten tijdens snelle iteratie.