💻 computer science

CASPER-Change-Aware Slice Prioritization for Efficient Regression Testing of LLM-based systems

Dit artikel stelt CASPER voor, een veranderingsbewust framework voor het prioriteren van slices dat de efficiëntie van regressietesten voor op LLM gebaseerde systemen verbetert door semantisch consistente testslices te identificeren en deze te prioriteren op basis van gedragsinformatie uit executielogs.

Oorspronkelijke auteurs: Biruk Asmare Muse, Lionel Briand, Yiwei Lu, Keheliya Gallaba

Gepubliceerd 2026-08-04

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Biruk Asmare Muse, Lionel Briand, Yiwei Lu, Keheliya Gallaba

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de kapitein bent van een enorm, hoogtechnologisch ruimteschip met een crew bestaande uit een superintelligente, maar licht onvoorspelbare, AI-navigator. Deze AI is briljant in het oplossen van problemen, zoals het repareren van defecte motoren of het uitstippelen van nieuwe koersen, maar hij is niet perfect. Soms maakt hij een kleine fout, soms heeft hij het volkomen bij het rechte eind. Stel je nu voor dat je de hersenen van de AI wilt upgraden of de instructies die je aan hem geeft wilt veranderen. Voordat je het schip lanceert, moet je ervoor zorgen dat de nieuwe versie niets kapotmaakt wat hij voorheen wel kon doen. Dit wordt "regression testing" genoemd.

In de oude dagen van software was testen als het controleren van een lichtschakelaar: als hij niet aanging, was hij kapot. Maar met AI is het meer als het controleren van een weersvoorspelling. Als de AI regen voorspelt voor één stad maar ernaast zit, betekent dat dan dat het hele systeem kapot is? Of is het gewoon een toevalstreffer? Als je elke stad op de planeet zou controleren, duurt dat eeuwig. Maar als je alleen de grote steden controleert, mis je misschien een storm in een klein dorp. Het probleem is het vinden van het perfecte middenpad: het groeperen van vergelijkbare steden zodat je een paar representatieve steden kunt controleren en weet wat er in de hele groep aan de hand is. Dit paper behandelt precies die puzzel voor AI-systemen.

Het Probleen: De "Naald in een Hooiberg" van AI-fouten

Wanneer ontwikkelaars een AI-systeem aanpassen — misschien veranderen ze de hersenen van het model, de instructies (prompts) bijwerken of een andere tool gebruiken — kan dit "regressies" veroorzaken. Dit zijn momenten waarop de AI plotseling slechter presteert dan voorheen. Het lastige deel is dat AI probabilistisch is; de AI kan een taak 90% van de tijd goed uitvoeren, maar die foutmarge van 10% kan erg irritant zijn.

Als je elk mogelijk scenario test na een wijziging, is dat te traag en te duur. Als je alleen naar de "gemiddelde" score kijkt, mis je misschien het feit dat de AI nu slecht is geworden in een specifiek type taak, zelfs als hij in andere taken nog steeds uitblinkt. De auteurs realiseerden zich dat de oplossing ligt in slicing (het snijden). Stel je voor dat je een enorme pizza (je testsuite) in stukken snijdt. Elk stuk moet bestaan uit stukjes pizza die erg veel aan elkaar lijken (zoals alle pepperoni-stukken). Als het pepperoni-stuk na een upgrade van de oven vies smaakt, weet je dat het probleem bij de pepperoni ligt, en niet bij de kaas.

De Oplossing: CASPER, de Slimme Pizzasnijder

Het paper introduceert een nieuw framework genaamd CASPER (Change-Aware Slice Prioritization). Zie CASPER als een super slimme robotkok die twee hoofdzaken doet:

Het snijdt de pizza perfect (Slice Identification):
In plaats van te gokken hoe de testgevallen gegroepeerd moeten worden, gebruikt CASPER een slimme evolutionaire zoektocht (zoals een digitale versie van natuurlijke selectie) om de beste groepen te vinden. Het kijkt naar hoe de AI zich gedraagt tijdens zijn "denkproces" (de gespreklogs) om te zien welke taken vergelijkbaar zijn. Het groepeert taken die dezelfde gedragspatronen delen, en cruciaal: taken waarbij de AI ofwel consequent slaagt, ofwel consequent faalt. Dit zorgt ervoor dat als één taak in de groep faalt, de anderen waarschijnlijk ook zullen falen.
Het kiest de belangrijkste stukken om als eerste te proeven (Slice Prioritization):
Zodra de pizza gesneden is, proeft CASPER de stukken niet in een willekeurige volgorde. Het gebruikt een "foutvoorspellingsmodel" dat getraind is op het eerdere gedrag van de AI. Wanneer er een verandering plaatsvindt, kijkt CASPER naar een paar representatieve taken uit elk stuk en vraagt: "Op basis van hoe de AI eerder dacht, lijkt deze nieuwe verandering erop te wijzen dat dit specifieke stuk kapot gaat?" Vervolgens rangschikt het de stukken, waarbij de stukken die het meest waarschijnlijk kapot gaan, helemaal bovenaan de lijst komen te staan.

Hoe Ze Het Testten: De Software Fixer Challenge

Om te zien of CASPER echt werkt, hebben de onderzoekers het getest in de wereld van software issue resolution (het oplossen van softwareproblemen). Stel je een AI voor die een bugrapport en een hoop code krijgt, en wiens taak het is om een fix (een "patch") te schrijven. Ze gebruikten een beroemde dataset genaamd SWE-bench Verified, die 500 echte programmeerproblemen bevat.

Ze simuleerden verschillende soorten wijzigingen:

Modelwijzigingen: Het vervangen van de hersenen van de AI voor een nieuwere versie (bijv. van een Claude-model naar een ander Claude-model, of van een "Devstral"-model naar een "Kimi"-model).
Promptwijzigingen: Het veranderen van de instructies die aan de AI worden gegeven (bijv. de AI vertellen om voorzichtiger te zijn of andere tools te gebruiken).

Ze vergeleken CASPER met twee andere methoden:

Random Ranking: Het simpelweg kiezen van stukken in een willekeurige volgorde (zoals met je ogen dicht pizza-stukken kiezen).
Clustering Baselines: Het gebruik van standaard wiskundige tools (GMM en HDBSCAN) om de stukken te groeperen; dit zijn veelgebruikte methoden, maar ze zijn niet specifiek ontworpen voor dit AI-regressieprobleem.

De Resultaten: De Kapotte Stukken Sneller Vinden

De resultaten waren zeer duidelijk. Wat betre het snijden van de pizza (identificatie van de stukken) betrof, deed CASPER het veel beter dan de standaard clusteringmethoden.

Consistentie: De stukken gecreëerd door CASPER hadden een output-consistentie van 97% tot 98%. Dit betekent dat de AI binnen één enkel stuk ofwel bijna alle taken goed uitvoerde, ofwel bijna allemaal fout deed. De standaardmethoden haalden slechts een consistentie van 74% tot 84%.
Coherentie: CASPER hield de stukken ook "coherent", wat betekent dat de taken binnen de stukken echt vergelijkbaar waren in de manier waarop de AI ze benaderde.

Wat betre het kiezen van de stukken om te testen (prioritering) betrof, was CASPER een game-changer.

In een scenario waarin ontwikkelaars slechts de tijd hebben om een klein deel van de stukken te testen (een beperkt budget), vond CASPER de kapotte stukken veel sneller dan bij willekeurig gokken.
Voor sommige promptwijzigingen verbeterde CASPER het vermogen om regressies te vinden met bijna 50% vergeleken met random ranking.
Zelfs bij modelwijzigingen, waar de verschillen subtieler zijn, presteerde CASPER nog steeds aanzienlijk beter dan de random baseline (een verbetering van tot wel 46%).

Wat Dit Betekent

Het paper suggereert dat door te kijken naar hoe een AI denkt (de gedragssignalen) in plaats van alleen naar wat het uitvoert, we de taken van de AI in zinvolle categorieën kunnen indelen. Dit stelt ontwikkelaars in staat om hun AI-systemen veel efficiënter te testen. In plaats van duizenden tests uit te voeren, kunnen ze een paar slim gekozen tests uitvoeren en er zeker van zijn dat ze de problemen hebben opgevangen.

De auteurs merken op dat hoewel CASPER erg goed werkte in dit specifieke domein (het oplossen van softwarebugs), de methode flexibel is. Het is niet afhankelijk van specifieke typen data of vooraf geschreven beschrijvingen, wat betekent dat het potentieel aangepast kan worden voor andere AI-taken, zoals het genereren van samenvattingen of het beantwoorden van vragen. Ze wijzen echter ook op het punt dat de methode het beste werkt wanneer de wijzigingen aan de AI groot genoeg zijn om merkbare verschuivingen in gedrag te veroorzaken; als de wijzigingen minuscuul zijn, is het moeilijker om de impact te onderscheiden.

Kortom, CASPER is een hulpmiddel dat ontwikkelaars helpt te stoppen met gokken welk deel van hun AI-systeem mogelijk kapot gaat na een update, waardoor tijd wordt bespaard en wordt gewaarborgd dat de AI betrouwbaar blijft terwijl deze evolueert.

Technische Samenvatting: CASPER — Change-Aware Slice Prioritization voor Efficiënte Regressietesten van LLM-gebaseerde Systemen

1. Probleemdefinitie

Regressietesten voor door Large Language Models (LLM) gebaseerde systemen brengt unieke uitdagingen met zich mee vergeleken met traditionele software. In conventionele systemen geeft een fout in een enkele testcase betrouwbaar een defect aan. Vanwege het probabilistische karakter van LLM's is een enkele instantie-fout echter niet noodzakelijkerwijs een betekenisvolle systeembrede regressie, noch biedt het voldoende diagnostische informatie. Omgekeerd is het evalueren van prestaties uitsluitend op het niveau van de geaggregeerde testsuite te grofmazig, waardoor het niet mogelijk is om te identificeren welke specifieke gedragingen worden beïnvloed door een wijziging.

Het kernprobleid is het identificeren van "regressie-slices"—subsets van semantisch gerelateerde regressie-instanties waar het systeem een consistente prestatie vertoont (overwegend succesvol of overwegend falend)—en het prioriteren van deze slices op basis van de waarschijnlijkheid dat ze worden beïnvloed door een systeemwijziging (bijv. modelupdates, promptmodificaties of hyperparameter-tuning). Deze prioritering is cruciaal voor kosteneffectieve regressietesten, met name in CI/CD-pipelines waar testbudgetten beperkt zijn.

Bestaande technieken voor slice-identificatie (bijv. op beslissingsbomen gebaseerde, clustering- of embedding-gestuurde methoden) zijn grotendeels ontworpen voor voorspellende modellen, specifieke modaliteiten (afbeeldingen, tijdreeksen) of classificatie-taken. Ze vertrouwen vaak op externe corpora van slice-beschrijvingen of domeinspecifieke architecturen, wat ze ongeschikt maakt voor de generatieve, tekstgebaseerde aard van LLM-gebaseerde systemen.

2. Methodologie: Het CASPER-framework

De auteurs stellen CASPER voor (Change-Aware Slice Prioritization for Efficient Regression Testing of LLM-based systems), een tweefasig framework ontworpen om betekenisvolle regressie-slices te identificeren en deze te prioriteren na een systeemwijziging.

Fase 1: Slice-identificatie (CASPER-SI)

De eerste fase partitioneert de regressietestdataset in slices die voldoen aan twee concurrerende doelstellingen: outputconsistentie (instanties binnen een slice delen vergelijkbare succes/fout-uitkomsten) en gedragscoherentie (instanties delen vergelijkbare gedragskenmerken).

Extractie van gedragssignalen: CASPER extraheert kwantitatieve kenmerken uit agent-conversatielogs (redeneringsstappen, tool-aanroepen, uitvoeringsfeedback). Voor het domein van softwareprobleemoplossing bevatten deze signalen:
- File-level recall: Afstemming tussen gegenereerde en gouden patches.
- Mean Absolute State Movement (MASM): Stabiliteit van staatsovergangen.
- Trajectory Entropy Deviation (TED): Afwijking van de staatsovergang-entropie van succesvolle baselines.
- Testinspanning, testfoutpercentage, Dominant File Ratio, Cross-state file overlap, en Plan compliance metrics (PPC, POC, PPF).
Multi-objective Zoektocht: Slice-identificatie wordt geformuleerd als een multi-objective optimalisatieprobleem. CASPER gebruikt NSGA-II (een non-dominated sorting genetic algorithm) om een populatie van kandidaat-slices te evolueren. De optimalisatie minimaliseert:
1. Output Inconsistentie (OI): Het aandeel instanties in een slice die afwijken van de dominante succes- of foutuitkomst.
2. Intra-Slice Afstand: De gemiddelde paarwise Euclidische afstand tussen gedragssignaalvectoren binnen een slice (maximaliseren van coherentie).
3. Inter-Slice Afstand: De afstand tussen slice-centra (maximaliseren van scheiding).
Selectie: Het algoritme gebruikt een knee-point analyse op de resulterende Pareto-front om de optimale trade-off oplossing te selecteren, wat ervoor zorgt dat slices noch te granulair, noch te grofmazig zijn.

Fase 2: Regressed Slice Ranking

De tweede fase prioriteert slices op basis van de waarschijnlijkheid van regressie na een wijziging (van versie $V_0$ naar $V_1$ ).

Foutvoorspellingsmodel: Een model (Logistische Regressie of SVM) wordt getraind op $V_0$ -data om gedragssignalen te mappen naar een foutimpactscore (waarschijnlijkheid van succes of afstand tot de beslissingsgrens).
Representatieve Steekproef: Voor elke geïdentificeerde slice wordt een kleine subset van representatieve instanties geselecteerd voor uitvoering op het gewijzigde systeem ( $V_1$ ) met behulp van ofwel Closest Distance Sampling (CDS) of Furthest Point Sampling (FPS).
Impact Classificatie: Het systeem berekent de verandering in foutpercentage ( $\Delta FR$ ) en de sampling ratio. Twee onafhankelijke binaire classifiers (Random Forest) voorspellen of een slice is Geregresseerd (R), Verbeterd (I), of Niet Veranderd (NC).
Ranking: Slices worden eerst gerankt op impactcategorie (R > I > NC) en vervolgens op de geaggregeerde verandering in de foutimpactscore binnen die categorie. Dit zorgt ervoor dat ontwikkelaars de meest waarschijnlijke regressies als eerste zien.

3. Belangrijkste Bijdragen

CASPER Framework: Een end-to-end framework dat kosteneffectieve regressietesten voor LLM-gebaseerde systemen mogelijk maakt door betekenisvolle slices te identificeren en deze te prioriteren op basis van wijzigingsimpact.
Evolutionaire Slice-identificatie (CASPER-SI): Een model-agnostische benadering die slice-identificatie formuleert als een multi-objective optimalisatieprobleem met behulp van NSGA-II. Het vereist geen externe beschrijvingscorpora of domeinspecifieke modelarchitecturen, waardoor het toepasbaar is op generatieve taken.
Gedragssignaal-gebaseerde Ranking: Een innovatieve benadering die foutvoorspellingsmodellen leert van agent-uitvoeringslogs en de verandering in voorspelde foutimpact gebruikt om slices te ranken, in plaats van enkel te vertrouwen op geaggregeerde prestatie-metrieken.
Empirische Validatie: Een uitgebreide evaluatie in het domein van softwareprobleemoplossing (gebruikmakend van SWE-bench Verified) die significante verbeteringen aantoont ten opzichte van clustering-baselines en random ranking.

4. Evaluatie en Resultaten

De auteurs hebben CASPER geëvalueerd op de SWE-bench Verified dataset met behulp van het Mini-swe-agent systeem. Ze testten vier scenario's: modelwijzigingen (verschillende families), wijzigingen binnen dezelfde familie, en twee verschillende promptwijzigingen.

Kwaliteit van Slice-identificatie (RQ1):
- CASPER-SI presteerde significant beter dan clustering-baselines (GMM en HDBSCAN) in Output Consistentie (OC), met een gemiddelde OC > 97% vergeleken met ~74–84% voor de baselines. Dit geeft aan dat CASPER slices produceert waar de prestaties van de LLM zeer uniform zijn.
- Wat betreft de Slice Coherence Metric (SCM), behaalde CASPER-SI vergelijkbare of betere resultaten dan de baselines in de meeste datasets, hoewel GMM iets beter presteerde in het scenario van modelwijzigingen binnen dezelfde familie vanwege de distributionele uitlijning.
- Statistische tests (Kruskal-Wallis en Dunn's) bevestigden dat de verbeteringen van CASPER-SI in outputconsistentie statistisch significant zijn.
Effectiviteit van Slice-ranking (RQ2 & RQ3):
- CASPER presteerde consequent beter dan een random ranking baseline over alle datasets en testbudgetten heen.
- Recall@K en AUC: CASPER behaalde hogere Recall@K-waarden, met name onder beperkte testbudgetten (bijv. het inspecteren van slechts de top 20-40% van de slices).
- Relatieve Winst: De verbetering was het meest uitgesproken bij promptwijzigingen (tot ~49% relatieve winst in AUC) en modelwijzigingen (tot ~46%), terwijl wijzigingen binnen dezelfde modelfamilie meer bescheiden winsten lieten zien door subtielere gedragsverschuivingen.
- De aanpak bleek robuust tegen variaties in foutvoorspellingsmodellen en samplingstrategieën, hoewel SVM met Closest Distance Sampling (CDS) over het algemeen het beste presteerde voor wijzigingen binnen dezelfde familie.

5. Betekenis en Claims

Het artikel stelt dat CASPER een kritiek gat dicht in de regressietesten van LLM-gebaseerde systemen door verder te gaan dan de binaire "pass/fail" van individuele instanties en de te algemene "suite-niveau" metrieken.

Praktisch Nut: Door semantisch coherente slices te identificeren en diegene te prioriteren die het meest waarschijnlijk zullen regregeren, stelt CASPER ontwikkelaars in staat om hun beperkte debug-resources te richten op de meest relevante wijzigingen, wat de kosten van regressietesten in CI/CD-pipelines aanzienlijk vermindert.
Generaliseerbaarheid: Hoewel geëvalueerd op softwareprobleemoplossing, beweren de auteurs dat het framework model-agnostisch is en kan worden aangepast aan andere LLM-domeinen door de gedragssignalen en prestatie-metrieken aan te passen.
Bescheidenheid: De auteurs erkennen dat de gedragssignalen geëngineerde proxies zijn en mogelijk niet alle aspecten van agent-gedrag vastleggen. Ze merken ook op dat de prestaties variëren afhankelijk van de omvang van de gedragsverschuiving die door de wijziging wordt veroorzaakt (bijv. updates binnen dezelfde modelfamilie zijn moeilijker te onderscheiden dan cross-family updates).

Concluderend biedt CASPER een gestructureerde, geautomatiseerde aanpak voor het organiseren en prioriteren van regressietests voor LLM-systemen, wat een praktische oplossing biedt voor de uitdagingen van niet-determinisme en grofmazige evaluatie in moderne AI-gestuurde softwareontwikkeling.