🤖 AI

AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation

Dit artikel introduceert AgentLens, een raamwerk dat de prevalentie van het "Lucky Pass"-fenomeen in SWE-agent-evaluaties blootlegt door aan te tonen dat het uitsluitend vertrouwen op binaire testresultaten aanzienlijke verschillen in oplossingskwaliteit verbergt, en stelt een procesgerichte beoordelingsmethode voor met behulp van taakspecifieke Prefix Tree Acceptor-referenties om de prestaties van modellen nauwkeuriger te rangschikken.

Oorspronkelijke auteurs: Priyam Sahoo, Gaurav Mittal, Xiaomin Li, Shengjie Ma, Benjamin Steenhoek, Pingping Lin, Yu Hu

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Priyam Sahoo, Gaurav Mittal, Xiaomin Li, Shengjie Ma, Benjamin Steenhoek, Pingping Lin, Yu Hu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een monteur huurt om je auto te repareren. De huidige manier waarop we AI-software-ingenieurs (zogenaamde "SWE-agents") testen, is zeer eenvoudig: je geeft hen een kapotte auto, ze komen terug met een gerepareerde versie, en je controleert of hij start. Als hij start, krijg je een gouden ster. Als hij niet start, krijgen ze een rood kruis.

Dit is het "Pass/Fail"-systeem. Het probleem, volgens dit paper, is dat dit systeem twee zeer verschillende monteurs exact hetzelfde behandelt:

De Meester-Monteur: Stelt snel de diagnose, bestelt het juiste onderdeel, repareert het efficiënt en controleert het werk dubbel.
De Gelukkige Gokker: Probeert 50 willekeurige onderdelen, wisselt ze blindelings uit, breekt er een paar andere dingen bij, raakt gefrustreerd en komt uiteindelijk – door pure geluk – het juiste onderdeel op zijn plaats. De auto start.

Onder het oude systeem krijgen beiden een gouden ster. Maar het paper betoogt dat dit een fout is. De "Gelukkige Gokker" is eigenlijk een slechte aanwinst omdat hun proces chaotisch, verspillend en onvoorspelbaar is.

Het Probleem: De "Gelukkige Pass"

De onderzoekers keken naar meer dan 2.600 pogingen van AI-agents om echte softwarebugs te repareren. Ze ontdekten dat 10,7% van de "succesvolle" reparaties eigenlijk "Gelukkige Passes" waren.

Deze agents losten het probleem niet logisch op. In plaats daarvan:

Blind Herhaalden: Net als een kind dat op een piano slaat tot een liedje goed klinkt.
Vergeten te Controleren: De code gerepareerd maar nooit de tests uitgevoerd om te zien of het echt werkte.
Tijd Verspild: Verkeerde bestanden verkend of in cirkels gelopen voordat ze per ongeluk het antwoord vonden.

De Oplossing: AGENTLENS (De "Procescamera")

Om dit op te lossen, bouwde het team een nieuw hulpmiddel genaamd AGENTLENS. Denk hierbij aan een high-definition camera die niet alleen naar de afgewerkte auto kijkt; het neemt het hele reparatieproces in slow motion op.

AGENTLENS doet twee belangrijke dingen:

1. De "Kaart van Goede Oplossingen" (PTA)
In plaats van het werk van een AI te vergelijken met slechts één "perfect" voorbeeld, bouwt AGENTLENS een Prefix Tree Acceptor (PTA).

Analogie: Stel je een boom voor waar de stam het begin van de klus is. De takken vertegenwoordigen verschillende geldige manieren om de auto te repareren. Sommige takken lopen door de motorkap; andere door de kofferbak.
Als een AI een pad volgt dat op de boom bestaat, doet ze iets slim. Als ze het pad verlaat de bossen in, wast ze tijd.

2. De "Intentie-Vertaler"
Het hulpmiddel observeert wat de AI doet en labelt elke stap met een "gedachte":

Verkenning: "Ik zoek naar het probleem."
Implementatie: "Ik repareer het onderdeel."
Verificatie: "Ik controleer of het werkt."
Orkestratie: "Ik organiseer mijn gedachten."

Als een AI een test uitvoert voordat ze de code zelfs maar heeft geschreven, markeert het hulpmiddel dit als verward. Als ze de code repareert maar nooit een test uitvoert, markeert het dit als riskant.

Wat Ze Vonden

Toen ze deze nieuwe "Procescamera" op de data toepasten, waren de resultaten verrassend:

Niet Alle Winnaars Zijn Gelijk: Ze splitsten de succesvolle reparaties op in drie groepen:
- Ideal (20%): Schoon, logisch en efficiënt.
- Solid (69%): Goed, maar misschien een beetje rommelig.
- Lucky (10,7%): De "Gokker"-groep. Ze kregen het juiste antwoord, maar door chaos.
De Ranglijst Veranderde: Toen ze de AI-modellen rangschikten op basis van hoe ze problemen oplosten (niet alleen of ze ze oplosten), keerde de ranglijst zich om.
- Eén model (GPT-4o) sprong van de 8e naar de 3e plaats, omdat het, wanneer het wel slaagde, dit zeer schoon deed.
- Een ander model (Opus 4.6) daalde van 1e naar 6e plaats. Het had een hoog slagingspercentage, maar veel van die overwinningen waren "Gelukkige Passes" vol met verspilde inspanning.
De Kosten van Geluk: De "Gelukkige" agents waren ongelooflijk duur. Sommigen verspillen tot 40 keer meer rekenkracht (tokens) dan de efficiënte agents om alleen maar hetzelfde resultaat te krijgen. Het is alsof je een sloopkogel gebruikt om een notenkraker te kraken omdat je niet weet hoe je een notenkraker moet gebruiken.

De Vijf Types "Geluk"

Het paper categoriseerde ook precies hoe deze agents geluk hadden:

De Overmoedige: Repareerde het maar controleerde niet of het werkte.
De Brute-Forcer: Blijf willekeurige dingen proberen tot één werkte.
De Halfhartige: Repareerde slechts een deel van het probleem, maar de tests waren niet streng genoeg om de rest te vangen.
De Dwalende: Verdwaalde tijdens het verkennen en concentreerde zich nooit echt.
De Creatieve Genie: Vond een totaal andere, geldige manier om het te repareren die de "Kaart" niet verwachtte (dit is het enige "goede" type geluk).

De Conclusie

Het paper concludeert dat we AI niet alleen kunnen vragen: "Heb je het gerepareerd?" We moeten vragen: "Heb je het op de juiste manier gerepareerd?"

Door AGENTLENS te gebruiken, kunnen we stoppen met het belonen van AI-modellen voor geluk of verspilling. In plaats daarvan kunnen we ze trainen om zoals de Meester-Monteur te zijn: efficiënt, logisch en betrouwbaar. De onderzoekers hebben hun hulpmiddelen en data vrijgegeven zodat anderen deze "Procescamera" kunnen gaan gebruiken om AI-ingenieurs beter te evalueren.

Technische Samenvatting: AGENTLENS: Het Blootleggen van het Gelukkige Slagen-probleem in de Evaluatie van SWE-agenten

1. Probleemstelling

De huidige evaluatie van Software Engineering (SWE)-agenten wordt gedomineerd door een binair signaal: of de uiteindelijke patch de testsuite slaagt (bijv. SWE-bench). Dit "uitsluitend op uitkomst gerichte" perspectief behandelt een principiële, efficiënte oplossing en een chaotisch, trial-and-error-proces als equivalent. De auteurs betogen dat deze equivalentie empirisch onjuist is en ontoereikend voor het evalueren van agentgedrag.

Specifiek identificeert het artikel het "Gelukkige Slagen"-probleem: een subset van succesvolle trajecten die een correcte patch bereiken via zwakke, breekbare of inefficiënte processen. Deze omvatten:

Regressielussen: Herhaaldelijk falen en opnieuw proberen van vergelijkbare bewerkingen.
Blinde hertrials: Acties herhalen zonder nieuwe informatie.
Ontbrekende verificatie: Toepassen van fixes zonder tests uit te voeren.
Temporaal ongeordende exploratie: Uitvoeren van verificatiestappen vóór implementatie of het verkennen van irrelevante bestanden nadat een fix is geverifieerd.

Het artikel stelt dat het behandelen van alle slagen-trajecten als even waardevolle supervisiegegevens (zoals gedaan in datasets zoals SWE-Gym) een ruwe proxy is voor demonstratiekwaliteit. Bovendien, naarmate modellen convergeren naar benchmarks voor slagingspercentages, wordt proceskwaliteit een noodzakelijke as voor modelvergelijking en risicobeoordeling, aangezien agenten die slagen via trial-and-error onvoorspelbaar kunnen gedragen in complexe, real-world implementaties.

2. Methodologie: Het AGENTLENS-kader

De auteurs introduceren AGENTLENS, een kader voor procesniveau-beoordeling van SWE-agenttrajecten. Het werkt in vier fasen:

A. Van Ruwe Logs naar Gelabelde Staten

Ruwe agentlogs worden geparseerd naar gestructureerde staatsequenties. Elke staat krijgt een intentiefase-label toegewezen uit vier cognitieve fasen:

Exploratie (E): Bestanden lezen, zoeken, mappen opsommen.
Implementatie (I): Bronbestanden bewerken of aanmaken.
Verificatie (V): Tests uitvoeren, fouten controleren, bewerkte bestanden opnieuw lezen.
Orkestratie (O): Administratie en redeneerstappen.

Cruciaal maakt AGENTLENS gebruik van een contextgevoelige intentiefase-labeler. In tegenstelling tot naïeve benaderingen die acties labelen op basis van alleen de toolidentiteit (bijv. ervan uitgaande dat grep altijd exploratie is), gebruikt deze labeler de trajectgeschiedenis. Zo wordt grep gelabeld als Exploratie voordat een patch is geschreven, maar als Verificatie als het wordt uitgevoerd na een implementatiestap om een specifieke wijziging te controleren. Dit lost ambiguïteiten op in terminalopdrachten, gevalideerd met een Fleiss' $\kappa = 0,933$ over zeven annotatoren.

B. Opbouwen van een PTA-referentie

In plaats van een kandidaattraject te vergelijken met één enkele referentiespoor, construeert AGENTLENS een Prefix Tree Acceptor (PTA) uit $k \ge 2$ slagen-trajecten voor dezelfde taak.

Samenvoegen: Gedeelde voorvoegsels worden samengevoegd tot gemeenschappelijke knooppunten.
Vertakken: Divergente maar succesvolle strategieën vormen takken.
Resultaat: De PTA is een Directed Acyclic Graph (DAG) die een ruimte van "bekend-goede" oplossingsstrategieën codeert in plaats van één enkel voorbeeld. Dit stelt het systeem in staat om geldige alternatieve paden te herkennen terwijl het afwijkingen van bekende succesvolle processen markeert.

C. Scoren van Kandidaattrajecten

Een kandidaattraject wordt gescoord tegen de taakniveau-PTA met behulp van vier complementaire signalen, gecombineerd tot een kwaliteitscore van 0–100:

Structurele Uitlijning ( $\Phi_{struct}$ ): Meet of de kandidaat PTA-staten in de ruwweg juiste volgorde bezoekt (geordend recall + ongeordend precisie).
Setdekking ( $\Phi_{cov}$ ): Meet het fractie van PTA-staten die door de kandidaat wordt gematcht, ongeacht de volgorde.
Trajectcoherentie ( $\Phi_{coh}$ ): Samenvat de intentiefase-volgorde, beloonend voor vooruitgang (bijv. $E \to I \to V$ ) en strafend voor terugkeer en blinde hertrials.
Temporele Profielgelijkheid ( $\Phi_{temp}$ ): Vergelijkt de verdeling van fasen over vroege, middelste en late trajectsegmenten met de PTA met behulp van Jensen-Shannon-divergentie.

De uiteindelijke score is een gewogen som:
$f(\tau_c, G) = 0,20 \cdot \Phi_{struct} + 0,15 \cdot \Phi_{cov} + 0,30 \cdot (100 \cdot \Phi_{coh}) + 0,35 \cdot (100 \cdot \Phi_{temp})$
Gedragsignalen (Coherentie en Temporeel Profiel) dragen 65% van het gewicht, wat weerspiegelt dat structurele dekking en proceskwaliteit vaak op verschillende trajecten falen.

D. Rapporten en Indeling in Tiers

Trajecten worden ingedeeld in tiers op basis van hun samengestelde score:

Ideaal ( $\ge 70$ ): Principieel, weinig verspilling, goed geordend.
Solide ( $47 \le score < 70$ ): Onvolmaakt maar coherent.
Gelukkig ( $< 47$ ): Zwakke processen die toevallig slagen (bijv. regressielussen, blinde hertrials).
Gedeeltelijk-falen / Uit het spoor: Voor falende trajecten.

Het systeem genereert ook gestructureerde inefficiëntierapporten, waarbij "verspilling" (regressielussen, blinde hertrials, redundante stappen, onnodige exploratie, cyclische patronen) wordt gelokaliseerd naar specifieke trajectstappen.

3. Belangrijkste Bijdragen

AGENTLENS-Bench: De eerste proces-geannoteerde SWE-agenttrajectdataset. Deze bevat 1.815 trajecten van 47 SWE-bench Verified-taken, met kwaliteitscores, verspilling-annotaties, divergentiemetadata en ground-truth PTAs.
De Gelukkige Slagen-vondst: De auteurs tonen aan dat 10,7% van de slagen-trajecten "Gelukkige Slagen" zijn. Deze worden ontbonden in vijf terugkerende mechanismen:
- Minimaal & Ongeverifieerd (15,6%): Kort, geen verificatie.
- Brute-Force Convergentie (34,4%): Hoge verspilling, lage coherentie.
- Onvolledige Implementatie (33,6%): Gedeeltelijke fixes die slagen door testgaten.
- Excessieve Exploratie (4,1%): Lang, ongeconcentreerd.
- Divergent-maar-Geldig (12,3%): Alternatieve geldige benaderingen.
Contextgevoelige Intentielabeling: Een gevalideerde labeler die de ambiguïteit tussen exploratie en verificatie in terminalopdrachten oplost, met 96,0% ruwe overeenstemming.
PTA-gebaseerde Procesreferenties: Een methode om meerdere slagen-oplossingen te samenvoegen tot een referentieruimte van bekend-goede strategieën, waardoor het scoren van nieuwe trajecten mogelijk wordt tegen een diverse set van correct gedrag.
Open-source Tooling: Uitgave van de AGENTLENS SDK en webinterface, ondersteunend ATIF en OpenHands-spoor zonder dat LLM-oproepen nodig zijn voor scoring.

4. Resultaten

Het kader werd geëvalueerd op 2.614 trajecten van acht modelbackends (waaronder GPT-4.1, GPT-4o, Claude Opus en Gemini 2.5 Pro) over 60 SWE-bench Verified-taken.

Verdeling van Slagen-trajecten: Onder 1.136 slagen-trajecten waren 20,2% Ideaal, 69,1% Solide en 10,7% Gelukkig.
Afwijking in Modelranking: Procesbewuste scoring verandert modelranks aanzienlijk in vergelijking met alleen slagingspercentage.
- Voorbeeld: GPT-4o staat 8e qua slagingspercentage maar 3e qua kwaliteitsscore.
- Voorbeeld: Claude Opus 4.6 staat 3e qua slagingspercentage maar 6e qua kwaliteitsscore, met een 18,7% Gelukkig-percentage (het hoogste onder top-tier modellen).
- Gelukkig-percentages over modellen variëren van 0,5% (Opus 4.5) tot 23,2% (GPT-4.1).
Taxonomie Specificiteit: Er is een significante associatie tussen modeltype en Gelukkig Slagen-categorie ( $\chi^2(28) = 102,47, p < 0,0001$ ). Bijvoorbeeld, Opus 4.6 produceert onevenredig veel "Minimaal & Ongeverifieerd" slagen, terwijl GPT-4.1 domineert in de "Brute-Force" en "Excessieve Exploratie" categorieën.
Discriminerend Vermogen: De samengestelde score scheidt slagen- en falen-trajecten met een AUROC van 0,766 ( $p=0,0017$ ). Geen enkel enkel signaal bereikte statistische significantie alleen, wat de noodzaak benadrukt van het fuseren van structurele en gedragsignalen.
Kosteneffecten: Gelukkige Slagen brengen aanzienlijk hogere rekenkosten met zich mee. "Brute-Force"-trajecten kosten ongeveer 25x meer tokens dan "Minimale" trajecten, en "Excessieve Exploratie" kost ongeveer 40x meer, ondanks dat ze identieke binair slagen/falen-labels ontvangen.

5. Betekenis en Beweringen

Het artikel beweert dat AGENTLENS een noodzakelijke evaluatielaag biedt die verder gaat dan binair uitkomsten. De betekenis ligt in drie gebieden:

Data Curation: Het daagt de praktijk uit om trainingsdata uitsluitend te filteren op slagingspercentage, en toont aan dat "succesvolle" trajecten enorm variëren in kwaliteit. Het gebruik van lage-kwaliteit "Gelukkige" trajecten voor supervisie kan breekbaar gedrag versterken.
Modelvergelijking: Het biedt een nieuwe as voor het vergelijken van modellen. Naarmate modellen convergeren naar hoge slagingspercentages, wordt het vermogen om taken op te lossen via coherente, weinig verspilling processen een differentiator. Het artikel toont aan dat rangschikking op kwaliteitsscore modelposities met maximaal vijf plaatsen kan verschuiven.
Implementatierisico: Het benadrukt dat agenten die slagen via trial-and-error onvoorspelbaar kunnen zijn in omgevingen met dure tests of onomkeerbare acties. Door "Gelukkige Slagen" bloot te leggen, helpt AGENTLENS praktici modellen te identificeren die vertrouwen op breekbare exploratie in plaats van principiële redenering.

De auteurs positioneren AGENTLENS niet als vervanging voor functionele correctheidcontroles, maar als een complementair diagnostisch hulpmiddel om de evaluatie, analyse en training van software engineering agenten te verbeteren. Ze geven de dataset en tools vrij om procesbewuste analyse een standaardonderdeel te maken van de SWE-agent-evaluatiepijplijn.