Rethinking the Evaluation of Harness Evolution for Agents
Dit artikel bekritiseert de huidige evaluatieprotocollen voor automatische harness-evolutie in LLM-agenten door aan te tonen dat, wanneer deze eerlijk wordt vergeleken met eenvoudige test-time scaling onder vergelijkbare budgetten en op onbekende taken, harness-evolutie geen consistente prestatiewinst biedt en een beperkte generalisatie vertoont.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een super-slimme robotassistent hebt (een AI-agent) die lastige computerpuzzels moet oplossen. Om de robot te helpen, geef je hem een "harnas" — een fancy set instructies, hulpmiddelen en regels die hem vertellen hoe hij met de computer moet praten, welke knoppen hij moet indrukken en hoe hij zijn werk kan controleren.
Een tijdje dachten onderzoekers dat de beste manier om deze robots beter te maken het bouwen van een "robotmonteur" was, die het harnas automatisch zou aanpassen en upgraden, keer op keer. Deze monteur zou kijken naar waar de robot faalde, denken: "Hm, misschien als ik deze regel verander," een nieuw harnas proberen, en dit herhalen tot hij de perfecte opstelling had gevonden. Ze noemden dit Automatic Harness Evolution.
Maar in dit nieuwe artikel besloten een team van onderzoekers nog eens kritisch naar de vraag te kijken of deze "robotmonteur" eigenlijk iets bijzonders doet, of dat hij ons gewoon voor de gek houdt. Ze zetten een eerlijke race op om te zien of de monteur echt betere gereedschappen ontwerpt, of dat hij gewoon geluk heeft door heel veel gokjes te wagen.
De Grote Race: Evolutie versus Gewoon Harder Proberen
De onderzoekers zetten een competitie op met een beroemde puzzelset genaamd Terminal-Bench 2.1, die uit 89 verschillende terminal-taken bestaat. Ze gebruikten drie van de slimste beschikbare AI-modellen: Claude Opus 4.6, GPT-5.4 en GPT-5.4 mini.
Ze vergeleken vier verschillende strategieën, die allemaal exact dezelfde hoeveelheid "denktijd" (compute budget) kregen:
- Parallel Sampling: Stel je voor dat je de robot vraagt om de puzzel 5 verschillende keren tegelijkertijd op te lossen, en dan het beste antwoord kiest. Het is alsof je 5 keer met een dobbelsteen gooit in de hoop op een zes.
- Sequential Refinement: Stel je voor dat de robot één keer probeert, ziet waar hij de fout in ging, zijn denken corrigeert en het opnieuw probeert. Het is als het herschrijven van een conceptversie van een essay.
- Harness Evolution: Dit is de "robotmonteur". Hij probeert de instructiehandleiding van de robot te herschrijven op basis van eerdere mislukkingen, in de hoop een beter hulpmiddel te creëren voor iedereen.
- Harness Scaling: Dit is also': de monteur herschrijft de instructies specifiek voor deze ene puzzel terwijl de robot bezig is deze op te lossen.
De Schokkende Resultaten
De onderzoekers ontdekten dat de "robotmonteur" (Harness Evolution) de race niet consistent won. Sterker nog, hij verloor vaak van de simpelere methoden.
Wanneer er geen "antwoordsleutels" waren (Unit Tests):
Als de robot zelf moest raden of hij het goed of fout had, maakte de "robotmonteur" het zelfs erger.
- De simpele methode "5 keer proberen" (Parallel Sampling) verhoogde de gemiddelde score van 68.2 naar 72.3.
- De "robotmonteur" (Harness Evolution) haalde slechts 67.4, wat eigenlijk lager was dan gewoon de originele instructies gebruiken zonder enige wijziging!
- De auteurs suggereren dat, zonder een duidelijke "antwoordsleutel" om de robot te vertellen wat juist is, de monteur alleen maar ruisende, verwarrende wijzigingen begon aan te brengen die de prestaties van de robot schaadden.
Wanneer er wél "antwoordsleutels" waren (Unit Tests):
Zelfs toen de robot zijn werk kon controleren tegenover een perfecte oplossing, blonk de monteur nog niet uit.
- De "5 keer proberen"-methode bereikte een gemiddelde score van 86.0.
- De "robotmonteur" (Harness Evolution) bereikte slechts 75.8.
- De auteurs merkten iets vreemds op: de verbeteringen van de monteur kwamen alleen naar voren wanneer ze de kans kregen om het beste van 5 pogingen te kiezen (pass@5). Wanneer ze de opdracht kregen het bij de allereerste poging goed te hebben (pass@1), verbeterde de monteur bijna niets. Dit suggereert dat de monteur niet echt een beter hulpmiddel ontwierp; hij hielp de robot eigenlijk alleen maar om meer gokjes te doen.
De "Overfitting" Valstrik
De grootste verrassing kwam toen de onderzoekers testten of de "robotmonteur" een les kon leren die van toepassing was op nieuwe puzzels. Ze lieten de monteur oefenen op 45 trainings-taken, en testten hem vervolgens op 34 gloednieuwe taken die hij nog nooit eerder had gezien.
Het resultaat? De monteur bewoog de naald nauwelijks.
- Op de nieuwe taken steeg de score slechts met gemiddeld 0.6 punten.
- Voor één model (GPT-5.4) veranderde de score helemaal niet (72.1 naar 72.1).
De paper suggereert dat de monteur geen algemene regels leerde om een goede robot te zijn. In plaats daarvan was hij "shortcuts aan het memoriseren" voor de specifieke puzzels waarop hij oefende. Het was als een student die de antwoorden op een oefentoets uit het hoofd leert, maar faalt voor het echte examen omdat hij de stof eigenlijk niet heeft geleerd.
Dus, Wat is het Oordeel?
Het artikel betoogt dat we moeten stoppen met het vieren van "Automatic Harness Evolution" als een wondermiddel, enkel omdat het hoger scoort op dezelfde puzzels waarop het geoefend heeft.
- Wat het uitsluit: Het sluit het idee uit dat deze evolutiemethoden momenteel superieur zijn aan simpelweg harder proberen (het opschalen van test-time computation).
- Wat het suggereert: Het suggereet dat de winst die we zien waarschijnlijk het resultaat is van de robot die meer keren probeert, en niet omdat het ontwerp van het harnas slimmer is geworden.
- De les: De auteurs stellen voor dat voor harness evolution echt nuttig te zijn, we het moeten testen op puzzels die moeilijk genoeg zijn om een echte upgrade van de hulpmiddelen te vereisen, en dat we het op nieuwe puzzels moeten testen om te controleren of het niet gewoon vals speelt door de oude te memoriseren.
Kortom, de "robotmonteur" is nog volop in ontwikkeling. Op dit moment lijkt hij beter in het aanpassen van instructies voor een enkele puzzel, dan in het uitvinden van een universeel hulpmiddel dat voor iedereen werkt. Het paper suggereert dat we eerlijkere tests nodig hebben voordat we deze methode als winnaar verklaren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.