The Double Measurement Confound in Agent Benchmarks: De-Scaffolding, Ground-Truth Scoring, and Reliability Beyond the Mean
Dit artikel identificeert een "dubbele meetverwarring" in LLM-agent benchmarks waarbij vaste scaffolds en gebrekkige scorers de werkelijke modelcapaciteit vertroebelen, en stelt een meettheoretisch kader voor met een audit-en-reparatieprotocol om de executiecontrole over te dragen aan modellen, grondwaarheidsscoring te implementeren en betrouwbaarheidsmetrieken te rapporteren die verder gaan dan het gemiddelde.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie vertrouwen onderzoekers op gestandaardiseerde tests, bekend als benchmarks, om te meten hoe goed grote taalmodellen presteren. Deze modellen zijn ontworied om als agenten te fungeren, in staat om digitale hulpmiddelen te gebruiken om complexe problemen op te lossen, van het analyseren van gegevens tot het boeken van vluchten. Om te bepalen welk model het beste is, laten wetenschappers ze door deze tests lopen en vergelijken ze de scores. De onderliggende aanname is dat een hogere score een slimmere, meer capabele machine betekent. Deze zekerheid rust echter op een broze premisse: dat de test zelf daadwerkelijk de intelligentie van de machine meet, in plaats van de slimheid van het ontwerp van de test of de software die het uitvoert. Als de test gebrekkig is, worden de ranglijsten misleidend, wat ontwikkelaars en bedrijven potentieel naar de verkeerde tools kan leiden.
Een team van onderzoekers heeft een specifieke, verborgen fout ontdekt in de manier waarop deze agent-benchmarks momenteel worden geconstrueerd, een probleem dat zij een "dubbele meetverwarring" (double measurement confound) noemen. Ze ontdekten dat in veel populaire tests de software die het experiment uitvoert bijna al het zware werk doet, terwijl de kunstmatige intelligentie slechts gaten invult. Bovendien controleert het systeem dat de resultaten beoordeelt vaak of het antwoord er aan de oppervlakte correct uitziet, in plaats van te verifiëren of het antwoord daadwerkelijk waar is. Wanneer deze twee problemen samenvallen, creëren ze een perfecte illusie van prestaties, waarbij zelfs een eenvoudig computercode zonder kunstmatige intelligentie net zo hoog kan scoren als de meest geavanceerde kunstmatige intelligentie.
Om dit bloot te leggen, richtten de onderzoekers zich op een benchmark die ontworpen is om te testen hoe goed modellen omgaan met rommelige, real-world data, specifiek handelsstatistieken die fouten, duplicaten en ontbrekende pagina's bevatten. In de standaardversie van deze test handelt de softwarematige 'wrapper' die het model omringt elke moeilijke beslissing automatisch af. Als de gegevensbron faalt, probeert de software de verbinding opnieuw te maken. Als de gegevens duplicaten bevatten, verwijdert de software deze. Als de gegevens verspreid zijn over vele pagina's, haalt de software ze allemaal op. De kunstmatige intelligentie wordt alleen gevraagd om te beslissen welke specifieke gegevens gezocht moeten worden en wanneer te stoppen. Omdat de software al het cruciale werk doet, zijn de resultaten identiek, ongeacht welk model wordt gebruikt. In één opvallend geval behaalden twee van de machtigste modellen ter wereld, samen met een eenvoudig regelgebaseerd script dat helemaal geen kunstmatige intelligentie gebruikt, bijna dezelfde perfecte score. De test mat niet de modellen; het mat de software die hen uitvoerde.
Het tweede deel van het probleem ligt in de manier waarop de resultaten worden beoordeeld. Het standaard beoordelingssysteem in deze tests kijkt naar het formaat van de inzending. Het controleert of het model een logboek van zijn acties heeft verstrekt en of de datastructuur er netjes uitziet. Het vergelijkt de ingediende gegevens niet met het werkelijke juiste antwoord. De onderzoekers toonden aan dat een model een volledig gefabriceerde reeks neprecords kon indienen, zolang het bestand er maar goed georganiseerd uitzag en het logboek correct was geschreven, en het zou dezelfde hoge score ontvangen als een model dat de perfecte, correcte gegevens had ingediend. Dit betekent dat de test de schijn van werk beloonde in plaats van het werk zelf.
De onderzoekers realiseerden zich dat het oplossen van slechts één van deze problemen niet genoeg was. Als ze alleen het beoordelingssysteem hadden aangepast om op waarheid te controleren, zouden de modellen nog steeds gelijkwaardig zijn omdat de software nog steeds al het werk deed. Als ze alleen de hulp van de software hadden verwijderd, zou het gebrekkige beoordelingssysteem nog steeds de fouten van de modellen zouden verbergen. Ze moesten beide tegelijkertijd verwijderen. Ze haalden de ondersteunende software weg, waardoor de kunstmatige intelligentie elke enkele beslissing moest nemen over het opnieuw proberen van verbindingen, het verwijderen van duplicaten en het ophalen van pagina's. Vervolgens vervingen ze de op formaat controlerende beoordelaar door een systeem dat de output van het model direct vergelijkt met het bekende juiste antwoord.
Toen ze deze dubbele reparatie toepasten, transformeerde het vlakke, oninformatieve klassement in een duidelijk spectrum van vermogens. Plotseling konden de modellen van elkaar worden onderscheiden. De meest capabele modellen behielden hoge scores, wat bewees dat ze de moeilijke taken aankonden wanneer ze aan hun lot werden overgelaten. Echter, andere modellen die voorheen hoog scoorden, zakten naar nul, wat onthulde dat ze volledig afhankelijk waren van de ondersteunende software om te functioneren. Sommige modellen die gemiddeld sterk leken, bleken gevaarlijk onbetrouwbaar te zijn en faalden volledig in specifieke situaties, terwijl kleinere, minder bekende modellen verrassend consistent en robuust bleken te zijn.
De studie onthulde ook dat de betrouwbaarheid van deze modellen sterk varieert afhankelijk van de specifieke omstandigheden van de test. Een model kan er gemiddeld uitstekend uitzien, maar volledig falen in zijn worst-case scenario, een detail dat standaardtests vaak verbergen. Door naar deze worst-case uitkomsten te kijken, vonden de onderzoekers dat de rangschikking van de modellen volledig veranderde. Een model dat op basis van gemiddelde scores een top performer leek, was in werkelijkheid de meest fragiele, terwijl een kleiner model dat voorheen werd overgeslagen, de meest betrouwbare bleek te zijn.
Dit werk strekt zich uit voorbij een enkele test. De onderzoekers pasten hun nieuwe auditmethode toe op andere bestaande benchmarks en vonden dezelfde problemen. In sommige gevallen was het beoordelingssysteem specifiek voor de test en werkte het correct, maar de software die de test uitvoerde deed nog steeds te veel werk, waardoor de rangschikkingen afhankelijk waren van welke softwareversie werd gebruikt. In andere gevallen was het beoordelingssysteem zelf gebrekkig en beloonde het de verkeerde zaken. De onderzoekers concludeerden dat we, om een kunstmatige intelligentie-agent echt te begrijpen, precies moeten weten hoeveel van het werk de agent doet versus hoeveel de test voor hem doet, en dat we de agent moeten beoordelen op de waarheid van zijn antwoorden, niet alleen op de netheid van zijn presentatie. Zonder deze veranderingen kunnen de scores die we vandaag de dag zien, eerder de test zelf meten dan de intelligentie die het beweert te evalueren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.