The Replay Gap: Static Evaluation of Model Switching in LLM Agents Scores the Wrong World
Dit artikel toont aan dat statische evaluatiemethoden op basis van replay fundamenteel falen bij het beoordelen van LLM-agent routers, omdat het vervangen van modeloutputs in gelogde trajecten de cumulatieve divergentie van daaropvolgende agentacties negeert, wat leidt tot misleidende prestatiemetingen die de werkelijke uitkomsten in de praktijk niet weerspiegelen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je de kapitein bent van een ruimteschip dat door een verraderlijk asteroïdengordel navigeert. Je hebt een vloot van verschillende AI-piloten: sommige zijn snel en goedkoop maar maken kleine foutjes, terwijl andere traag, duur en ongelooflijk nauwkeurig zijn. Om brandstof te besparen, besluit je om halverwege de reis van piloot te wisselen op basis van wat er op dat moment gebeurt. Als het pad vrij is, gebruik je de goedkope piloot; als er een enorme asteroïde verschijnt, wissel je naar de expert. Dit is de droom van "agentic routing" in de wereld van Large Language Models (LLM's). Deze modellen zijn de hersens achter AI-agenten die code kunnen schrijven, wiskundige problemen kunnen oplossen of games kunnen spelen door een reeks stappen te ondernemen. De grote vraag voor ingenieurs is: Hoe weten we of onze strategie om van piloot te wisselen daadwerkelijk werkt?
Traditioneel hebben wetenschappers deze strategieën getest zoals een filmregisseur een script beoordeelt. Ze kijken naar een opgenomen reis (een "traject") waarbij één piloot de hele weg heeft gevlogen. Vervolgens doen ze alsof: "Wat als we de piloot bij stap 10 hadden gewisseld?" Ze plakken simpelweg de opgenomen antwoorden van de nieuwe piloot in het oude script en kijken of het einde er goed uitziet. Dit wordt "replay evaluation" genoemd. Het is goedkoop, snel en gaat ervan uit dat als je de piloot bij stap 10 verandert, de rest van de reis van het schip exact hetzelfde zou zijn gebleven als de oorspronkelijke opname. Maar in de echte wereld is een ruimteschip een gesloten lus: de actie van de piloot bij stap 10 verandert het uitzicht bij stap 11, wat weer de beslissing bij stap 12 verandert, enzovoort. Als de nieuwe piloot een ander asteroïdengordel ziet vanwege zijn eigen eerdere beweging, verandert het hele script. Deze paper stelt een simpele, angstaanjagende vraag: Is onze "filmscript"-methode om te testen eigenlijk de verkeerde realiteit aan het meten?
De onderzoekers van Carnegie Mellon University besloten te stoppen met gissen en te beginnen met testen. In plaats van een filmscript te bewerken, bouwden ze een tijdmachine. Ze namen echte AI-agenten die software engineering-problemen oplosten en "vorkten" op specifieke momenten de tijdlijn. Ze creëerden twee parallelle universums: één waar de oorspronkelijke piloot doorvloog, en één waar ze een andere model hadden ingezet. Cruciaal was dat ze niet alleen nieuwe antwoorden in het oude verhaal plakten; ze lieten de nieuwe piloot daadwerkelijk de controle overnemen, interageren met de computeromgeving en zien wat er daadwerkelijk daarna gebeurde. Ze voerden ongeveer 900 van deze parallelle experimenten uit om te zien hoe sterk de verhalen uiteenlopen.
De resultaten waren een schok voor het systeem. De aanname dat de rest van de reis hetzelfde blijft, was volkomen onjuist. Wanneer ze van model wisselden, nam de nieuwe piloot niet simpelweg het bestaande pad over; ze herschreven de gehele toekomst. In de vroege stadia van een taak zorgde het wisselen van modellen ervoor dat de agent van mening veranderde over 74% tot 77% van zijn eerstvolgende actie. Tegen de tijd dat de onderzoekers naar de hele reis keken, had de nieuwe piloot 61% tot 94% van alle stappen die volgden op de wissel herschreven. Om het in perspectief te plaatsen: als je van piloot zou wisselen in een videogame, zou de spelwereld zo drastisch veranderen dat het "script" dat je probeerde te lezen, een level zou beschrijven dat niet meer bestaat.
De studie vond ook dat de "replay"-methode gevaarlijk blind is voor succes. In hun experimenten zagen ze vijf specifieke momenten waarop het wisselen van een piloot de uitkomst van de missie daadwerkelijk veranderde—het redden van een mislukte taak of het verliezen van een voltooide taak. De oude "filmscript"-methode mistte al deze kritieke momenten. Het voorspelde falen wanneer de nieuwe piloot daadwerkelijk slaagde, en het voorspelde succes wanneer de nieuwe piloot daadwerkelijk faalde. De code-patch die de nieuwe piloot daadwerkelijk schreef, leek totaal niet op de patch die de replay-methode voorspelde; ze waren in essentie ongerelateerd.
Bovendien ontdekten de onderzoekers dat de "ruis" in het systeem sterk afhangt van hoe de modellen worden uitgevoerd. Zelfs wanneer ze exact hetzelfde model twee keer gebruikten, waren de resultaten niet altijd identiek. Als het model werd geserveerd met één type hardwarecompressie (FP8), weken de "controle"-runs (waar geen wissel plaatsvond) 90% van de tijd af. Maar met een andere compressiemethode (AWQ) bleven de runs bijna identiek. Dit betekent dat zelfs de baseline voor vergelijking wankel is, wat de "replay"-methode nog minder betrouwbaar maakt.
De paper concludeert dat de huidige manier waarop we AI-routing testen, de verkeerde wereld beoordeelt. De "replay"-methode is als het beoordelen van een chef-kok door een recept te lezen dat hij gisteren heeft geschreven, waarbij genegeerd wordt dat de ingrediënten in de keuken inmiddels veranderd zijn. De auteur suggereert dat om echt te begrijpen hoe we AI-agenten moeten routeren, we moeten stoppen met pretenderen dat de toekomst vaststaat en moeten testen door de agenten daadwerkelijk te laten draaien in vertakkende, parallelle realiteiten. Ze hebben hun tools en data vrijgegeven zodat anderen kunnen stoppen met gissen en kunnen beginnen met het echt zien van de chaotische en fascinerende manier waarop deze AI-agenten zich daadwerkelijk gedragen wanneer de regels van het spel veranderen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.