Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents
Dit artikel introduceert Risa, een methode voor test-time scaling voor software agents die gebruikmaakt van native MoE router traces om diverse exploratie te sturen en finale oplossingen te selecteren door middel van overeenstemming op cruciale beslismomenten, waarmee verbeterde resolutiepercentages op SWE-bench Verified worden bereikt zonder externe beoordelaars of matchings op basis van antwoordstrings te vereisen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie is er een groeiende klasse programma's die ontworpen zijn om te fungeren als software engineers. Deze agenten beantwoorden niet alleen vragen; ze navigeren door complexe digitale omgevingen, lezen code, draaien tests en schrijven fixes om defecte software te repareren. Om een moeilijk probleem op te lossen, moet een agent vaak een lange keten van beslissingen nemen, waarbij verschillende tools en commando's worden geprobeerd totdat er een oplossing wordt gevonden. Omdat deze taken zo complex zijn, hebben onderzoekers ontdekt dat het geven van meer rekenkracht aan de agent om tegelijkertijd veel verschillende paden te proberen, vaak tot betere resultaten leidt. Echter, er ontstaat een nieuw probleem wanneer de agent veel paden probeert: hoe kies je de beste enkele oplossing uit een menigte kandidaten? In tegen tegenstelling tot een eenvoudig wiskundig probleem waar één duidelijk juist antwoord is, kan een softwarefix er op veel verschillende manieren uitzien, wat het moeilijk maakt om te bepalen welke versie werkelijk de beste is zonder deze daadwerkelijk in een echt systeem te draaien, wat traag en duur is.
Een team van onderzoekers aan de Fudan Universiteit en het Shanghai Innovation Institute heeft een nieuwe manier ontwikkeld om dit selectieprobleem op te lossen door te luisteren naar het interne "denkproces" van de AI zelf, in plaats van te wachten op de uiteindelijke output. Ze richtten zich op een specifiek type AI-architectuur dat bekend staat als een sparse mixture-of-experts. In deze modellen beslist elke keer dat de AI een woord genereert, een kleine interne router welke gespecialiseerde sub-netwerken, of "experts", het werk moeten doen. Deze router laat een spoor achter, een verslag van welke experts werden gekozen en hoeveel zij bijdroegen. De onderzoekers realiseerden zich dat dit spoor fungeert als een unieke vingerafdruk voor het gedrag van de AI. Zelfs als twee verschillende oplossingen er aan de oppervlakte volkomen verschillend uitzien, kan het interne pad dat de AI nam om ze te creëren onthullen of de AI nieuw terrein verkent of convergeert naar een solide antwoord.
De onderzoekers bouwden een systeem dat ze Risa noemen, dat deze interne vingerafdrukken gebruikt om de reis van de agent te begeleiden. Wanneer de agent zich in de vroege stadia van het oplossen van een probleem bevindt, moedigt Risa het aan om te blijven exploreren. Dit doet het systeem door de recente geschiedenis van de agent te controleren; als de AI op het punt staat een stap te zetten die te veel lijkt op wat hij net deed, stuurt het systeem de agent naar een andere, meer originele actie. Dit voorkomt dat de agent vastloopt in een lus van het herhalen van dezelfde fouten. Echter, zodra de agent begint met het schrijven van een patch — een reeks wijzigingen om de code te repareren — verandert de strategie. In deze fase zoekt het systeem naar overeenstemming tussen verschillende kandidaten. Als verschillende pogingen, die vanuit verschillende punten begonnen, allemaal bij een vergelijkbare interne structuur voor hun fix aankomen, beschouwt het systeem dit als een sterk signaal dat de oplossing correct is.
Om dit idee te testen, voerde het team experimenten uit op een standaard benchmark genaand SWE-bench Verified, die honderden echte software-reparatietaken bevat. Ze gebruikten verschillende AI-modellen en lieten hen de taken meerdere keren proberen. In een reeks tests vergeleken ze hun nieuwe routing-geleide methode met een eenvoudige benadering waarbij de uiteindelijke keuze willekeurig wordt gemaakt. De resultaten toonden een duidelijke verbetering. Bij het gebruik van het routingsysteem steeg het succespercentage waarmee de agenten de software succesvol herstelden van ongeveer 45 procent naar meer dan 48 procent. Dit mag een klein getal lijken, maar in de wereld van geautomatiseerd softwareherstel, waar elke procentpunt significante vooruitgang betekent, is het een betekenisvolle winst. Het systeem werkte zo goed dat het de prestaties evenaarde van methoden die vertrouwen op het vergelijken van de werkelijke tekst van de oplossingen, zonder dat daarvoor de code uitgevoerd hoeft te worden of een aparte rechter nodig is om het antwoord te verifiëren.
De studie vond ook dat de meest nuttige informatie niet in de volledige geschiedenis van de output van de AI zat, maar in specifieke momenten van besluitvorming. Wanneer de AI moest kiezen tussen verschillende plausibele manieren om een regel code te schrijven, lieten die specifieke keuzes een duidelijk merk achter op het interne routing-spoor. Door zich alleen te concentreren op deze kritieke beslismomenten, kon het systeem het verschil zien tussen een gelukkige gok en een goed onderbouwde oplossing. Deze aanpak werkte bij verschillende soorten AI-modellen, wat suggereert dat het interne routing-spoor een betrouwbaar signaal is dat gebruikt kan worden om complexe taken te coördineren. De onderzoekers concludeerden dat door aandacht te besteden aan hoe de AI zijn interne middelen toewijst, in plaats van alleen naar wat het zegt, we agenten kunnen bouwen die beter zijn in het verkennen, consistenter zijn wanneer ze zich vastleggen op een oplossing, en uiteindelijk succesvoller zijn in het oplossen van moeilijke problemen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.