StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments

In de wereld van moderne computing is er een groeiende klasse intelligente programma's bekend als agenten. Dit zijn niet zomaar eenvoudige hulpmiddelen die een enkele opdracht volgen; het zijn systemen die ontworpen zijn om te redeneren, informatie te bekijken en acties te ondernemen om complexe problemen op te lossen, net zoals een menselijke werknemer dat zou doen. Om te functioneren, vertrouwen deze agenten op twee afzonderlijke onderdelen. Het eerste is het brein, een groot taalmodel dat zorgt voor het redeneren en de kennis. Het tweede is het harnas, dat fungeert als de handen, ogen en oren van de agent. Het harnas bepaalt hoe de agent de wereld ziet, welke hulpmiddelen hij mag gebruiken en hoe hij zijn eigen werk controleert. Jarenlang hebben wetenschappers zich bijna volledig gericht op het groter en slimmer maken van het brein. Echter, in de rommelige, door regels beperkte realiteit van zakelijke omgevingen, kan een briljant brein nog steeds falen als zijn handen onhandig zijn of als het de specifieke regels van de kantooromgeving waarin het werkt, niet begrijpt. Dit roept een praktische vraag op: als we het brein niet kunnen veranderen, kunnen we dan de handen en de regels verbeteren om de agent beter te laten werken?

Een team van onderzoekers bij ServiceNow, samen met medewerkers van academische instellingen, besloot deze vraag te beantwoorden met een nieuw framework genaamd StarHarness. Ze richtten zich op een specifieke uitdaging die voorkomt in bedrijfsomgevingen, waar software zaken moet beheren zoals IT-systemen, financiële workflows en klantenservicegegevens. In deze omgevingen moet de software interageren met databases en hulpmiddelen die strikte, vaak verborgen regels hebben. De onderzoekers wilden zien of ze het harnas van de agent automatisch konden verbeteren zonder ooit het onderliggende brein aan te raken. Ze behandelden het harnas als een stuk code dat geëvolueerd, of verbeterd, kon worden door een proces van vallen en opstaan. Het doel was om een betere manier te vinden voor de agent om zijn taken te kaderen, zijn hulpmiddelen te gebruiken en zijn resultaten te verifiëren, terwijl de interne gewichten van het model volledig bevroren bleven.

Om hun idee te testen, creëerden de onderzoekers een systeem dat op een gecontroleerde manier naar verbeteringen kon zoeken. Ze begonnen door de agent op een grote set taken te laten draaien om te zien waar hij gewoonlijk faalde. Vervolgens verdeelden ze deze taken in drie groepen. Eén groep werd gebruikt om wijzigingen voor te stellen, een andere werd verborgen gehouden om te testen of de wijzigingen daadwerkelijk werkten, en een derde groep werd bewaard voor een laatste, onbevooroordeelde controle. Het systeem zou een kleine wijziging aan het harnas voorstellen, zoals het repareren van de manier waarop een hulpmiddel wordt aangeroepen of het toevoegen van een regel om een veelvoorkomende fout te voorkomen. Het zou deze wijziging vervolgens testen op de verborgen groep. Als de wijziging de prestaties van de agent verbeterde, hield het systeem deze erbij; als niet, dan werd deze weggegooid. Dit proces herhaalde zichzelf, waardoor het harnas langzaam kon evolueren naar een meer capabele versie van zichzelf. De onderzoekers gebruikten deze methode bij drie verschillende soorten zakelijke uitdagingen: het analyseren van computernetwerkfouten, het beheren van IT-servicerequests en het afhandelen van financiële workflows.

De resultaten waren opmerkelijk. Nadat het systeem slechts een handvol geaccepteerde wijzigingen had gemaakt — doorgaans tussen de vier en twaalf aanpassingen per omgeving — sprong de prestaties van de agent aanzienlijk omhoog. Over de benchmarks heen verbeterde de prestatie op de volledige benchmark met 20–35 procentpunten ten opzichte van het standaardharnas. Specifiek verbeterde het succespercentage met 35 procentpunten bij de netwerkanalyse-taken, steeg het met 20 procentpunten in de IT-service managementtests en klom het met 26 procentpunten in de financiële workflows. Cruciaal was dat deze verbeteringen niet alleen het gevolg waren van het memoriseren van de specifieke problemen die het systeem tijdens de training had gezien. Wanneer de onderzoekers het geëvolueerde harnas testten op nieuwe, ongeziene taken, presteerde de agent nog steeds veel beter dan voorheen. Nog verrassender was dat de verbeteringen overdraagbaar waren naar verschillende soorten AI-modellen. Een harnas dat geëvolueerd was met één specifieke modelfamilie, werkte net zo goed wanneer het aan een compleet andere modelfamilie werd gegeven, zonder dat daar verdere training of aanpassing voor nodig was.

De onderzoekers analyseerden de wijzigingen om te begrijpen wat het systeem daadwerkelijk had geleerd. Ze vonden dat de verbeteringen in drie duidelijke categorieën vielen. Ten eerste herstelde het systeem de interfaces tussen de agent en zijn hulpmiddelen, waarbij fouten werden gerepareerd die ervoor zorgden dat de agent hulpmiddelen onjuist aanriep. Ten tweede leerde het de verborgen conventies van de omgeving, zoals de specifieke volgorde waarin bepaalde stappen moeten worden genomen of hoe datum en prioriteit correct moeten worden afgehandeld. Ten derde comprimeerde het de zoekprocedure door operationele kennis toe te voegen, waardoor de agent onnodige stappen kon overslaan en zich kon concentreren op de meest waarschijnlijke oorzaken van een probleem. Bijvoorbeeld, in de financiële taken leerde het geëvolueerde harnas om te controleren op veiligheidsschendingen voordat er wijzigingen werden aangebracht, wat het aantal fouten drastisch verminderde. In de netwerkanalyse-taken leerde de agent om te stoppen met zoeken zodra hij een waarschijnlijke oorzaak had gevonden, in plaats van tijd te verspillen aan het zoeken naar meer bewijs dat niet nodig was.

Deze bevindingen suggereren dat voor veel zakelijke toepassingen in de echte wereld de grootste barrière voor succes niet de intelligentie van het model is, maar het ontwerp van het systeem dat het aanstuurt. Door het harnas te evolueren, waren de onderzoekers in staat om het aantal foutieve diagnoses te verminderen, de tijd die nodig is om taken te voltooien te verkorten en de kosten voor het draaien van de agent te verlagen. De studie toont aan dat een vast, onveranderlijk brein opmerkelijk effectiever kan worden wanneer de omliggende hulpmiddelen en regels zorgvuldig worden afgestemd op de specifieke omgeving waarin het opereert. Dit biedt een praktisch pad vooruit voor organisaties die vandaag de dag betrouwbare AI-agenten nodig hebben, zonder te hoeven wachten tot de volgende generatie grotere modellen is ontwikkeld. Het werk laat zien dat soms de krachtigste upgrade niet een nieuw brein is, maar een betere manier van werken.