From General Agents to RCA Experts: A Self-Evolving Harness for Root Cause Analysis
Dit artikel introduceert OpsHarness, een zelfevoluerend framework dat de capaciteiten voor het analyseren van de oorzaak (root cause analysis) van algemene LLM-agenten aanzienlijk verbetert door gebruik te maken van een adaptieve externe harness die operationele expertise uit eerdere diagnoses verzamelt en verifieert, waardoor het zowel kale algemene agenten als gespecialiseerde RCA-agenten overtreft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wanneer een complex computersysteem begint te falen, blijft het probleem zelden beperkt tot de plek waar het begon. In de moderne digitale wereld is software opgebouwd uit duizenden kleine, onderling verbonden stukjes. Als één stukje struikelt, kan de fout naar buiten toe rimpelen, wat leidt tot een vertraging in de app van een gebruiker of een plotselinge piek in foutmeldingen die op een compleet ander probleem lijkt. Het uitzoeken waar de problemen werkelijk begonnen, is een taak die root cause analysis (oorzaakanalyse) wordt genoemd. Decennialang hebben ingenieurs vertrouwd op kaarten van hoe deze stukjes met elkaar verbonden zijn of op statistische patronen om de boosdoener te vinden. Tegenwoordig wenden zij zich steeds vaker tot kunstmatige intelligentie, specifiek grote taalmodellen, om als digitale detectives op te treden. Deze modellen zijn ongelooflijk goed in het lezen van logs, het begrijpen van code en het redeneren door complexe scenario's, net als een briljante ingenieur die elk handboek in de bibliotheek heeft gelezen. Er is echter een addertje onder het gras: hoewel deze modellen slim zijn, kennen ze de specifieke eigenaardigheden van het systeem dat ze proberen te repareren niet. Ze missen de diepe, geaccumuleerde ervaring die een menselijke expert opdoet door hetzelfde systeem herhaaldelijk te zien falen en herstellen.
Onderzoekers van The Chinese University of Hong Kong en ByteDance hebben een nieuwe manier ontwikkeld om deze kloof te overbruggen. In plaats van te proberen voor elk systeem een nieuwe, gespecialiseerde AI vanaf nul op te bouwen, hebben ze een flexibele buitenlaag gecreëerd die rond een krachtige, algemene AI wordt gewikkeld. Ze noemen deze laag een 'harness' (tuig). Denk bij deze harness aan een gespecialiseerde gereedschapskist en een set veldnotities die een algemene ingenieur zou ontvangen wanneer hij bij een nieuw team komt. De algemene AI zorgt voor het redeneervermogen, maar de harness biedt de specifieke context, de juiste instrumenten om te gebruiken en de lessen die zijn geleerd van eerdere fouten. De meest significante innovatie in hun werk, genaamd OpsHarness, is dat deze laag zelf evoluerend is. Het zit niet alleen maar stil; het observeert elke diagnose die het helpt uitvoeren, leert van zowel de successen als de mislukkingen, en werkt de eigen instructies bij om in de loop van de tijd beter te worden.
Het team begon door een veelvoorkomende aanname te testen: dat het bouwen van een op maat gemaakte AI-agent specifiek voor probleemoplossing de beste aanpak is. Ze vergeleken deze op maat gemaakte agenten met standaard, algemene AI-modellen die simpelweg de taak kregen om een probleem te diagnosticeren. De resultaten waren verrassend. De algemene modellen, die niet specifiek voor probleemoplossing waren getraind, presteerden vaak beter dan de op maat gemaakte agenten. Dit kwam omdat de op maat gemaakte agenten vaak de geavanceerde redeneer- en planningsvaardigheden misten die de algemene modellen al onder de knie hadden. Echter, zelfs de beste algemene modellen waren niet perfect. Ze zouden vaak de juiste symptomen identificeren, maar de verkeerde oorzaak aanwijzen omdat ze geen kennis hadden van hoe dat specifieke systeem zich onder druk gedraagt. Een model zou bijvoorbeeld een plotselinge daling in databaseverbindingen kunnen zien en een databasefout veronderstellen, terwijl de daling in werkelijkheid slechts een bijeffect was van een andere component, zoals een server die rekenkracht tekortkomt.
Om dit op te lossen, ontwierpen de onderzoekers OpsHarsness om te fungeren als de brug tussen de algemene intelligentie van het model en de specifieke realiteit van het systeem. Het systeem is verdeeld in twee hoofdonderdelen. Het eerste deel is een kennisbank die informatie in lagen opslaat. Het begint met algemene regels over hoe problemen te onderzoeken, voegt vervolgens een profiel toe van het specifieke systeem dat wordt gemonitord, en verzamelt tot slot een netwerk van specifieke workflows en regels die bewezen effectief zijn. Het tweede deel is een bibliotheek van "idee-kaarten". In plaats van scripts hard te coderen die kunnen breken als het systeem verandert, geeft de harness de AI een beschrijving van een hulpmiddel of methode, en de AI schrijft de code om het op dat moment te gebruiken. Dit stelt het systeem in staat om zich aan te passen aan verschillende datastructuren zonder dat er opnieuw geprogrammeerd hoeft te worden.
De ware kracht van OpsHarness ligt in het vermogen om te leren van ervaring. Nadat het systeem heeft geholpen bij het diagnosticeren van een probleem, beoordeelt het het gehele proces. Als de diagnose correct was, extraheert het systeem de succesvolle stappen en zet deze om in een herbruikbare workflow of een regel. Als de diagnose onjuist was, identificeert het precies waar de redenering van het pad af wijkte en creëert het een regel om die specifieke fout in de toekomst te voorkomen. Dit proces verloopt niet automatisch op een roekeloze manier; het systeem heeft een strikte veiligheidscontrole. Voordat een nieuwe regel aan het geheugen wordt toegevoegd, wordt deze getest in een veilige, geïsoleerde omgeving om te garanderen dat het de diagnose verbetert zonder iets anders te breken. Dit dubbele controleproces voorkomt dat het systeem slechte gewoonten aanleert of overfit op een enkele vreemde gebeurtenis.
De onderzoekers testten deze aanpak op twee publieke benchmarks die honderden reële foutgevallen bevatten en zetten het ook in binnen een grote commerciële cloudomgeving. De resultaten lieten een dramatische verbetering zien. Wanneer een algemeen AI-model alleen werd gebruikt, identificeerde het systeem de oorzaak ongeveer 36 procent van de tijd correct. Wanneer hetzelfde model werd uitgerust met de OpsHarness, steeg die nauwkeurigheid naar bijna 59 procent. Deze verbetering was consistent over verschillende soorten AI-modellen en verschillende soorten systemen. De studie toonde ook aan dat het systeem beter wordt naarmate het meer wordt gebruikt. In een continue test waarbij het systeem een reeks incidenten over een langere periode diagnoceerde, steeg de nauwkeurigheid gestaag naarmate het meer ervaring opdeed. In contrast hiermee bleven systemen die niet evolueerden statisch, en werden systemen die evolueerden zonder de veiligheidscontroles vaak slechter door te leren van ruis.
De onderzoekers maten ook de kosten van het draaien van dit systeem. Hoewel de harness enige overhead toevoegt aan het proces, vereist het niet aanzienlijk meer rekenkracht of tijd dan het gebruik van een algemeen AI-model alleen. Sterker nog, door de AI sneller naar het juiste pad te leiden, vermindert het vaak het aantal stappen dat de AI moet nemen om een probleem op te lossen. Het gehele systeem, inclusief alle geleerde regels en tools, neemt zeer weinig opslagruimte in beslag, wat het praktisch maakt voor echt gebruik.
Dit werk suggereert een verschuiving in de manier waarop we intelligente systemen bouwen voor complexe taken. In plaats van te proberen een nieuwe AI vanaf de grond af aan te trainen voor elke specifieke baan, kan de meest effectieve weg zijn om een krachtige, algemene AI te nemen en deze te omwikkelen met een slimme, evoluerende laag die het de specifieke details van de omgeving leert. Door de focus op deze externe laag te leggen, hebben de onderzoekers een systeem gecreëerd dat de ruwe intelligentie van een algemeen model kan omzetten in een gespecialiseerde expert, in staat om te leren van zijn eigen geschiedenis en te verbeteren bij elk incident dat het helpt oplossen. De bevindingen wijzen erop dat de toekomst van geautomatiseerde probleemoplossing wellicht niet ligt in slimmere modellen, maar in slimmere manieren om die modellen te leren hoe ze moeten werken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.