Ephemeral Subgraph Generation: Real-Time Knowledge GraphConstruction for Cross-System Investigation
Dit artikel stelt Ephemeral Subgraph Generation (ESG) voor, een real-time, door LLM gestuurde aanpak die tijdelijke, vraagspecifieke kennisgrafen construeert over heterogene technische systemen om statische retrieval en fixed-hop baselines te overtreffen bij cross-systeem onderzoek, terwijl het tegelijkertijd specifieke softwaredefecten documenteert en oplost die tijdens de evaluatie zijn geïdentificeerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne wereld van software engineering wordt cruciale informatie zelden op één enkele plek gevonden. Wanneer een service faalt of een bug verschijnt, is de waarheid verspreid over een dozijn verschillende digitale silo's: een ticketsysteem waar het probleem voor het eerst werd geregistreerd, een code-repository waar de fix werd geschreven, een incident management dashboard, een documentatie-wiki en interne chatlogs. Elk van deze systemen bevat een stukje van de puzzel, maar geen van beide bevat het volledige plaatje. Traditioneel hebben engineers geprobeerd dit op te lossen door een massieve, permanente kaart te bouwen die elk stukje data uit elk systeem vooraf met elkaar verbindt. Deze aanpak is duur om te bouwen, moeilijk bij te houden naarmate de onderliggende systemen veranderen, en slaagt er vaak niet in de subtiele, niet-voor de hand liggende verbindingen vast te leggen die tot een oplossing leiden.
Een nieuwe aanpak, beschreven in recent onderzoek, suggereert een andere manier om over dit probleem na te denken. In plaats van een permanente kaart te bouwen die alles de hele tijd probeert te dekken, construeert deze methode een kleine, tijdelijke kaart alleen wanneer een specifieke vraag wordt gesteld. Het is als het sturen van een gespecialiseerd team om een specifiek incident te onderzoeken, waarbij alleen het bewijs wordt verzameld dat nodig is voor die specifieke zaak, om vervolgens de bewijsstukken weer in te pakken zodra het antwoord is gevonden. Deze techniek, genaamd Ephemeral Subgraph Generation, stelt een kunstmatig intelligentiesysteem in staat om tussen verschillende softwareplatforms te springen, door aanwijzingen te volgen die een ticket linken aan een regel code, of een chatbericht aan een documentatiepagina, zonder dat daarvoor een vooraf bestaande database van alle mogelijke verbindingen nodig is. Het doel is om de grondoorzaak van een probleem te vinden door actief de relaties tussen verspreide documenten te verkennen, in plaats van simpelweg te zoeken naar trefwoorden in een statische lijst.
De onderzoeker achter deze studie, Saket Jain, wilde testen of deze on-demand, tijdelijke kaart antwoorden kon vinden die traditionele methoden missen. Om dit te doen, creëerde hij een synthetische omgeving die een echte engineeringorganisatie nabootst, compleet met 154 records verspreid over vijf verschillende systemen: een incident manager, een ticketsysteem, een code host, een wiki en een chatplatform. Vervolgens stelde hij 35 specifieke vragen aan het systeem, variërend van "waarom faalde de login service?" tot "welke wijzigingen zijn recent doorgevoerd die hiermee gerelateerd kunnen zijn?". Het systeem kreeg de taak om de juiste documenten te vinden om deze vragen te beantwoorden. De onderzoeker vergeleek deze nieuwe methode met twee eenvoudigere, goedkopere benaderingen. De eerste was een standaardzoekopdracht die naar alle documenten tegelijk keek zonder te proberen ze met elkaar te verbinden. De tweede was een iets geavanceerdere methode die zocht naar directe identificatoren, zoals ticketnummers, en vervolgens deze nummers volgde naar het volgende document, maar slechts voor een vast aantal stappen.
De resultaten toonden een duidelijk voordeel voor de aanpak met de tijdelijke kaart. Wanneer gemeten werd hoeveel van de juiste documenten het systeem vond, slaagde de nieuwe methode in bijna 97 procent van de gevallen. In contrast hiermee vond de eenvoudige zoekopdracht slechts ongeveer 58 procent van de juiste documenten, en de methode die identificatoren voor twee stappen volgde, vond ongeveer 70 procent. Het verschil was niet slechts een kwestie van het vinden van één of twee extra documenten; de nieuwe methode vond verbindingen die de andere benaderingen helemaal niet konden bereiken. Specifiek slaagde het in gevallen waar de documenten geen gemeenschappelijke namen, ticketnummers of duidelijke tekstuele links deelden. Dit waren "zachte" verbindingen, waarbij de link tussen een probleem en de oorzaak alleen bestond in de narratieve flow van de tekst of in de metadata van een bestand, onzichtbaar voor methoden die vertrouwden op het volgen van een keten van bekende identificatoren. De studie demonstreerde dat het simpelweg volgen van een keten van bekende links, ongeacht hoe lang, een plafond bereikt waar het niet verder kan gaan, terwijl de nieuwe methode over gaten kon springen door de betekenis van de inhoud te begrijpen.
Echter, dit verbeterde vermogen om antwoorden te vinden ging gepaard met een aanzienlijke kostenpost. De nieuwe methode vereiste veel meer tijd en geld om uit te voeren. Terwijl de eenvoudigere methoden minder dan een dollar kostten en enkele minuten nodig hadden om te voltooien, kostte de nieuwe methode ongeveer zes dollar per vraag en duurde het ongeveer een uur om een volledige set vragen af te ronden. Dit komt doordat het systeem veel meer oproepen naar de kunstmatige intelligentie moest doen om te beslissen of een document relevant was, om namen uit de tekst te extraheren en om verbindingen te verifiëren. De onderzoeker was transparant over deze afruil en merkte op dat de hogere kosten de prijs waren voor het vermogen om de ongrijpbare verbindingen te vinden die de goedkopere methoden misten. De precisie van de antwoorden, oftewel hoeveel van de opgehaalde documenten daadwerkelijk nuttig waren, was iets lager voor de nieuwe methode, maar de onderzoeker vond dat dit grotendeels kwam doordat het systeem extra, correcte documenten vond die simpelweg niet op de oorspronkelijke lijst van verwachte antwoorden stonden, in plaats van foutieve informatie te vinden.
Tijdens de evaluatie ontdekte en herstelde de onderzoeker ook verschillende gebreken in het systeem, waarbij hij het proces behandelde als een rigoureus wetenschappelijk experiment in plaats van enkel een demonstratie van succes. Eén probleem was dat het systeem aanvankelijk documenten accepteerde simpelweg omdat ze een gezochte naam bevatten, zelfs als het document irrelevant was. Dit werd opgelost door een relevantiecontrole toe te voegen. Een ander probleem was dat het systeem soms stopte met het verwerken van een grote lijst potentiële antwoorden omdat het de ruimte voor de respons overschreed, waardoor het terechtstaande documenten stilzwijgend weigerde. Dit werd opgelost door de ruimte voor de respons te vergroten. Een derde, subtielere beperking werd gevonden waarbij het systeem moeite had met het beoordelen van verbindingen die alleen in de gestructureerde metadata van een bestand aanwezig waren in plaats van in de tekst zelf; voor dit specifieke geval besloot de onderzoeker de beoordelingsstap volledig over te slaan. Deze correcties werden geverifieerd door de tests meerdere keren uit te voeren, waarmee werd bevestigd dat de prestaties van het systeem stabiel waren en dat de verbeteringen echt waren.
De studie concludeert dat voor complexe onderzoeken waarbij informatie versnipperd is en verbindingen niet voor de hand liggen, het bouwen van een tijdelijke, vraagspecifieke kaart een krachtig hulpmiddel is. Het presteert beter dan methoden die vertrouwen op vaste ketens van identificatoren of eenvoudige trefwoordzoekopdrachten, vooral wanneer het antwoord in de subtiele relaties tussen documenten ligt. Hoewel de kosten hoger zijn, suggereert het vermogen om het volledige beeld van een probleem te ontsluiten, inclusief de delen die geen enkel systeem kent, dat deze aanpak waardevol kan zijn voor organisaties die te maken hebben met complexe, multisysteem-uitdagingen. De onderzoeker merkt op dat dit werk is getest op een synthetische dataset en binnen de specifieke context van software engineering, wat de vraag open laat hoe goed het zou schalen naar echte, rommelige data of andere velden zoals fraude detectie. Desalniettemin bieden de bevindingen een duidelijk pad vooruit voor systemen die problemen moeten onderzoeken in een gefragmenteerd digitaal landschap, wat bewijst dat de beste manier om het antwoord te vinden soms is om voor elke vraag een nieuwe kaart te bouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.