Designing AI Pipelines for Decision-Ready ITSM Intelligence

De Digitale Ruis en het Signaal

Stel je voor dat je door een enorme, chaotische bibliotheek loopt waar elke dag miljoenen boeken worden geschreven, maar niemand ze organiseert. Sommige boeken zijn geschreven met krijtjes, sommige met onzichtbare inkt, en sommige zijn slechts lijsten met willekeurige woorden. Dit is wat er gebeurt in de "digitale hersenen" van de IT-afdeling van een bedrijf. Elke keer als een computer kapot gaat, een wachtwoord wordt vergeten of een software-update mislukt, wordt er een digitale notitie — een "ticket" genoemd — aangemaakt. Deze notities stapelen zich op tot een berg data die rommelig, inconsistent en vol ruis is.

Al een lange tijd proberen experts deze berg betekenis te geven met behulp van wiskunde en computers. Ze gebruiken tools zoals "machine learning" (wat lijkt op het aanleren van patronen aan een computer) en "clustering" (wat lijkt op het sorteren van een zak gemengde Lego-steentjes in stapels van rood, blauw en groen). Het doel is om deze chaotische stap notities om te zetten in een helder verhaal dat een baas of een verkoper kan begrijpen. Maar hier zit de crux: alleen omdat een computer de steentjes kan sorteren, betekent dit nog niet dat de resulterende stapels zin maken voor een mens. Een computer kan "kapotte muis" en "kapierdo tastuur" bij elkaar groeperen, maar een mens moet weten waarom dat ertoe doet voor een grote zakelijke beslissing. Dit artikel onderzoekt hoe je een brug kunt bouslaan tussen de rommelige computere wereld en de heldere menselijke wereld, door ruwe digitale ruis om te zetten in een nuttige kaart voor besluitvorming.

Van Chaos naar Helderheid: De AI-Pipeline

De auteurs van dit artikel, een team van Automation Anywhere, merkten een groot probleem op. Bedrijven hebben bergen van deze IT-tickets, maar ze zitten vast in een "procesontwerp-kloof". De data is zo rommelig en verschilt zo sterk per bedrijf dat het mensen uren kost om het op te schonen. Ze kampen ook met een "abstractiekloof": zelfs als je de tickets groepeert, hoe zet je duizenden kleine klachten om in een paar grote, heldere thema's die een CEO daadwerkelijk kan gebruiken? Ten slotte is er een "ondersteuningskloof voor besluitvorming": zelfs als je een mooie grafiek maakt, vertrouwen de mensen in charge dan wel op die en gebruiken ze deze?

Om dit op te lossen, bouwde het team een speciale AI-pipeline — een stapsgewijs recept om van ruwe tickets een slim rapport te maken. Denk aan een high-tech chef in een keuken.

Eerst neemt de chef een enorme, rommelige stap ingrediënten (de ruwe tickets) die in verschillende vormen, maten en talen binnenkomen. De eerste stap is Schema Analyse, waarbij de AI optreedt als een vertaler die de rommelige notities leest en ze organiseert in een standaardformaat, zodat ze er allemaal hetzelfde uitzien.

Vervolgens maakt de chef de ingrediënten schoon. Dit is de fase van Data Preprocessing. De AI verwijdert de "ruis" — zoals automatische meldingen die eigenlijk geen verhaal vertellen — zodat alleen de betekenisvolle menselijke klachten overblijven.

Dan komt de magie van Topic Identificatie. De AI gebruikt een slimme sorteermethode genaamd HDBSCAN om vergelijkbare tickets bij elkaar te groeperen. Stel je voor dat je een miljoen Lego-steentjes in een grote bak gooit en een robot deze direct laat sorteren in stapels op basis van hoe ze in elkaar passen. Deze stapels worden "Sub-topics" genoemd (zoals "kapotte printers" of "traag internet"). Maar de robot stopt daar niet. Hij gebruikt een andere methente genaamd HAC om die kleinere stapels te groeperen in nog grotere "Main-topics" (zoals "Hardwareproblemen" of "Connectiviteitsproblemen"). Ten slotte leest de AI de 30 belangrijkste tickets in elke stapel en schrijft een slimme titel voor, net zoals een bibliothecaris een titel voor een boek schrijft.

De laatste stap is de UI-laag, die deze georganiseerde informatie presenteert als een rapport. Het is als een "kies je eigen avontuur"-boek voor bedrijfsleiders. Ze kunnen beginnen met het grote plaatje (Main-topics), doorklikken om specifieke problemen te zien (Sub-topics), en zelfs diep graven om de originele ticket te lezen als ze een verhaal willen verifiëren.

Wat het Team Vond

Het team testte deze pipeline op echte data en verwerkte tot wel 250.000 tickets in ongeveer 6 uur. Om te zien of het echt werkte, keken ze niet alleen naar de wiskunde; ze vroegen echte mensen — sales engineers en executives — om de rapporten te lezen en ze te beoordelen.

De resultaten waren veelbelovend. De mensen die de rapporten lazen, gaven hoge scores, met een gemiddelde boven de 4 uit 5 op een schaal waarbij 5 perfect is. Ze vonden de rapporten betrouwbaar (de hoogst beoordeelde categorie, met een gemiddelde van 4,33), wat betekent dat ze geloofden dat de AI geen dingen verzocht. Ze vonden ze ook actiegericht, wat betekent dat de rapporten hen hielpen te bepalen wat de volgende stap was, zoals het spreken met een klant of het aanpassen van een proces.

Echter, het team ontdekte ook enkele interessante complicaties. Hoewel de AI erg goed was in het zorgen dat de tickets binnen één stapel vergelijkbaar waren (hoge "coherentie"), had het soms moeite om ervoor te zorgen dat de verschillende stapels echt van elkaar verschilden (lagere "distinctiviteit"). Het is alsof de robot heel goed was in het groeperen van alle rode Lego's bij elkaar, maar soms de "rode" stapel een beetje te veel op de "roze" stapel liet lijken.

Het team vergeleek ook de eigen wiskundige scores van de computer met de menselijke beoordelingen. Ze ontdekten dat voor sommige zaken, zoals hoe duidelijk de stapels waren, de wiskunde van de computer en de mening van de mens goed overeenkwamen. Maar voor andere zaken, zoals of een stapel de juiste omvang had voor een mens om te begrijpen, kwam de wiskunde van de computer totaal niet overeen met het gevoel van de mens. Dit suggereert dat hoewel computers geweldig zijn in sorteren, mensen nog steeds nodig zijn om te beslissen of het sorteren zin heeft voor een echte baan.

De Kern van het Verhaal

Dit artikel beweert niet elk probleem in de wereld van IT-data te hebben opgelost. Het team geeft toe dat hun studie klein was, waarbij slechts zes verschillende rapporten en vijf mensen werden gebruikt om ze te beoordelen, dus ze kunnen nog niet met zekerheid zeggen of dit overal voor elk bedrijf werkt. Ze merken ook op dat de wiskunde van de computer soms de kwaliteit van de rapporten onderschatte in vergelijking met hoe mensen ze ervoeren.

Maar de kernboodschap is duidelijk: door de snelheid van AI te combineren met het oordeel van mensen, is het mogelijk om een chaotische berg IT-tickets om te zetten in een heldere, betrouwbare kaart. Deze kaart helpt leiders om het grote plaatje te zien, terugkerende problemen te spotten en betere beslissingen te nemen zonder verdwaald te raken in de ruis. Het artikel suggereert dat deze aanpak een sterke stap voorwaarts is, die ruwe data omzet in een hulpmiddel dat mensen daadwerkelijk willen gebruiken.