Designing AI Pipelines for Decision-Ready ITSM Intelligence

Der digitale Lärm und das Signal

Stellen Sie sich vor, Sie gehen durch eine riesige, chaotische Bibliothek, in der jeden Tag Millionen von Büchern geschrieben werden, aber niemand sie ordnet. Einige Bücher sind mit Buntstiften geschrieben, manche mit unsichtbarer Tinte und andere sind nur Listen mit wahllosen Wörtern. Genau das passiert im „digitalen Gehirn“ der IT-Abteilung eines Unternehmens. Jedes Mal, wenn ein Computer kaputtgeht, ein Passwort vergessen wird oder ein Software-Update fehlschlägt, wird eine digitale Notiz – ein sogenanntes „Ticket“ – erstellt. Diese Notizen stapeln sich zu einem Berg aus Daten auf, die unordentlich, inkonsistent und voller Rauschen sind.

Lange Zeit haben Experten versucht, diesen Berg mithilfe von Mathematik und Computern begreifbar zu machen. Sie nutzen Werkzeuge wie „maschinelles Lernen“ (was so ähnlich ist, als würde man einen Computer lehren, Muster zu finden) und „Clustering“ (was so ähnlich ist, als würde man einen Beutel mit gemischten Lego-Steinen in Haufen für Rot, Blau und Grün sortieren). Das Ziel ist es, diesen chaotischen Stapel an Notizen in eine klare Geschichte zu verwandeln, die ein Chef oder ein Vertriebsmitarbeiter verstehen kann. Aber hier liegt der Knackpunkt: Nur weil ein Computer die Steine sortieren kann, bedeutet das noch lange nicht, dass die daraus entstehenden Haufen für einen Menschen Sinn ergeben. Ein Computer könnte „kaputte Maus“ und „kaputte Tastatur“ zusammen gruppieren, aber ein Mensch muss wissen, warum das für eine wichtige geschäftliche Entscheidung relevant ist. Dieses Paper untersucht, wie man eine Brücke zwischen der chaotischen Computerwelt und der klaren Menschenwelt baut, um rohes digitales Rauschen in eine nützliche Landkarte für die Entscheidungsfindung zu verwandeln.

Von Chaos zu Klarheit: Die KI-Pipeline

Die Autoren dieses Papers, ein Team von Automation Anywhere, bemerkten ein großes Problem. Unternehmen verfügen über Unmengen dieser IT-Tickets, aber sie stecken in einer „Prozessdesign-Lücke“. Die Daten sind so unordentlich und unterscheiden sich so stark von einem Unternehmen zum anderen, dass Menschen Stunden brauchen, um sie aufzubereiten. Sie stehen auch vor einer „Abstraktionslücke“: Selbst wenn man die Tickets gruppiert, wie verwandelt man tausende winzige Beschwerden in einige wenige, große, klare Themen, die ein CEO tatsächlich nutzen kann? Schließlich gibt es noch eine „Entscheidungsunterstützungs-Lücke“: Selbst wenn man ein hübsches Diagramm erstellt, vertrauen die Verantwortlichen darauf wirklich und nutzen es auch?

Um dies zu lösen, baute das Team eine spezielle KI-Pipeline – ein Rezept Schritt für Schritt, um aus rohen Tickets einen intelligenten Bericht zu machen. Stellen Sie sich das wie einen hochtechnisierten Koch in einer Küche vor.

Zuerat nimmt der Koch einen riesigen, unordentlichen Haufen Zutaten (die rohen Tickets), die in verschiedenen Formen, Größen und Sprachen vorliegen. Der erste Schritt ist die Schema-Analyse, bei der die KI wie ein Übersetzer fungiert, die unordentlichen Notizen liest und sie in ein Standardformat bringt, damit sie alle gleich aussehen.

Als Nächstes reinigt der Koch die Zutaten. Dies ist die Phase der Datenvorverarbeitung. Die KI entfernt das „Rauschen“ – wie etwa automatisierte Warnmeldungen, die keine echte Geschichte erzählen – damit nur die bedeutsamen menschlichen Beschwerden übrig bleiben.

Dann folgt die Magie der Themenidentifikation. Die KI nutzt eine clevere Sortierungsmethode namens HDBSCAN, um ähnliche Tickets zusammenzugruppieren. Stellen Sie sich vor, man wirft eine Million Lego-Steine in einen riesigen Behälter und ein Roboter sortiert sie sofort in Haufen basierend darauf, wie sie zusammenpassen. Diese Haufen werden als „Sub-Themen“ bezeichnet (wie „defekte Drucker“ oder „langsames Internet“). Aber der Roboter hält hier nicht inne. Er nutzt eine weitere Methode namens HAC, um diese kleineren Haufen in noch größere „Haupt-Themen“ zu gruppieren (wie „Hardware-Probleme“ oder „Konnektivitätsprobleme“). Schließlich liest die KI die 30 wichtigsten Tickets in jedem Haufen und schreibt ein intelligentes Label dafür, genau wie ein Bibliothekar, der einen Titel für ein Buch schreibt.

Der letzte Schritt ist die UI-Schicht, die diese organisierten Informationen als Bericht präsentiert. Es ist wie ein „Wähle dein eigenes Abenteuer“-Buch für Führungskräfte. Sie können beim großen Ganzen beginnen (Haupt-Themen), nach unten klicken, um die spezifischen Probleme zu sehen (Sub-Themen), und sogar tief eintauchen, um das ursprüngliche Ticket zu lesen, falls sie eine Geschichte verifizieren müssen.

Was das Team herausfand

Das Team testete diese Pipeline mit realen Daten und verarbeitete bis zu 250.000 Tickets in etwa 6 Stunden. Um zu sehen, ob es tatsächlich funktionierte, betrachteten sie nicht nur die Mathematik; sie baten echte Menschen – Vertriebsingenieure und Führungskräfte – die Berichte zu lesen und zu bewerten.

Die Ergebnisse waren vielversprechend. Die Personen, die die Berichte lasen, vergaben hohe Punktzahlen und erreichten im Durchschnitt über 4 von 5 Punkten auf einer Skala, bei der 5 perfekt ist. Sie fanden die Berichte vertrauenswürdig (die am höchsten bewertete Kategorie mit einem Durchschnitt von 4,33), was bedeutete, dass sie glaubten, die KI würde sich nichts ausdenken. Sie fanden sie auch handlungsorientiert, was bedeutete, dass die Berichte ihnen halfen zu entscheiden, was als Nächstes zu tun ist, wie etwa ein Gespräch mit einem Kunden zu führen oder einen Prozess zu korrigieren.

Dennoch entdeckte das Team auch einige interessante Komplikationen. Während die KI sehr gut darin war, sicherzustellen, dass die Tickets innerhalb eines einzelnen Haufens ähnlich waren (hohe „Kohärenz“), hatte sie manchmal Schwierigkeiten, sicherzustellen, dass die verschiedenen Haufen völlig voneinander verschieden waren (geringere „Distinktheit“). Es war so, als wäre der Roboter sehr gut darin gewesen, alle roten Legosteine zusammenzugruppieren, aber manchmal sah der „rote“ Haufen ein wenig zu sehr wie der „pinke“ Haufen aus.

Das Team verglich auch die mathematischen Scores des Computers mit den menschlichen Bewertungen. Sie fanden heraus, dass bei einigen Dingen, wie der Unterscheidbarkeit der Haufen, die Mathematik des Computers und die Meinung des Menschen gut übereinstimmten. Aber bei anderen Dingen, wie etwa ob ein Haufen die richtige Größe hatte, um für einen Menschen verständlich zu sein, stimmte die Mathematik des Computers überhaupt nicht mit dem Gefühl des Menschen überein. Dies deutet darauf hin, dass zwar Computer gut im Sortieren sind, Menschen aber immer noch benötigt werden, um zu entscheiden, ob die Sortierung für einen realen Job sinnvoll ist.

Das Fazit

Dieses Paper behauptet nicht, alle Probleme der IT-Datenwelt gelöst zu haben. Das Team räumt ein, dass ihre Studie klein war – sie verwendeten nur sechs verschiedene Berichte und fünf Personen zur Überprüfung –, daher können sie noch nicht mit Sicherheit sagen, ob dies für jedes Unternehmen überall funktioniert. Sie merken auch an, dass die Mathematik des Computers manchmal unterschätzte, wie gut die Berichte im Vergleich zu dem waren, was Menschen empfanden.

Aber die Kernbotschaft ist klar: Durch die Kombination der Geschwindigkeit der KI mit dem Urteilsvermögen von Menschen ist es möglich, einen chaotischen Berg von IT-Tickets in eine klare, vertrauenswürdige Landkarte zu verwandeln. Diese Karte hilft Führungskräften, das große Ganze zu sehen, wiederkehrende Probleme zu erkennen und bessere Entscheidungen zu treffen, ohne sich im Rauschen zu verlieren. Das Paper legt nahe, dass dieser Ansatz ein starker Schritt nach vorn ist, der rohe Daten in ein Werkzeug verwandelt, das Menschen tatsächlich nutzen wollen.