Detect, Localize, and Explain: Interactive Hierarchical Log Anomaly Analytics with LLM Augmentation

Technisches Fazit: Krone-viz – Interaktive hierarchische Log-Anomalieanalyse mit LLM-Erweiterung

Problemstellung
Moderne datenintensive Infrastrukturen sind für die Systemüberwachung und die Diagnose von Anomalien stark auf Logs angewiesen. Herkömmliche Methoden zur Erkennung von Log-Anomalien stoßen jedoch auf erhebliche Grenzen. Die meisten traditionellen Ansätze arbeiten mit flachen Logsequenzen und erzeugen einen einzigen Anomaliewert für die gesamte Sequenz, ohne die Möglichkeit, Ergebnisse zu interpretieren oder spezifische anomale Segmente zu lokalisieren. Zwar verbessern neuere, auf Large Language Models (LLM) basierende Ansätze die Interpretierbarkeit durch natürliche Sprachbeschreibungen, operieren aber weiterhin auf flachen Sequenzen. Darüber hinaus leiden diese LLM-basierten Methoden unter Einschränkungen des Kontextfensters und prohibitiv hohen Rechenkosten, wenn sie auf massive Logdatensätze angewendet werden. Es fehlt an Systemen, die Logs effektiv in semantische Einheiten zerlegen können, um eine präzise Lokalisierung und Erklärung zu ermöglichen, während gleichzeitig die LLM-Kosten kontrolliert werden.

Methodik: Das Krone-Framework
Die Arbeit stellt Krone vor, ein Framework, das entwickelt wurde, um flache Logsequenzen in semantisch kohärente hierarchische Einheiten zu transformieren. Krone-viz ist das interaktive Visualisierungssystem, das auf diesem Framework aufbaut, um diese Fähigkeiten für Ingenieure handhabbar zu machen. Die Methodik basiert auf drei Kerninnovationen:

1. Krone-Log-Abstraktionsmodell (Krone-Baum):
   Krone führt eine hierarchische Abstraktion ein, die die Ausführungssignifikanz direkt aus Logs rekonstruiert. Es definiert eine dreistufige semantische Hierarchie:

   • Entitäten: Entsprechen Systemkomponenten.
   • Aktionen: Erfassen durchgeführte Operationen.
   • Status: Reflektieren das Ergebnis jeder Aktion.
     Mithilfe von LLM-basierter Named Entity Recognition (NER) auf Logvorlagen konstruiert Krone einen Krone-Baum. Dieser Baum ermöglicht die Zerlegung langer, flacher Logsequenzen in Krone-Seqs – zusammenhängende, semantisch kohärente Segmente, die als Knotenfolgen über die Ebenen Entität, Aktion und Status dargestellt werden.

2. Hierarchische und modulare Anomalieerkennung:
   Die Anomalieerkennung wird als modulare Aufgabe über die zerlegten Krone-Seqs formuliert. Das System verwendet eine Bottom-up-Orchestrierungsstrategie:

   • Leichtgewichtiges Filtern: Ein Mustererkennungs-Detektor (PM) bewertet zunächst Krone-Seqs, um bekannte normale Muster effizient herauszufiltern.
   • Selektive LLM-Aufrufe: Nur unsichere oder unbekannte Krone-Seqs lösen eine LLM-basierte Schlussfolgerung aus.
   • Frühes Stoppen: Das System untersucht zunächst Segmente niedrigerer Ebene (Status). Wird auf einer niedrigeren Ebene eine Anomalie erkannt, stoppt der Prozess sofort, um unnötige Berechnungen bei höheren Zusammensetzungen zu vermeiden, da sich Anomalien nach oben fortpflanzen.
   • Kontextuelle Verifikation: Die Hierarchie bietet einen klar definierten semantischen Geltungsbereich, der es dem LLM ermöglicht, seine Schlussfolgerungen in normalen Verhaltensmustern zu verankern (z. B. typische Aktionsübergänge innerhalb einer Entität) unter Verwendung von Kontextbeispielen.

3. Wissensbasis für amortisierte Erkennung:
   Unter der Erkenntnis, dass Krone-Seqs atomare Ausführungseinheiten sind, die sich häufig über verschiedene Logsequenzen hinweg wiederholen, pflegt Krone eine hierarchische Wissensbasis.

   • Wiederverwendung: Sobald ein Krone-Seq bewertet wurde (entweder durch PM oder LLM), werden das Ergebnis und die Erklärung gespeichert.
   • Kostenreduktion: Während der Erkennung fragt das System zuerst diese Wissensbasis ab und ruft das LLM nur auf, wenn kein passender Eintrag existiert. Dies reduziert redundante LLM-Aufrufe erheblich.
   • Kontinuierliche Verfeinerung: Die Wissensbasis unterstützt Korrekturen durch den Menschen im Loop, sodass Benutzer gespeicherte Kenntnisse überarbeiten können, um die Qualität zukünftiger Erkennungen und Erklärungen zu verbessern.

Krone-viz-Demonstration
Die Arbeit präsentiert Krone-viz, eine interaktive Plattform, die am weit verbreiteten HDFS-Benchmark-Datensatz demonstriert wird. Das System visualisiert die vier Phasen des Krone-Workflows:

1. Hierarchie-Extraktion: Benutzer laden Logvorlagen, und das System konstruiert den Krone-Baum, wobei die semantischen Beziehungen zwischen Entitäten, Aktionen und Status visualisiert werden.
2. Verarbeitung von Trainingsdaten: Benutzer beobachten, wie normale Logsequenzen in hierarchische Krone-Seqs zerlegt und als Ground-Truth-Ausführungseinheiten gespeichert werden.
3. Anomalieerkennung: Benutzer lösen die Erkennung auf Testsequenzen aus. Die Schnittstelle visualisiert den modularen Bottom-up-Prozess, hebt Segmente hervor, die vom Mustererkennungs-Detektor markiert wurden, und liefert LLM-generierte Erklärungen für bestätigte Anomalien.
4. Wissensmanagement: Benutzer können die angesammelte Wissensbasis erkunden, Statistiken für spezifische Knoten einsehen, detaillierte Erkennungsergebnisse prüfen und gespeicherte Kenntnisse überschreiben oder überarbeiten, um die zukünftige Analyse zu steuern.

Hauptergebnisse
Die Arbeit berichtet über umfassende Verbesserungen des Krone-Frameworks gegenüber früheren Methoden basierend auf realen öffentlichen Benchmarks:

• Genauigkeit: Der F1-Score verbesserte sich von 82,76 % (frühere Methoden) auf 92,83 %.
• Dateneffizienz: Der Ansatz reduzierte den erforderlichen Datenumfang um den Faktor 117,3×.
• LLM-Ressourceneffizienz: Das System reduzierte die LLM-Nutzung auf 1,1 %–3,3 % der Testdatengröße durch die Nutzung der Wissensbasis und selektiver Aufrufe.

Bedeutung
Die Arbeit behauptet, dass Krone-viz die kritische Lücke in der Loganalyse schließt, indem es hierarchische Zerlegung, Anomalie-Lokalisierung und Erklärung für Softwareingenieure und Systembetreiber interpretierbar und handlungsrelevant macht. Durch die Integration einer effizienten LLM-Nutzung mit einem modularen, hierarchischen Framework ermöglicht Krone:

• Präzise Lokalisierung: Identifizierung spezifischer anomaler Segmente innerhalb von Ausführungskontexten anstatt der Kennzeichnung ganzer Sequenzen.
• Kosteneffiziente Skalierbarkeit: Drastische Reduzierung der Rechenkosten und Datenanforderungen im Vergleich zu flachen Sequenz-LLM-Ansätzen.
• Mensch-im-Loop-Analyse: Befähigung der Benutzer, KI-generierte Erkenntnisse zu überprüfen, zu korrigieren und zu verfeinern, wodurch das Risiko von Halluzinationen gemindert und eine wiederverwendbare Wissensgrundlage für die kontinuierliche Systemverbesserung geschaffen wird.

Die Arbeit wird als Demonstration präsentiert, wie eine skalierbare, interpretierbare Loganalyse durch effiziente, kostenbewusste LLM-Integration erreicht werden kann.