Detect, Localize, and Explain: Interactive Hierarchical Log Anomaly Analytics with LLM Augmentation

Resumen Técnico: Krone-viz – Análisis Interactivo de Anomalías en Registros Jerárquicos con Aumento por LLM

Enunciado del Problema
Las infraestructuras modernas intensivas en datos dependen en gran medida de los registros para la supervisión del sistema y el diagnóstico de anomalías. Sin embargo, los métodos existentes de detección de anomalías en registros presentan limitaciones significativas. La mayoría de los enfoques tradicionales operan sobre secuencias planas de registros, generando una única puntuación de anomalía para toda la secuencia sin capacidad para interpretar los resultados ni localizar segmentos anómalos específicos. Aunque los enfoques recientes basados en Modelos de Lenguaje Grande (LLM) mejoran la interpretabilidad mediante explicaciones en lenguaje natural, siguen operando sobre secuencias planas. Además, estos métodos basados en LLM sufren limitaciones de ventana de contexto y costos computacionales prohibitivamente altos cuando se aplican a conjuntos de datos masivos de registros. Existe una carencia de sistemas que puedan descomponer eficazmente los registros en unidades semánticas para permitir una localización y explicación precisas, al tiempo que gestionan los costos de los LLM.

Metodología: El Marco Krone
El artículo introduce Krone, un marco diseñado para transformar secuencias planas de registros en unidades jerárquicas semánticamente coherentes. Krone-viz es el sistema de visualización interactiva construido sobre este marco para hacer que estas capacidades sean accionables para los ingenieros. La metodología se basa en tres innovaciones centrales:

1. Modelo de Abstracción de Registros Krone (Krone-Tree):
   Krone introduce una abstracción jerárquica que reconstruye la semántica de ejecución directamente desde los registros. Define una jerarquía semántica de tres niveles:

   • Entidades: Corresponden a componentes del sistema.
   • Acciones: Capturan las operaciones realizadas.
   • Estados: Reflejan el resultado de cada acción.
     Utilizando el Reconocimiento de Entidades Nombradas (NER) basado en LLM sobre plantillas de registros, Krone construye un Árbol Krone. Este árbol permite la descomposición de largas secuencias planas de registros en Secuencias Krone—segmentos contiguos y semánticamente coherentes representados como secuencias de nodos a través de los niveles de entidad, acción y estado.

2. Detección de Anomalías Jerárquica y Modular:
   La detección de anomalías se formula como tareas modulares sobre las Secuencias Krone descompuestas. El sistema emplea una estrategia de orquestación de abajo hacia arriba:

   • Filtrado Ligero: Un detector de coincidencia de patrones (PM) evalúa primero las Secuencias Krone para filtrar eficientemente los patrones normales conocidos.
   • Invocación Selectiva de LLM: Solo las Secuencias Krone inciertas o desconocidas desencadenan el razonamiento basado en LLM.
   • Parada Temprana: El sistema examina primero los segmentos de nivel inferior (Estado). Si se detecta una anomalía en un nivel inferior, el proceso se detiene inmediatamente para evitar cálculos innecesarios en composiciones de nivel superior, ya que las anomalías se propagan hacia arriba.
   • Verificación Contextual: La jerarquía proporciona un ámbito semántico bien definido, permitiendo que el LLM base su razonamiento en patrones de comportamiento normales (por ejemplo, transiciones de acción típicas dentro de una entidad) utilizando ejemplos en contexto.

3. Base de Conocimiento para Detección Amortizada:
   Reconociendo que las Secuencias Krone son unidades atómicas de ejecución que se repiten frecuentemente a través de diferentes secuencias de registros, Krone mantiene una Base de Conocimiento jerárquica.

   • Reutilización: Una vez que una Secuencia Krone es evaluada (ya sea por PM o LLM), el resultado y la explicación se almacenan.
   • Reducción de Costos: Durante la detección, el sistema consulta primero esta base de conocimientos, invocando al LLM solo si no existe una entrada coincidente. Esto reduce significativamente las llamadas redundantes al LLM.
   • Refinamiento Continuo: La base de conocimientos soporta correcciones con intervención humana, permitiendo a los usuarios revisar el conocimiento almacenado para mejorar la calidad futura de la detección y la explicación.

Demostración de Krone-viz
El artículo presenta Krone-viz, una plataforma interactiva demostrada en el ampliamente utilizado conjunto de datos de referencia HDFS. El sistema visualiza las cuatro etapas del flujo de trabajo de Krone:

1. Extracción de Jerarquía: Los usuarios cargan plantillas de registros y el sistema construye el Árbol Krone, visualizando las relaciones semánticas entre entidades, acciones y estados.
2. Procesamiento de Datos de Entrenamiento: Los usuarios observan cómo las secuencias de registros normales se descomponen en Secuencias Krone jerárquicas y se almacenan como unidades de ejecución de verdad fundamental.
3. Detección de Anomalías: Los usuarios desencadenan la detección en secuencias de prueba. La interfaz visualiza el proceso modular de abajo hacia arriba, destacando los segmentos señalados por el coincidente de patrones y proporcionando explicaciones generadas por LLM para las anomalías confirmadas.
4. Gestión del Conocimiento: Los usuarios pueden explorar la base de conocimientos acumulada, ver estadísticas para nodos específicos, inspeccionar resultados detallados de detección y anular o revisar el conocimiento almacenado para guiar el análisis futuro.

Resultados Clave
El artículo reporta mejoras integrales del marco Krone sobre métodos anteriores basados en conjuntos de datos públicos del mundo real:

• Precisión: La puntuación F1 mejoró de 82.76% (métodos anteriores) a 92.83%.
• Eficiencia de Datos: El enfoque redujo el espacio de datos requerido por un factor de 117.3×.
• Eficiencia de Recursos LLM: El sistema redujo el uso de LLM al 1.1%–3.3% del tamaño de los datos de prueba aprovechando la base de conocimientos y la invocación selectiva.

Significado
El artículo afirma que Krone-viz aborda la brecha crítica en el análisis de registros al hacer que la descomposición jerárquica, la localización de anomalías y la explicación sean interpretables y accionables para ingenieros de software y operadores del sistema. Al integrar un uso eficiente de LLM con un marco modular y jerárquico, Krone permite:

• Localización Precisa: Identificar segmentos anómalos específicos dentro de contextos de ejecución en lugar de etiquetar secuencias enteras.
• Escalabilidad Rentable: Reducir drásticamente los costos computacionales y los requisitos de datos en comparación con los enfoques de LLM de secuencia plana.
• Análisis con Intervención Humana: Empoderar a los usuarios para revisar, corregir y refinar los conocimientos generados por IA, mitigando así los riesgos de alucinación y construyendo una base de conocimientos reutilizable para la mejora continua del sistema.

El trabajo se presenta como una demostración de cómo lograr un análisis de registros escalable e interpretable mediante una integración eficiente y consciente de costos de LLM.