Resumen Técnico: LogSemFuse

Declaración del Problema

La detección de anomalías en registros (logs) es esencial para el monitoreo de sistemas de software modernos, sin embargo, los detectores basados en modelos existentes enfrentan dos limitaciones primordiales. Primero, aunque logran un fuerte rendimiento de detección, típicamente solo emiten puntuaciones de anomalía o etiquetas binarias sin proporcionar la semántica operativa detrás de la decisión. Esta falta de evidencia obliga a los operadores a inspeccionar manualmente los registros para comprender por qué se marcó una sesión, lo que dificulta el diagnóstico eficiente y la respuesta ante incidentes. Segundo, aunque los Modelos de Lenguaje de Gran Escala (LLMs) pueden recuperar una rica semántica de los registros, usarlos como detectores independientes suele ser costoso, propenso a la variabilidad de la inferencia y puede no fundamentar las explicaciones en la evidencia específica subyacente a una decisión. Además, el uso de prompts directos a los LLMs para cada sesión es computacionalmente costoso y difícil de escalar.

El desafío central abordado es cómo mejorar los detectores de base (backbone) existentes de alto rendimiento con evidencia semántica interpretable sin reemplazar sus procesos de entrenamiento ni incurrir en costos de tiempo de ejecución prohibitivos.

Metodología: Marco de Trabajo LogSemFuse

LogSemFuse se propone como un marco de aumento semántico tipo plug-in. No reemplaza al detector de base ni altera su objetivo de entrenamiento. En su lugar, opera en la etapa de inferencia para fusionar la predicción del detector con evidencia semántica estructurada derivada de tres módulos distintos. El marco mantiene un Banco de Conocimiento ($K$) construido durante el entrenamiento, el cual almacena artefactos reutilizables para minimizar el uso de LLMs durante la inferencia.

1. Construcción de Evidencia en Tiempo de Entrenamiento

Antes de la inferencia, LogSemFuse procesa los datos de entrenamiento para construir dos tipos de evidencia reutilizable:

• Banco de Patrones de Eventos Locales ($K_{ngram}$): El sistema mina n-gramas (unigramas, bigramas y trigramas) discriminativos de las secuencias de EventId en sesiones anómalas etiquetadas de entrenamiento. Los patrones se clasifican por "lift" (soporte anómalo relativo al soporte normal) y se validan para asegurar que no se activen excesivamente en sesiones normales. Estos patrones proporcionan evidencia determinista e interpretable de comportamientos anómalos cortos y contiguos (por ejemplo, reintentos repetidos o secuencias de excepciones).
• Banco de Reglas Derivadas de Clústeres ($K_{rule}$): Las sesiones anómalas de entrenamiento se agrupan mediante HDBSCAN basándose en sus distribuciones de eventos. Para cada clúster, se le solicita a un LLM que resuma el comportamiento operativo compartido e induzca reglas estructuradas y ejecutables. Estas reglas utilizan primitivas como contains_ngram, ordered_subset, min_count y absent_within. Las reglas resultantes capturan patrones operativos más amplios y no contiguos y se almacenan para su coincidencia determinista en el tiempo de inferencia.

2. Aumento Semántico en Tiempo de Inferencia

Para una sesión de registro entrante $x$, LogSemFuse agrega cuatro señales binarias para producir una decisión y explicación final:

1. Señal de la Base ($s_b$): La puntuación de anomalía o etiqueta original del detector de base (por ejemplo, DeepLog, LogBERT).
2. Señal de Patrón Local ($s_n$): Determinada mediante la coincidencia de la secuencia de EventId de la sesión contra $K_{ngram}$.
3. Señal de Regla ($s_r$): Determinada mediante la ejecución de las reglas en $K_{rule}$ contra la sesión.
4. Señal de Razonamiento Semántico de LLM ($s_\ell$): Un LLM analiza la sesión para proporcionar una predicción de alto riesgo, una puntuación de confianza y una racionalización (comportamiento esperado vs. observado). Para controlar los costos, el LLoma se invoca solo para sesiones nuevas; los resultados se almacenan en caché por identificador de sesión para su reutilización.

Fusión y Explicación:
Un operador de fusión (seleccionado de políticas OR, AND o vote-$k$ basadas en datos de validación) combina estas cuatro señales para determinar la etiqueta de anomalía final. El sistema genera entonces una explicación basada en evidencia trazando las señales contribuyentes: patrones locales coincidentes, reglas derivadas de clústeres activadas (con sus explicaciones a nivel de clúster) y la racionalización semántica del LLM.

Contribuciones Clave

El artículo realiza las siguientes contribuciones específicas:

• Marco Plug-in: Un método para mejorar los detectores de registros existentes con evidencia semántica ejecutable sin modificar sus canales originales de entrenamiento o inferencia.
• Diseño de Banco de Conocimiento: Un mecanismo para almacenar patrones de eventos locales reutilizables y reglas derivadas de clústeres, junto con el razonamiento de LLM en caché por sesión, permitiendo una reutilización eficiente y de bajo costo.
• Explicación Basada en Evidencia: Un enfoque que explica las decisiones de anomalía utilizando patrones activados, reglas disparadas y racionalizaciones de LLM, en lugar de atribuciones de características post-hoc.
• Validación Empírica: Evaluación exhaustiva a través de tres conjuntos de datos (HDFS, BGL, Liberty) y cuatro detectores de base, demostrando una mejora en el rendimiento de detección y en la calidad de la explicación con un gasto adicional modesto.

Resultados de la Evaluación

El marco fue evaluado en los conjuntos de datos HDFS, BGL y Liberty utilizando DeepLog, LogAnomaly, LogBERT y NeuralLog como bases.

• Rendimiento de Detección: LogSemFuse mejoró el F1-score para cada línea base que no era perfecta. Recuperó el 98.8% de los falsos negativos de la base en los conjuntos de prueba. Notablemente, preservó el rendimiento perfecto en casos donde la base ya era óptima (por ejemplo, LogAnomaly en Liberty).
• Eficiencia: El marco añade un gasto de tiempo de inferencia modesto y estable (que oscila entre ~2.3 y 5.8 segundos dependiendo del conjunto de datos) al depender de la coincidencia de patrones locales y la ejecución de reglas en lugar de llamadas repetidas a LLM. El uso de tokens de LLM se amortiza mediante la reutilización de resultados en caché y el banco de conocimiento.
• Evaluación Humana: Un estudio con usuarios con 14 participantes (incluyendo desarrolladores e investigadores) mostró que las explicaciones de LogSemFuse fueron calificadas significativamente más alto que las explicaciones directas de LLM en todas las métricas (Coherencia Lógica, Solidez Técnica, Claridad, etc.). LogSemFuse logró una puntuación de calidad general media de 4.13 frente a 3.06 de la línea base de LLM.
• Estudios de Ablación: Eliminar los patrones de eventos locales causó la degradación de rendimiento más significativa, indicando su papel crítico en la detección de indicadores de anomalía específicos. El banco de reglas derivadas de clústeres proporcionó evidencia reutilizable para las explicaciones, mientras que el razonamiento de LLM ofreció ganancias específicas en configuraciones difíciles.

Significado y Reivindicaciones

El artículo sostiene que LogSemFuse demuestra que el aumento semántico es una estrategia práctica para fortalecer los detectores de anomalías de registros existentes. Al tratar a los LLMs y la inducción de reglas como fuentes de evidencia reutilizable en lugar de detectores independientes, el marco logra:

1. Mejor Efectividad: Recuperar anomalías omitidas que los modelos basados en secuencias pasan por alto debido a señales dispersas o diluidas.
2. Interpretabilidad: Proporcionar a los operadores explicaciones concretas basadas en evidencia (patrones, reglas y racionalizaciones) en lugar de puntuaciones opacas.
3. Escalabilidad: Mantener costos de tiempo de ejecución bajos y estables mediante el almacenamiento en caché de artefactos semánticos y evitando la inferencia de LLM por sesión para cada solicitud.

Los autores posicionan a LogSemFuse no como un reemplazo para los detectores tradicionales o un nuevo paradigma centrado en LLM, sino como un método unificado para cerrar la brecha entre la detección de alto rendimiento y la comprensión semántica accionable en la ingeniería de confiabilidad de software.