Resumen Técnico: FAME – Mezcla de Expertos Consciente de Fallos para Detección de Anomalías a Nivel de Mensaje en Registros

Enunciado del Problema

Los sistemas distribuidos de producción generan millones de líneas de registro diariamente, sin embargo, los detectores de anomalías existentes suelen operar a nivel de ventana o sesión. Esta granularidad gruesa asigna una única etiqueta de anomalía a un grupo contiguo de líneas, obligando a los operadores a inspeccionar manualmente cientos de mensajes rutinarios para localizar la falla específica. Aunque la detección a nivel de mensaje (nivel de línea) ofrece la precisión necesaria para la localización directa de fallos, enfrenta tres desafíos significativos:

1. Ambigüedad de Plantillas (C1): Una sola plantilla de evento (derivada del análisis de registros) puede contener instancias normales y anómalas dependiendo de los valores de los parámetros, lo que hace que la identidad de la plantilla sea insuficiente para la clasificación.
2. Modos de Fallo Heterogéneos (C2): Las anomalías abarcan diversos subsistemas (por ejemplo, errores de memoria, particiones de red, fallos de sistema de archivos). Un único clasificador global lucha por ajustar un límite de decisión único a través de estas poblaciones heterogéneas sin sacrificar precisión o exhaustividad.
3. Escasez de Etiquetas (C3): Etiquetar manualmente millones de líneas a granularidad de mensaje es operativamente poco práctico. Aunque los Modelos de Lenguaje Grande (LLM) pueden razonar sobre la semántica de los registros, invocarlos para cada línea en un flujo continuo incurre en costos de API y latencia prohibitivos.

Metodología: Marco FAME

FAME (Mezcla de Expertos Consciente de Fallos) aborda estos desafíos mediante una arquitectura de Mezcla de Expertos (MoE) consciente de fallos y eficiente en etiquetas. La idea central es que el razonamiento de los LLM es necesario solo una vez durante una fase de configuración offline; todas las inferencias posteriores se ejecutan en modelos ligeros locales.

1. Fase de Configuración Offline

• Análisis de Registros y Muestreo K-Shot: Los registros sin procesar se analizan para obtener EventIDs utilizando Drain3. Para controlar los costos de anotación, el sistema muestrea como máximo K líneas etiquetadas por EventID (por ejemplo, K=100). Estas muestras se dividen en subconjuntos de entrenamiento y calibración.
• Particionamiento Semántico Guiado por LLM: Se invoca un LLM una vez offline. Recibe estadísticas y ejemplos representativos para cada EventID y propone una partición de plantillas en dominios de fallo semánticamente coherentes (por ejemplo, "Errores de Memoria DDR", "Fallos de Enlace de Red").
• Certificación: La propuesta del LLM se valida de manera determinista contra las etiquetas K-shot:
  • Dominios Puros de Anomalía: Si las K muestras en un dominio son todas anómalas, el dominio se certifica como "puro de anomalía". No se entrena ningún clasificador; el mecanismo de enrutamiento actúa como el detector.
  • Dominios Mixtos: Si las muestras contienen líneas normales y anómalas, se entrena un clasificador experto dedicado.
  • Normal Universal: Las plantillas no asignadas o no anómalas se asignan por defecto a un pool normal universal.
• Entrenamiento del Modelo:
  • Enrutador: Se entrena un modelo DistilBERT ligero para enrutar las líneas entrantes al dominio de fallo correcto (o al pool Normal Universal). Consiste en una Puerta binaria (experto vs. normal) y un Selector multiclase (experto específico).
  • Expertos: Los dominios mixtos se entrenan utilizando un enfoque de Dos Fases:
    1. Pre-entrenamiento MLM Adaptativo al Dominio: BERT continúa su pre-entrenamiento en un gran corpus de registros normales para adaptarse a la sintaxis de los registros.
    2. Ajuste Fino Supervisado: Los expertos se ajustan finamente con Pérdida Focal para manejar el desequilibrio de clases severo, utilizando los datos etiquetados K-shot y un pool de líneas normales.

2. Fase de Inferencia Online

• Enrutamiento: Las líneas de registro entrantes son procesadas por la Puerta. Si la puntuación está por debajo del umbral, la línea se enruta al experto Normal Universal. Si está por encima, el Selector la enruta a un dominio de fallo específico.
• Detección:
  • Las líneas enrutadas a dominios Puros de Anomalía se marcan inmediatamente como anomalías.
  • Las líneas enrutadas a dominios Mixtos son puntuadas por el experto específico y comparadas contra un umbral calibrado.
  • Las líneas enrutadas a Normal Universal son puntuadas por un modelo fusionado (combinando la puntuación del experto y la salida de la puerta) para capturar anomalías mal enrutadas.
• Salida: El sistema emite una decisión binaria de anomalía y una etiqueta de dominio de fallo, permitiendo la localización directa de fallos sin reconstrucción de sesión.

Contribuciones Clave

1. Detección a Nivel de Mensaje con Enrutamiento por Dominio de Fallo: FAME produce tanto una decisión binaria de anomalía como una etiqueta de nombre de dominio de fallo para cada línea de registro, permitiendo la localización directa de fallos.
2. MoE Asimétrica Consciente de Fallos: El marco formaliza una propiedad de confianza asimétrica bajo muestreo K-shot: observar etiquetas todas anómalas en un dominio es estadísticamente concluyente (permitiendo detección solo por enrutamiento), mientras que las etiquetas todas normales no lo son. Esto permite al sistema omitir el entrenamiento de clasificadores para dominios puros de anomalía.
3. Inferencia Totalmente Local con Etiquetado Mínimo: Tras una única invocación offline de LLM, toda la inferencia se ejecuta en modelos locales, eliminando costos recurrentes de API y salida de datos. El sistema logra un alto rendimiento con una reducción de 76× en el esfuerzo de anotación en comparación con el etiquetado completo a nivel de línea.

Resultados Experimentales

El marco se evaluó en dos puntos de referencia: BGL (Blue Gene/L, heterogéneo y difícil) y Thunderbird (registros de supercomputadora, estructuralmente separables).

• Rendimiento en BGL: Con K=100, FAME alcanza una puntuación F1 de 98.16 (Precisión: 98.18, Exhaustividad: 98.14). Esto supera significativamente a las líneas base de modelo único (por ejemplo, BERT único F1 ≈ 29.65) y a detectores clásicos. Detecta el 86.3% de las anomalías de EventIDs no vistos (EventIDs no vistos durante el entrenamiento), demostrando una fuerte generalización.
• Rendimiento en Thunderbird: FAME alcanza F1 = 99.95 con exhaustividad perfecta, igualando el rendimiento de líneas base más simples en este conjunto de datos más fácil.
• Eficiencia de Costos:
  • Anotación: Con K=100, FAME requiere solo 53,287 líneas etiquetadas en BGL, una reducción de 76× en comparación con etiquetar el conjunto de datos completo de 4.7M de líneas.
  • Costo de Inferencia: FAME incurre en un costo de configuración único de $10.23 (incluyendo entrenamiento y una sola llamada a LLM). En contraste, la inferencia directa con LLM para la misma tarea costaría entre $6,698 y$10,047 por ejecución.
  • Rendimiento: El sistema procesa hasta 1.20M líneas/hora en un único nodo de 4-GPU.
• Estudios de Ablación: Eliminar el enrutamiento MoE (usando un detector global único) causa una caída drástica en el rendimiento, confirmando que descomponer el problema en subproblemas especializados es el principal motor del éxito. Eliminar la agrupación basada en LLM (usando TF-IDF) aún produce resultados sólidos (F1=93.01 en BGL), lo que indica que la arquitectura de descomposición de expertos es el factor dominante, mientras que los LLM sirven como un potenciador semántico.

Significado y Afirmaciones

El artículo afirma que FAME demuestra que se puede lograr una detección fuerte a nivel de mensaje sin los costos prohibitivos de la inferencia continua de LLM o el etiquetado manual exhaustivo. Al aprovechar una arquitectura de expertos enrutados y las propiedades estadísticas del muestreo K-shot, FAME traslada la carga del razonamiento a una configuración offline única.

Los autores enfatizan que la contribución principal es la arquitectura en sí misma y no la dependencia de los LLM. El LLM se utiliza meramente para proponer una partición semántica, que luego se valida y fija. La capacidad del sistema para generalizar a plantillas no vistas y proporcionar etiquetas de dominio de fallo lo convierte en una solución práctica para entornos de producción reales donde los operadores necesitan alertas precisas y accionables sin incurrir en costos masivos de API o sobrecarga de revisión manual. El marco se presenta como una base para trabajos futuros en adaptación online y análisis causal de incidentes, pero el trabajo actual se centra estrictamente en la eficacia del pipeline de inferencia local con configuración offline.