🤖 machine learning

MINES: Explainable Anomaly Detection through Web API Invariant Inference

El artículo propone MINES, un sistema de detección de anomalías explicable que infiere invariantes de API a partir de esquemas de bases de datos utilizando LLMs y registros normales para generar código de verificación en tiempo de ejecución, logrando un rendimiento de vanguardia con una alta sensibilidad y casi cero falsos positivos al superar las limitaciones de los enfoques basados en registros ruidosos.

Autores originales: Wenjie Zhang, Yun Lin, Chun Fung Amos Kwok, Xiwen Teoh, Xiaofei Xie, Frank Liauw, Hongyu Zhang, Jin Song Dong

Publicado 2026-06-02

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Wenjie Zhang, Yun Lin, Chun Fung Amos Kwok, Xiwen Teoh, Xiaofei Xie, Frank Liauw, Hongyu Zhang, Jin Song Dong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el guardia de seguridad de un edificio de oficinas masivo y concurrido (una aplicación web). Tu trabajo es detectar intrusos o personas haciendo cosas que no deberían.

La mayoría de los guardias de seguridad modernos (software existente) solo vigilan el libro de registro. Cada vez que alguien cruza una puerta o usa un elevador, se escribe una línea en el libro. Si el guardia ve un patrón que parece extraño comparado con el pasado, hace sonar una alarma.

El Problema:
El documento explica que este enfoque de "solo libro de registro" tiene un fallo fatal.

El Truco del "Parecido": Un criminal puede cruzar la puerta y firmar el libro de registro de una manera que parezca exactamente como la de un empleado normal. El registro dice: "Juan entró al vestíbulo a las 9:00 AM". Pero en realidad, Juan podría estar portando una tarjeta de acceso robada, o la puerta podría haber sido forzada. El libro de registro no muestra la fuerza, solo muestra el resultado.
El Ruido: A veces el libro de registro es desordenado. Puede decir: "Juan entró", pero no te dice si Juan realmente tenía un boleto para entrar a esa habitación específica. El guardia de seguridad se confunde con todas las entradas que se parecen entre sí y se le pasa el peligro real.

La Solución: MINES
Los autores proponen un nuevo sistema llamado MINES. En lugar de solo mirar el libro de registro, MINES observa los planos del edificio y las reglas de cómo se supone que debe funcionar el edificio.

Piénsalo de esta manera:

Forma Antigua (Aprendizaje de Registros): El guardia aprende que "Juan suele entrar al vestíbulo, luego va al 3er piso". Si Juan entra al vestíbulo y va al 3er piso, el guardia piensa: "Todo bien".
Forma de MINES (Inferencia de Planos): MINES observa los planos y dice: "Un momento. De acuerdo con el diseño del edificio, solo puedes ir al 3er piso si tienes un 'Boleto Pagado' en tu bolsillo, y ese boleto debe estar vinculado a un asiento específico en la base de datos".

MINES no solo lee el registro; lo coteja contra la base de datos (el registro maestro del edificio sobre quién posee qué) y el entorno (quién ha iniciado sesión realmente).

Cómo funciona MINES (El proceso de 3 pasos):

Traducir el Plano: MINES toma los "planos" técnicos (firmas de API y tablas de bases de datos) y los convierte en un mapa gigante y conectado. Trata cada llamada de API (como "Cancelar Pedido") como un personaje en una historia y cada tabla de la base de datos (como "Pedidos") como una ubicación.
Preguntar al Detective de IA: Utiliza una IA inteligente (un Modelo de Lenguaje Grande o LLM) para observar este mapa y preguntar: "¿Qué debe ser cierto para que esta historia tenga sentido?".
- Ejemplo: La IA podría inferir: "Para que un evento de 'Cancelar Pedido' sea real, debe existir un 'Pedido' correspondiente en la base de datos, y ese pedido debe estar en estado 'Pagado'".
- Esto es como si el guardia revisara el plano para ver si las reglas tienen sentido, en lugar de simplemente adivinar basándose en registros pasados.
La Verificación de la Realidad: La IA podría equivocarse (alucinar). Por lo tanto, MINES ejecuta estas nuevas reglas contra un montón de registros "buenos" conocidos. Si una regla dice "Juan no puede entrar al vestíbulo" pero Juan entró al vestíbulo normalmente, MINES descarta esa regla. Solo conserva las reglas que son 100% precisas.

El Resultado:
Cuando ocurre un ataque (como alguien intentando reembolsar un boleto dos veces), los guardias antiguos (LogRobust, LogFormer) lo pasan por alto porque el registro parece normal. Pero MINES revisa la base de datos y dice: "¡Espera, este pedido ya fue reembolsado! La base de datos dice que está 'Cancelado', pero el registro dice 'Reembolsado'. ¡Eso viola el plano!".

Por qué esto es importante:

Es más Inteligente: Detecta ataques que parecen perfectos en el papel pero que son falsos en la realidad.
Es Limpio: No se confunde con registros desordenados. Se enfoca en las reglas del sistema.
Es Rápido: Puede revisar millones de registros por segundo.
Es Explicable: Si detecta a un criminal, puede señalar la regla exacta que se rompió (por ejemplo, "El estado de la base de datos no coincidía con la solicitud"), en lugar de solo decir "Esto parece extraño".

En resumen, MINES deja de intentar adivinar qué es normal leyendo un diario desordenado. En su lugar, aprende las leyes de la física de la aplicación y atrapa a cualquiera que las rompa, incluso si intentan ocultarlo en los registros.

Resumen Técnico: MINES – Detección de Anomalías Explicable mediante la Inferencia de Invariantes de API Web

Declaración del Problema

Las aplicaciones web modernas, que sirven como infraestructura crítica para gobiernos y empresas, dependen cada vez más de las API web expuestas (por ejemplo, RESTful, SOAP, WebSockets). Estas API son objetivos frecuentes de ataques intencionados y accesos ilegales no deseados, lo que conduce a comportamientos anormales del sistema. Los métodos actuales de detección de anomalías basados en registros (logs) enfrentan dos desafíos fundamentales:

Observabilidad más allá de los Registros (C1): La verdadera normalidad del sistema depende a menudo de información no capturada en los registros brutos, como estados específicos de la base de datos (por ejemplo, un pedido debe estar "pagado" antes de la cancelación) o información ambiental de la sesión. Depender únicamente de registros instrumentados omite estos factores causales cruciales.
Invariantes Reales a partir de Instancias de Registro Ruidosas (C2): El registro exhaustivo a menudo introduce ruido. Los modelos de aprendizaje entrenados en instancias de registros brutos pueden capturar correlaciones espurias (por ejemplo, una secuencia específica de llamadas a la API) en lugar de relaciones causales, lo que genera falsos positivos o falsos negativos. Además, los enfoques actuales de aprendizaje de reglas suelen derivar reglas superficiales de patrones de registros que fallan cuando el contexto crucial falta en dichos registros.

Las soluciones de vanguardia actuales, ya sean de aprendizaje de modelos (por ejemplo, LogRobust, LogFormer) o de aprendizaje de reglas (por ejemplo, WebNorm), tienen dificultades para distinguir entre registros normales y de ataque cuando los registros de ataque son textualmente similares a los normales pero violan invariantes subyacentes del sistema (por ejemplo, restricciones de la base de datos).

Metodología: MINES

Los autores proponen MINES (Mining Invariants for aNomaly dEtection via Schema), una técnica que infiere invariantes de API explicables desde el nivel de esquema (firmas de API y esquemas de bases de datos) en lugar de de instancias detalladas de registros brutos. MINES trata la detección de anomalías como un problema de minería de especificaciones.

Flujo de Trabajo Principal

Análisis y Aumento de Esquemas:
- MINES analiza las firmas de las API, los esquemas de las bases de datos y la información ambiental (por ejemplo, datos de sesión).
- Convierte las firmas de las API en tipos de entidad donde el nombre de la API es la entidad y los parámetros/valores de retorno son atributos.
- Estas entidades de API se integran con las tablas de la base de datos y las entidades ambientales para formar un Diagrama de Entidad-Relación (ER) Aumentado.
Inferencia de Relaciones (Etapa 1):
- Utilizando Modelos de Lenguaje de Gran Escala (LLMs), MINES infiere las relaciones entre las entidades aumentadas:
  - Relaciones API-DB: Restricciones de clave foránea que vinculan los parámetros de la API con las columnas de la base de datos.
  - Relaciones API-API: Dependencias temporales entre diferentes llamadas a la API.
  - Relaciones API-Entorno: Vínculos entre las llamadas a la API y los datos de sesión/ambientales.
- Se aplican reglas heurísticas (por ejemplo, umbrales de superposición de valores, Modelos Ocultos de Markov para la probabilidad de secuencia) para filtrar relaciones falsas.
Generación de Invariantes (Etapa 2):
- Basándose en las relaciones inferidas, MINES une las tablas de entidades relevantes.
- Los LLMs son instados a generar invariantes (restricciones) candidatos sobre estas tablas unidas. Estos invariantes cubren cinco categorías: restricciones de sentido común, restricciones de formato, restricciones de base de datos, restricciones de entorno y restricciones de API relacionadas.
- Los invariantes inferidos se traducen en código Python ejecutable.
Refinamiento de Invariantes:
- Para mitigar las alucinaciones de los LLM y los falsos positivos, los invariantes generados se validan contra una colección de registros conocidos como normales.
- Si un invariante genera una falsa alarma en datos normales, el error se retroalimenta al LLM para revisar o descartar el invariante. Este bucle iterativo continúa hasta que el invariante se cumple para todos los registros normales.
Verificación en Tiempo de Ejecución:
- Detección Offline: El sistema opera de manera offline. Un recolector de registros recopila los registros de tiempo de ejecución y un verificador offline ejecuta los invariantes de Python aprendidos contra estos registros.
- Seguimiento de Registros Binarios: Para abordar el desafío de los estados dinámicos de la base de datos, MINES reproduce los registros binarios de la base de datos para reconstruir el estado histórico de la base de datos en el momento de cada invocación de la API, asegurando una evaluación precisa de los invariantes.

Contribuciones Clave

Metodología: Una técnica de minería de especificaciones basada en esquemas que unifica las firmas de las API, los esquemas de las bases de datos y la información de sesión para deducir invariantes causales, abordando las limitaciones de los enfoques de solo registros.
Herramienta: Una implementación de marco de trabajo para aplicaciones web basadas en Java que requiere solo firmas de API y esquemas de bases de datos, facilitando el despliegue en el mundo real.
Benchmark: Un nuevo conjunto de datos de ataques de manipulación web que comprende 31 tipos de ataques en Train-Ticket y NiceFish, con scripts dinámicos y replicables para generar tanto registros normales como anormales.
Evaluación: Evaluación extensa contra líneas base de vanguardia (LogRobust, LogFormer, WebNorm) y pruebas de generalización en aplicaciones industriales populares (Gitea, Mastodon, NextCloud).

Resultados

La evaluación demuestra que MINES alcanza un nuevo estado de la cuestión en la detección de anomalías web:

Alta Precisión y Exhaustividad (Recall): En los benchmarks de Train-Ticket y NiceFish, MINES logró una precisión del 100% y exhaustividades de 94.8% y 91.7%, respectivamente. Esto representa una mejora de la exhaustividad de más del 14% en comparación con LogRobust, LogFormer y WebNorm.
Cero Falsos Positivos: El proceso de refinamiento eliminó con éxito las falsas alarmas, resultando en casi cero falsos positivos.
Eficiencia: MINES procesa registros a un rendimiento de $4.0 \times 10^5$ registros/segundo en Train-Ticket, significativamente más rápido que las líneas base de aprendizaje de modelos.
Robustez:
- Independencia de LLM: El enfoque mantiene un alto rendimiento a través de diferentes LLMs (GPT-4o, Claude 3.7, DeepSeek-V3), aunque modelos más pequeños como GPT-4o-mini mostraron un rendimiento ligeramente inferior en la generación de código.
- Generalización: MINES se generalizó con éxito a aplicaciones de código abierto populares (Gitea, Mastodon, NextCloud), logrando alta precisión y exhaustividad.
- Estudios de Ablación: Eliminar la deducción basada en esquemas o tipos de relación específicos (API-DB, API-Env) redujo significativamente la exhaustividad, confirmando la necesidad de la inferencia a nivel de esquema y la información contextual.

Significado

El artículo afirma que MINES establece un nuevo estado de la cuestión para la operación de aplicaciones web al cambiar el paradigma de aprender de instancias de registros ruidosos a deducir especificaciones a partir de esquemas abstractos. Al aprovechar la integridad estructural entre las API y las bases de datos, MINES puede detectar anomalías que son invisibles para los modelos de solo registros, como ataques que explotan inconsistencias en el estado de la base de datos. El enfoque ofrece una alta explicabilidad (a través de código Python ejecutable que representa los invariantes) y una alta precisión con mínimos falsos positivos, lo que lo hace adecuado para el mantenimiento confiable de servicios web. Los autores señalan que, si bien el método depende de convenciones de nomenclatura significativas, sigue siendo robusto ante las prácticas comunes de ingeniería y puede mejorarse aún más con una documentación mínima.