Resumo Técnico: MINES – Detecção de Anomalias Explicável através da Inferência de Invariantes de API Web

Declaração do Problema

As aplicações web modernas, que servem como infraestrutura crítica para governos e empresas, dependem cada vez mais de APIs web expostas (por exemplo, RESTful, SOAP, WebSockets). Essas APIs são alvos frequentes de ataques intencionais e acessos ilegais não pretendidos, levando a comportamentos anômalos no sistema. Os métodos existentes de detecção de anomalias baseados em logs enfrentam dois desafios fundamentais:

1. Observabilidade Além dos Logs (C1): A normalidade real do sistema muitas vezes depende de informações não capturadas em logs brutos, como estados específicos do banco de dados (por exemplo, um pedido deve estar "pago" antes do cancelamento) ou informações ambientais de sessão. Depender exclusivamente de logs instrumentados ignora esses fatores causais cruciais.
2. Invariantes Reais a partir de Instâncias de Log Ruidosas (C2): O registro abrangente de logs frequentemente introduz ruído. Modelos de aprendizagem treinados em instâncias de logs brutos podem capturar correlações espúrias (por exemplo, uma sequência específica de chamadas de API) em vez de relações causais, levando a falsos positivos ou falsos negativos. Além disso, as abordagens de aprendizado de regras existentes frequentemente derivam regras superficiais de padrões de logs que falham quando o contexto crucial está ausente dos logs.

As soluções de estado da arte atuais, sejam de aprendizagem de modelos (ex: LogRobust, LogFormer) ou de aprendizagem de regras (ex: WebNorm), lutam para distinguir entre logs normais e de ataque quando os logs de ataque são textualmente semelhantes aos normais, mas violam invariantes subjacentes do sistema (ex: restrições de banco de dados).

Metodologia: MINES

Os autores propõem o MINES (Mining Invariants for aNomaly dEtection via Schema), uma técnica que infere invariantes de API explicáveis a partir do nível de esquema (assinaturas de API e esquemas de banco de dados) em vez de instâncias detalhadas de logs brutos. O MINES trata a detecção de anomalias como um problema de mineração de especificações.

Fluxo de Trabalho Principal

1. Parsing e Aumento de Esquema:

   • O MINES analisa assinaturas de API, esquemas de banco de dados e informações ambientais (ex: dados de sessão).
   • Ele converte assinaturas de API em tipos de entidade, onde o nome da API é a entidade e os parâmetros/valores de retorno são atributos.
   • Essas entidades de API são integradas com tabelas de banco de dados e entidades ambientais para formar um Diagrama Entidade-Relacionamento (ER) Aumentado.

2. Inferência de Relacionamento (Estágio 1):

   • Utilizando Grandes Modelos de Linguagem (LLMs), o MINES infere relacionamentos entre as entidades aumentadas:
     • Relacionamentos API-DB: Restrições de chave estrangeira que ligam parâmetros de API a colunas de banco de dados.
     • Relacionamentos API-API: Dependências temporais entre diferentes chamadas de API.
     • Relacionamentos API-Ambiente: Ligações entre chamadas de API e dados de sessão/ambientais.
   • Regras heurísticas (ex: limiares de sobreposição de valores, Modelos Ocultos de Markov para probabilidade de sequência) são aplicadas para filtrar falsos relacionamentos.

3. Geração de Invariantes (Estágio 2):

   • Com base nos relacionamentos inferidos, o MINES realiza o join das tabelas de entidades relevantes.
   • LLMs são instigados (prompted) a gerar invariantes candidatos (restrições) sobre essas tabelas unidas. Esses invariantes cobrem cinco categorias: restrições de senso comum, restrições de formato, restrições de banco de dados, restrições de ambiente e restrições de API relacionadas.
   • Os invariantes inferidos são traduzidos em código Python executável.

4. Refinamento de Invariantes:

   • Para mitigar alucinações de LLM e falsos positivos, os invariantes gerados são validados contra uma coleção de logs normais conhecidos.
   • Se um invariante gera um alarme falso em dados normais, o erro é enviado de volta ao LLM para revisar ou descartar o invariante. Este loop iterativo continua até que o invariante seja válido para todos os logs normais.

5. Verificação em Tempo de Execução:

   • Detecção Offline: O sistema opera de maneira offline. Um coletor de logs reúne logs de tempo de execução, e um verificador offline executa os invariantes Python aprendidos contra esses logs.
   • Rastreamento de Log Binário: Para abordar o desafio dos estados dinâmicos do banco de dados, o MINES reproduz os logs binários do banco de dados para reconstruir o estado histórico do banco de dados no momento de cada invocação de API, garantindo a avaliação precisa dos invariantes.

Principais Contribuições

• Metodologia: Uma técnica de mineração de especificação baseada em esquema que unifica assinaturas de API, esquemas de banco de dados e informações de sessão para deduzir invariantes causais, abordando as limitações das abordagens baseadas apenas em logs.
• Ferramenta: Uma implementação de framework para aplicações web baseadas em Java que requer apenas assinaturas de API e esquemas de banco de dados, facilitando a implantação no mundo real.
• Benchmark: Um novo conjunto de dados de ataques de manipulação web compreendendo 31 tipos de ataques em Train-Ticket e NiceFish, com scripts dinâmicos e replicáveis para gerar logs normais e anormais.
• Avaliação: Avaliação extensiva contra baselines de estado da arte (LogRobust, LogFormer, WebNorm) e testes de generalização em aplicações industriais populares (Gitea, Mastodon, NextCloud).

Resultados

A avaliação demonstra que o MINES alcança um novo estado da arte na detecção de anomalias web:

• Alta Precisão e Recall: Nos benchmarks Train-Ticket e NiceFish, o MINES alcançou 100% de precisão e recalls de 94,8% e 91,7%, respectivamente. Isso representa uma melhoria de recall de mais de 14% em comparação com LogRobust, LogFormer e WebNorm.
• Zero Falsos Positivos: O processo de refinamento eliminou com sucesso os alarmes falsos, resultando em quase zero falsos positivos.
• Eficiência: O MINES processa logs a uma taxa de vazão de $4,0 \times 10^5$ logs/segundo no Train-Ticket, significativamente mais rápido que as baselines de aprendizagem de modelo.
• Robustez:
  • Independência de LLM: A abordagem mantém alto desempenho em diferentes LLMs (GPT-4o, Claude 3.7, DeepSeek-V3), embora modelos menores como o GPT-4o-mini tenham mostrado um desempenho ligeiramente inferior na geração de código.
  • Generalização: O MINES generalizou-se com sucesso para aplicações de código aberto populares (Gitea, Mastodon, NextCloud), alcançando alta precisão e recall.
  • Estudos de Ablação: A remoção da dedução baseada em esquema ou de tipos de relacionamento específicos (API-DB, API-Env) reduziu significamente o recall, confirmando a necessidade de inferência em nível de esquema e informações de contexto.

Significância

O artigo afirma que o MINES estabelece um novo estado da arte para a operação de aplicações web ao mudar o paradigma de aprender a partir de instâncias de logs ruidosas para deduzir especificações a partir de esquemas abstratos. Ao alavancar a integridade estrutural entre APIs e bancos de dados, o MINES pode detectar anomalias que são invisíveis para modelos baseados apenas em logs, como ataques que exploram inconsistências de estado do banco de dados. A abordagem oferece alta explicabilidade (via código Python executável representando os invariantes) e alta precisão com mínimos falsos positivos, tornando-a adequada para a manutenção confiável de serviços web. Os autores observam que, embora o método dependa de convenções de nomenclatura significativas, ele permanece robusto às práticas comuns de engenharia e pode ser aprimorado com documentação mínima.