🤖 machine learning

MINES: Explainable Anomaly Detection through Web API Invariant Inference

Il documento propone MINES, un sistema di rilevamento delle anomalie spiegabile che inferisce gli invarianti delle API dai database schema utilizzando LLM e log normali per generare codice di verifica a runtime, raggiungendo prestazioni allo stato dell'arte con un'alta richiamata e falsi positivi quasi nulli superando i limiti degli approcci basati su log rumorosi.

Autori originali: Wenjie Zhang, Yun Lin, Chun Fung Amos Kwok, Xiwen Teoh, Xiaofei Xie, Frank Liauw, Hongyu Zhang, Jin Song Dong

Pubblicato 2026-06-02

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Wenjie Zhang, Yun Lin, Chun Fung Amos Kwok, Xiwen Teoh, Xiaofei Xie, Frank Liauw, Hongyu Zhang, Jin Song Dong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere la guardia giurata di un enorme e trafficato edificio per uffici (un'applicazione web). Il tuo compito è individuare intrusi o persone che stanno facendo cose che non dovrebbero fare.

La maggior parte delle guardie giurate moderne (il software esistente) si limita a osservare il registro. Ogni volta che qualcuno attraversa una porta o usa un ascensore, viene scritta una riga nel registro. Se la guardia vede un modello che sembra strano rispetto al passato, suona l'allarme.

Il Problema:
Il documento spiega che questo approccio basato "solo sul registro" ha un difetto fatale.

Il Trucco del "Somigliante": Un criminale può passare attraverso la porta e firmare il registro in un modo che sembra esattamente quello di un normale dipendente. Il registro dice: "John è entrato nella lobby alle 9:00". Ma in realtà, John potrebbe avere con sé una tessera rubata, o la porta potrebbe essere stata forzata. Il registro non mostra la forza, mostra solo il risultato.
Il Rumore: A volte il registro è disordinato. Potrebbe dire: "John è entrato", ma non ti dice se John avesse effettivamente un biglietto per entrare in quella specifica stanza. La guardia giurata si confonde per tutti questi inserimenti simili e perde di vista il vero pericolo.

La Soluzione: MINES
Gli autori propongono un nuovo sistema chiamato MINES. Invece di limitarsi a fissare il registro, MINES osserva le planimetrie dell'edificio e le regole di come l'edificio dovrebbe funzionare.

Pensa a questo come a:

Vecchio Metodo (Apprendimento dal Registro): La guardia impara che "John di solito entra nella lobby, poi va al 3° piano". Se John entra nella lobby e va al 3° piano, la guardia pensa: "Tutto bene".
Metodo MINES (Inferenza della Planimetria): MINES osserva le planimetrie e dice: "Aspetta un attimo. Secondo il design dell'edificio, puoi andare al 3° piano solo se hai un 'Biglietto Pagato' in tasca, e quel biglietto deve essere collegato a un posto specifico nel database".

MINES non si limita a leggere il registro; lo controlla rispetto al database (il registro principale dell'edificio su chi possiede cosa) e all'ambiente (chi è effettivamente connesso).

Come funziona MINES (Il processo in 3 fasi):

Tradurre la Planimetria: MINES prende le "planimetrie" tecniche (firme API e tabelle del database) e le trasforma in una mappa gigante e connessa. Tratta ogni chiamata API (come "Annulla Ordine") come un personaggio in una storia e ogni tabella del database (come "Ordini") come un luogo.
Chiedere al Detective AI: Utilizza un'IA intelligente (un Large Language Model) per guardare questa mappa e chiedere: "Cosa deve essere vero affinché questa storia abbia senso?"
- Esempio: L'IA potrebbe inferire: "Perché un evento 'Annulla Ordine' sia reale, deve esserci un 'Ordine' corrispondente nel database, e quell'ordine deve avere uno stato 'Pagato'".
- Questo è come se la guardia controllasse la planimetria per vedere se le regole hanno senso, invece di limitarsi a indovinare in base ai registri passati.
Il Controllo di Realtà: L'IA potrebbe sbagliare (allucinare). Quindi, MINES esegue queste nuove regole contro un ammasso di log noti come "buoni". Se una regola dice "John non può entrare nella lobby" ma John è entrato nella lobby normalmente, MINES scarta quella regola. Mantiene solo le regole che sono sicure al 100%.

Il Risultato:
Quando avviene un attacco (come qualcuno che cerca di rimborsare un biglietto due volte), le vecchie guardie (LogRobust, LogFormer) lo perdono perché il log sembra normale. Ma MINES controlla il database e dice: "Aspetta, questo ordine è già stato rimborsato! Il database dice che è 'Annullato', ma il registro dice 'Rimborsato'. Questo viola la planimetria!"

Perché questo è importante:

È più intelligente: Coglie attacchi che sembrano perfetti sulla carta ma sono falsi nella realtà.
È pulito: Non si confonde con i log disordinati. Si concentra sulle regole del sistema.
È veloce: Può controllare milioni di log al secondo.
È spiegabile: Se cattura un criminale, può indicare esattamente la regola violata (ad esempio, "Lo stato del database non corrispondeva alla richiesta"), invece di dire solo "Questo sembra strano".

In breve, MINES smette di cercare di indovinare cosa sia normale leggendo un diario disordinato. Invece, impara le leggi della fisica dell'applicazione e cattura chiunque le violi, anche se tenta di nasconderlo nei log.

Riepilogo Tecnico: MINES – Inferenza di Invarianti per API Web per il Rilevamento di Anomalie Spiegabile

Definizione del Problema

Le moderne applicazioni web, che fungono da infrastrutture critiche per governi e imprese, si affidano sempre più ad API web esposte (ad esempio, RESTful, SOAP, WebSocket). Queste API sono bersagli frequenti di attacchi intenzionali e accessi illegali non intenzionali, che portano a comportamenti anomali del sistema. I metodi esistenti di rilevamento delle anomalie basati sui log affrontano due sfide fondamentali:

Osservabilità oltre i Log (C1): La vera normalità del sistema dipende spesso da informazioni non catturate nei log grezzi, come stati specifici del database (ad esempio, un ordine deve essere "pagato" prima della cancellazione) o informazioni ambientali della sessione. Fare affidamento esclusivamente su log strumentati significa perdere questi fattori causali cruciali.
Invarianti Reali da Istanze di Log Rumorose (C2): La registrazione completa dei log può introdurre rumore. I modelli basati sull'apprendimento addestrati su istanze di log grezzi possono catturare correlazioni spurie (ad esempio, una specifica sequenza di chiamate API) piuttosto che relazioni causali, portando a falsi positivi o falsi negativi. Inoltre, gli appronsimi esistenti di apprendimento di regole derivano spesso regole superficiali da pattern di log che falliscono quando il contesto cruciale manca dai log stessi.

Le soluzioni allo stato dell'arte attuale, siano esse basate sull'apprendimento di modelli (ad esempio, LogRobust, LogFormer) o sull'apprendimento di regole (ad esempio, WebNorm), faticano a distinguere tra log normali e di attacco quando i log di attacco sono testualmente simili a quelli normali ma violano gli invarianti sottostanti del sistema (ad esempio, vincoli del database).

Metodologia: MINES

Gli autori propongono MINES (Mining Invariants for aNomaly dEtection via Schema), una tecnica che inferisce invarianti di API spiegabili a livello di schema (firme delle API e schemi del database) piuttosto che su dettagliate istanze di log grezzi. MINES tratta il rilevamento delle anomalie come un problema di estrazione di specifiche (specification mining).

Flusso di Lavoro Principale

Parsing e Augmentation dello Schema:
- MINES analizza le firme delle API, gli schemi del database e le informazioni ambientali (ad esempio, i dati della sessione).
- Converte le firme delle API in tipi di entità dove il nome dell'API è l'entità e i parametri/valori di ritorno sono gli attributi.
- Queste entità API vengono integrate con le tabelle del database e le entità ambientali per formare un Diagramma Entità-Relazione (ER) Augmentato.
Inferenza delle Relazioni (Fase 1):
- Utilizzando Modelli di Linguaggio di Grandi Dimensioni (LLM), MINES inferisce le relazioni tra le entità aumentate:
  - Relazioni API-DB: Vincoli di chiave esterna che collegano i parametri delle API alle colonne del database.
  - Relazioni API-API: Dipendenze temporali tra diverse chiamate API.
  - Relazioni API-Env: Collegamenti tra le chiamate API e i dati di sessione/ambientali.
- Regole euristiche (ad esempio, soglie di sovrapposizione dei valori, Modelli di Markov Nascosti per la probabilità di sequenza) vengono applicate per filtrare le relazioni errate.
Generazione degli Invarianti (Fase 2):
- Sulla base delle relazioni inferite, MINES unisce le tabelle delle entità rilevanti.
- Gli LLM vengono istruiti per generare invarianti (vincoli) candidati su queste tabelle unite. Questi invarianti coprono cinque categorie: vincoli di senso comune, vincoli di formato, vincoli del database, vincoli ambientali e vincoli relativi alle API.
- Gli invarianti inferiti vengono tradotti in codice Python eseguibile.
Raffinamento degli Invarianti:
- Per mitigare le allucinazioni degli LLM e i falsi positivi, gli invarianti generati vengono validati contro una collezione di log normali noti.
- Se un invariante genera un falso allarme sui dati normali, l'errore viene riportato all'LLM per rivedere o scartare l'invariante. Questo ciclo iterativo continua finché l'invariante non è valido per tutti i log normali.
Verifica a Runtime:
- Rilevamento Offline: Il sistema opera in modalità offline. Un collettore di log raccoglie i log di runtime e un controllore offline esegue gli invarianti Python appresi contro questi log.
- Tracciamento dei Log Binari: Per affrontare la sfida degli stati dinamici del database, MINES riproduce i log binari del database per ricostruire lo stato storico del database al momento di ogni invocazione delle API, garantendo una valutazione accurata degli invarianti.

Contributi Chiave

Metodologia: Una tecnica di estrazione di specifiche basata sullo schema che unifica firme API, schemi del database e informazioni di sessione per dedurre invarianti causali, affrontando i limiti degli approcci basati solo sui log.
Strumento: Un'implementazione del framework per applicazioni web basate su Java che richiede solo le firme delle API e gli schemi del database, facilitando il deployment nel mondo reale.
Benchmark: Un nuovo dataset di attacchi di web-tampering composto da 31 tipi di attacchi su Train-Ticket e NiceFish, con script dinamici e replicabili per generare sia log normali che anormali.
Valutazione: Valutazione estesa rispetto ai baseline allo stato dell'arte (LogRobust, LogFormer, WebNorm) e test di generalizzazione su popolari applicazioni industriali (Gitea, Mastodon, NextCloud).

Risultati

La valutazione dimostra che MINES raggiunge un nuovo stato dell'arte nel rilevamento di anomalie web:

Alta Precisione e Recall: Sui benchmark Train-Ticket e NiceFish, MINES ha raggiunto una precisione del 100% e recall rispettivamente del 94,8% e del 91,7%. Ciò rappresenta un miglioramento della recall di oltre il 14% rispetto a LogRobust, LogFormer e WebNorm.
Zero Falsi Positivi: Il processo di raffinamento ha eliminato con successo i falsi allarmi, risultando in quasi zero falsi positivi.
Efficienza: MINES elabora i log a una velocità di $4,0 \times 10^5$ log/secondo su Train-Ticket, significativamente più veloce dei baseline basati su modelli.
Robustezza:
- Indipendenza dagli LLM: L'approccio mantiene alte prestazioni attraverso diversi LLM (GPT-4o, Claude 3.7, DeepSeek-V3), sebbene modelli più piccoli come GPT-4o-mini abbiano mostrato prestazioni leggermente inferiori nella generazione di codice.
- Generalizzazione: MINES si è generalizzato con successo alle popolari applicazioni open-source (Gitea, Mastodon, NextCloud), ottenendo alta precisione e recall.
- Studi di Ablazione: La rimozione della deduzione basata sullo schema o di specifici tipi di relazione (API-DB, API-Env) ha ridotto significativamente la recall, confermando la necessità dell'inferenza a livello di schema e delle informazioni contestuali.

Significato

Il documento afferma che MINES stabilisce un nuovo stato dell'arte per l'operatività delle applicazioni web spostando il paradigma dall'apprendimento da istanze di log rumorosi alla deduzione di specifiche da schemi astratti. Sfruttando l'integrità strutturale tra API e database, MINES può rilevare anomalie invisibili ai modelli basati solo sui log, come gli attacchi che sfruttano le incongruenze dello stato del database. L'approccio offre un'alta spiegabilità (tramite codice Python eseguibile che rappresenta gli invarianti) e un'alta accuratezza con minimi falsi positivi, rendendolo adatto per la manutenzione affidabile dei servizi web. Gli autori osservano che, sebbene il metodo dipenda da convenzioni di denominazione significative, rimane robusto alle comuni pratiche di ingegneria e può essere ulteriormente potenziato con una documentazione minima.