🤖 AI

Knowledge Graph Representations for LLM-Based Policy Compliance Reasoning

Questo articolo presenta un framework agentic che costruisce grafi della conoscenza da documenti di policy sull'intelligenza artificiale per potenziare il ragionamento e la verifica della conformità basati su LLM, dimostrando che l'arricchimento tramite grafi della conoscenza migliora le prestazioni in vari compiti di ragionamento e che gli schemi scoperti dagli LLM possono eguagliare o superare le ontologie formali.

Autori originali: Wilder Baldwin, Sepideh Ghanavati

Pubblicato 2026-05-01

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Wilder Baldwin, Sepideh Ghanavati

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover risolvere un puzzle enorme e confuso, i cui pezzi sono regole scritte in tre lingue diverse (il Regolamento UE sull'IA, le linee guida NIST e gli standard OWASP). Hai un assistente molto intelligente (un Modello Linguistico su larga scala, o LLM) che ha letto molti libri ma non ha memorizzato perfettamente questi specifici manuali di regole. Se chiedi all'assistente una domanda, potrebbe indovinare la risposta basandosi su ciò che "pensa" di sapere, ma potrebbe sbagliare i dettagli o inventare cose (allucinare).

Questo articolo introduce un nuovo modo per aiutare quell'assistente intelligente. Invece di chiedere semplicemente all'assistente di ricordare, i ricercatori hanno costruito un archivio digitale (una Knowledge Graph) specificamente per queste regole sull'IA.

Ecco come funziona il sistema, scomposto in passaggi semplici:

1. Il Team "Scansiona e Ordina" (Costruzione)

Innanzitutto, il sistema prende i lunghi e noiosi documenti di policy e li suddivide in piccoli pezzi gestibili. Utilizza quindi un agente AI per leggere ogni pezzo ed estrarre i "fatti" importanti (come rischi specifici, regole o obblighi) e le connessioni tra di essi.

Pensa a questo come a un bibliotecario che legge un manuale di regole di 500 pagine e crea un set di schede indice.

Il Bibliotecario "Rigido" (Schema AIRO): Questo bibliotecario segue un elenco predefinito molto rigoroso di categorie (come "Rischio", "Minaccia", "Conseguenza"). Costringe ogni fatto in queste specifiche caselle.
Il Bibliotecario "Creativo" (Schema Aperto): Questo bibliotecario non utilizza un elenco predefinito. Invece, guarda il testo e crea le proprie etichette descrittive (come "Rischio di Avvelenamento dei Dati" o "Regola sulla Trasparenza") che si adattano meglio al contenuto.

2. Il "Detective" (Recupero)

Quando poni una domanda (ad esempio, "Questo codice viola il Regolamento UE sull'IA?"), il sistema non si limita a chiedere all'assistente di indovinare. Agisce come un detective:

Il Percorso Diretto: Per domande semplici (come "Cos'è un sistema ad alto rischio?"), il detective trova rapidamente la scheda indice esatta e legge la citazione.
Il Percorso Agente: Per domande complesse (come "Come funzionano insieme le regole UE e le regole NIST?"), il detective attraversa l'archivio, seguendo le connessioni tra le schede per raccogliere tutte le prove necessarie a costruire una risposta completa.

3. Il "Giudice" (Valutazione)

I ricercatori hanno testato questo sistema con cinque diversi modelli AI (da quelli molto potenti a quelli più piccoli ed economici). Hanno posto 42 tipi diversi di domande, che vanno da semplici ricerche a ragionamenti complessi tra regole diverse.

Hanno confrontato tre scenari:

Nessun Aiuto: L'AI risponde dalla propria memoria.
Archivio Rigido: L'AI utilizza le schede del bibliotecario "Rigido".
Archivio Creativo: L'AI utilizza le schede del bibliotecario "Creativo".

Cosa Hanno Trovato (I Risultati)

L'Archivio Aiuta Sempre: Aggiungere la knowledge graph ha migliorato le risposte per ogni modello AI testato. L'AI è diventata più accurata e, soprattutto, ha potuto fornire citazioni esatte dalle regole per provare la sua risposta, invece di limitarsi a indovinare.
Il Bibliotecario "Creativo" È Stato Sorprendentemente Bravissimo: Potresti pensare che un elenco predefinito e rigoroso (l'ontologia formale) sarebbe stato migliore. Tuttavia, il bibliotecario "Creativo", che ha inventato le proprie etichette sul momento, ha performato altrettanto bene, e talvolta anche meglio, di quello rigido. Questo suggerisce che lasciare che l'AI descriva le cose con le proprie parole può essere più efficace che costringerla in caselle rigide.
Le Dimensioni Contano (Per il Detective): Il sistema ha funzionato benissimo per i modelli AI "dal grande cervello". Tuttavia, per i modelli più piccoli e meno potenti, il "Percorso Agente" (dove il detective attraversa il grafico) ha effettivamente peggiorato le cose. Era come dare una mappa complessa a un bambino che non sa leggere; si sono persi. Per i modelli più piccoli, era meglio dare loro direttamente la risposta senza il complesso passaggio di "camminare intorno".

La Grande Conclusione

L'articolo dimostra che se vuoi che un'AI segua regole di sicurezza complesse, non dovresti affidarti solo alla sua memoria. Devi fornirle una mappa strutturata e ricercabile di quelle regole. Interessante notare che non hai bisogno di una mappa pre-pianificata perfettamente; una mappa che l'AI costruisce da sola basandosi sul testo funziona altrettanto bene. Tuttavia, devi adattare la complessità del compito di lettura della mappa all'intelligenza dell'AI che sta leggendo.

1. Enunciato del Problema

Mentre le funzionalità di IA vengono integrate rapidamente nel software, i quadri normativi (ad es. AI Act dell'UE, NIST AI RMF, OWASP Top 10) impongono requisiti di conformità complessi, sovrapposti e in continua evoluzione. I professionisti faticano a navigare manualmente in questi obblighi incrociati. Sebbene i Modelli Linguistici di Grandi Dimensioni (LLM) siano sempre più utilizzati per compiti di conformità, soffrono di:

Allucinazioni: Incapacità di citare in modo affidabile clausole specifiche delle policy.
Conoscenza Obsoleta: La conoscenza parametrica spesso rimane indietro rispetto alle nuove normative.
Limitazioni nel Ragionamento: Difficoltà nell'eseguire ragionamenti multi-hop o inferenze tra policy diverse.

Il documento affronta la necessità di un sistema automatizzato in grado di ancorare il ragionamento degli LLM al testo autorevole delle policy utilizzando Grafi della Conoscenza (KG) per migliorare accuratezza, tracciabilità e verifica della conformità.

2. Metodologia

Gli autori propongono un framework agentic che costruisce KG da documenti di policy sull'IA e utilizza il recupero adattivo per rispondere a domande. Il sistema opera come un server Model-Context-Protocol (MCP) con una pipeline a quattro stadi:

A. Frammentazione dei Documenti (Scan-and-Review)

Invece di conteggi fissi di token, un agente di frammentazione utilizza un processo in due fasi per segmentare il testo delle policy preservando la struttura logica:

Scansione: Una finestra scorrevole sollecita un LLM a identificare i confini naturali di divisione (ad es. fine di un Articolo).
Revisione: Il piano viene verificato; se i frammenti sono troppo grandi (>4.000 caratteri), l'agente propone ulteriori divisioni.

B. Estrazione del Grafo della Conoscenza

Un agente di estrazione elabora i frammenti per generare entità e relazioni tipizzate. Lo studio confronta due schemi ontologici:

Schema Chiuso (AIRO): Basato sulla formale Ontologia del Rischio IA (AIRO). Utilizza un vocabolario predefinito (7 tipi di entità, 6 tipi di relazione) derivato dall'AI Act dell'UE e dagli standard ISO.
Schema Aperto (Emergente): L'LLM assegna etichette descrittive in snake-case (ad es. technical_risk, regulatory_obligation) senza un vocabolario predefinito, normalizzandole post-estrazione.

Allineamento Cross-Policy: Le entità provenienti da fonti diverse (UE, NIST, OWASP) sono collegate tramite archi Corrisponde A utilizzando la similarità di embedding (cosine $\ge$ 0,70) e la similarità stringa.

C. Recupero Adattivo e Sintesi della Risposta

Un agente di instradamento classifica le domande come "Dirette" o "Agente" in base alla complessità:

Percorso Diretto (Compiti Semplici): Codifica la domanda, recupera le prime 5 entità, espande i vicini a 1-hop e sintetizza una risposta.
Percorso Agente (Compiti Complessi): Utilizza un ciclo ReAct (max 7 passaggi) con strumenti per ricerca per parole chiave, ricerca semantica, espansione dei vicini e ricerca di percorsi per attraversare il grafico per il ragionamento multi-hop.
Sintesi: La chiamata finale all'LLM riceve entità di prova (serializzate come relazioni), testo grezzo dei frammenti, esempi di apprendimento in contesto (ICL) e istruzioni specifiche per il compito.

D. Configurazione della Valutazione

Dataset: 42 compiti di QA su policy in tre quadri normativi (AI Act dell'UE, NIST AI RMF, OWASP Top 10).
Tipi di Compito: Sei categorie che vanno da T1 (Ricerca Entità) a T6 (Ragionamento Cross-Policy).
Modelli: Cinque LLM su tre livelli (Frontier: gpt-5-mini, gpt-4.1-mini; Medio: nemotron:30b, gpt-oss:20b; Piccolo: granite4:micro).
Metriche: Punteggio euristico (sovrapposizione di parole, corrispondenza di insiemi) e un LLM-as-Judge (gpt-4.1-mini) che valuta accuratezza, completezza e rilevanza.

3. Contributi Chiave

Framework Agentic per le Policy: Una pipeline completa end-to-end per costruire e interrogare KG derivati da policy, esposta come server MCP per l'integrazione.
Confronto Ontologico: Un confronto empirico rigoroso tra un'ontologia formale derivata dagli standard (AIRO) e uno schema aperto scoperto dall'LLM.
Benchmark di Ragionamento Cross-Policy: Introduzione del Tipo di Compito T6, che sfida i modelli a mappare concetti tra quadri normativi redatti indipendentemente (ad es. collegare i rischi OWASP ai requisiti dell'AI Act dell'UE).
Soglie di Capacità del Modello: Identificazione di una soglia in cui l'attraversamento del grafico agentic beneficia i modelli più grandi ma degrada le prestazioni per i modelli più piccoli.

4. Risultati Chiave

L'Augmentazione KG Migliora le Prestazioni: Gli LLM aumentati con KG hanno superato la linea di base "No-Context" in tutti e cinque i modelli.
- Guadagni nel Punteggio del Giudice: I miglioramenti sono variati da +0,17 a +0,55.
- Migliore Esecutore: gpt-oss:20b ha registrato il maggiore miglioramento del giudice (+0,55 con KG Aperto).
Prestazioni dello Schema:
- Lo Schema Aperto (Emergente) ha eguagliato o superato lo schema formale AIRO nei punteggi del giudice per 3 modelli su 5.
- La flessibilità dello schema aperto ha permesso nomi di entità più ricchi e descrittivi che si allineavano meglio ai vocabolari delle risposte attese.
Insight Specifici per Compito:
- T1/T3 (Ricerca/Attributi): Hanno mostrato i guadagni più forti (+0,11 a +0,40) perché i KG fornivano citazioni letterali delle policy che gli LLM non possono generare dalla sola memoria parametrica.
- T5 (Controllo Conformità): I KG hanno trasformato le risposte da vaghe ("Parzialmente conforme") a giudizi definitivi e citati ("Sì, citando l'Articolo 50").
- T6 (Cross-Policy): Ha mostrato i guadagni più piccoli. Il successo dipendeva fortemente dalla sovrapposizione del vocabolario tra le policy; i modelli faticavano quando i termini differivano (ad es. "data poisoning" vs. "training data bias").
Soglia di Capacità del Modello:
- Modelli Grandi: Hanno beneficiato del Percorso Agente (attraversamento multi-hop), migliorando il ragionamento complesso.
- Modelli Piccoli (es. granite4:micro): Hanno sofferto nei compiti complessi (T4, T6) quando utilizzavano il percorso agente, mostrando un regresso delle prestazioni. Hanno ottenuto i risultati migliori solo con il Percorso Diretto.

5. Significato e Lavori Futuri

Utilità Pratica: Lo studio dimostra che l'ancoraggio degli LLM ai KG è essenziale per la conformità normativa, in particolare per fornire prove citabili e ridurre le allucinazioni.
Flessibilità Ontologica: Contrariamente all'assunzione che le ontologie formali siano superiori, uno schema scoperto dall'LLM può essere ugualmente o più efficace per i compiti di QA grazie a un migliore allineamento semantico con le query in linguaggio naturale.
Recupero Strategico: I risultati suggeriscono che le strategie di recupero devono essere condizionate alla capacità del modello. I modelli più piccoli dovrebbero bypassare i complessi cicli agentic a favore del recupero diretto per evitare il degrado.
Direzioni Future: Gli autori pianificano di estendere la pipeline all'analisi del codice sorgente (attraversando grafi di codice insieme ai KG delle policy) ed esplorare metodi avanzati di allineamento delle entità (oltre la similarità di embedding) per risolvere il collo di bottiglia della discrepanza del vocabolario cross-policy.

Limitazioni: La valutazione è limitata a quadri normativi occidentali in lingua inglese, utilizza un piccolo set di domande (42 voci) e si affida a una valutazione automatizzata senza studi sugli utenti con sviluppatori umani.