A Benchmark for Gap and Overlap Analysis as a Test of KG Task Readiness

Questo articolo presenta un nuovo benchmark eseguibile e verificabile per valutare la prontezza dei Knowledge Graph nell'analisi di lacune e sovrapposizioni in documenti contrattuali, dimostrando che un approccio basato su ontologie offre maggiore coerenza e tracciabilità rispetto ai modelli linguistici puri.

L'essenziale

Immagina di dover scegliere l'assicurazione sulla vita perfetta per te o per la tua famiglia. Hai davanti a te dieci contratti diversi, scritti in un linguaggio legale complesso e pieno di "trappole" nascoste. La domanda è: se succede una cosa specifica (ad esempio, un incidente o una malattia), quale contratto ti paga e quale ti dice "no"?

Questo articolo scientifico parla proprio di come creare uno strumento intelligente per rispondere a queste domande in modo sicuro, controllabile e senza errori. Ecco la spiegazione semplice, con qualche metafora per chiarire le idee.

1. Il Problema: Il "Muro di Testo" vs. La Mappa

Leggere dieci contratti assicurativi per capire le differenze è come cercare di trovare un ago in un pagliaio, ma l'ago è scritto in una lingua che cambia leggermente da un contratto all'altro.

• Il vecchio modo: Si usano computer molto intelligenti (chiamati LLM, come ChatGPT) che leggono il testo e cercano di indovinare la risposta. È come chiedere a un turista di trovare la strada in una città sconosciuta guardando solo le insegne dei negozi: spesso indovina, ma a volte si perde o dà indicazioni sbagliate perché non ha una vera mappa.
• Il nuovo modo (proposto dagli autori): Prima di tutto, trasformano quei contratti in una mappa digitale precisa (un "Grafo della Conoscenza" o KG). Non si limitano a leggere le parole, ma costruiscono una struttura logica dove ogni regola è un tassello di un puzzle che si incastra perfettamente.

2. La Soluzione: Costruire una "Città Logica"

Gli autori hanno creato un benchmark (un banco di prova) per testare se questa mappa funziona meglio del semplice testo. Immagina di aver costruito una città virtuale dove:

• Ogni contratto è un edificio.
• Le regole (es. "se muori per suicidio entro 12 mesi, non paghiamo") sono le fondamenta di quegli edifici.
• Hanno creato un architetto digitale (un'ontologia) che sa esattamente come sono costruiti questi edifici.

Hanno poi preparato 58 scenari di prova (come: "Cosa succede se muoio in un incidente d'auto dopo 13 mesi?"). Per ogni scenario, chiedono alla mappa digitale: "Quali edifici pagano? Quali no?".

3. La Sfida: I Robot che "Immaginano" contro i Robot che "Calcolano"

Per vedere chi vince, hanno fatto una gara tra due approcci:

1. L'Intelligenza Artificiale "Testuale" (LLM): Le fa leggere i contratti e rispondere.
2. Il Sistema "Logico" (Ontologia): Usa la mappa strutturata per fare calcoli precisi.

Cosa è successo?

• L'LLM (il turista): Ha fatto un buon lavoro sui casi semplici (87% di successo con il modello migliore). Ma quando la situazione diventava complessa (es. polizze per coppie, prestiti sulla polizza), iniziava a confondersi.
  • L'errore tipico: Se un contratto non menziona esplicitamente un'eccezione, l'LLM spesso pensa: "Ah, non c'è scritto che è vietato, quindi è vietato!" o viceversa. È come se un turista, non vedendo un cartello "Vietato fumare", pensasse che sia vietato perché non c'è scritto "Permesso".
• Il Sistema Logico (l'architetto): Ha vinto in modo schiacciante. Perché? Perché la sua mappa diceva esattamente: "In questo edificio c'è una regola X, in quest'altro no". Non ha bisogno di indovinare. Se la regola non esiste nella mappa, il sistema dice chiaramente: "Non si applica", senza inventarsi nulla.

4. Perché è Importante? (La Metafora della "Prova di Fumo")

Immagina di essere un giudice in un tribunale.

• Se un avvocato ti dice: "Ho letto il contratto e penso che paghino", tu chiedi: "Dove lo dice?".
• Con il sistema degli autori, la risposta arriva con un riferimento preciso: "Pagano perché alla pagina 7, paragrafo 3, c'è scritto che il beneficio è attivo".
• Con l'LLM, a volte la risposta è: "Pagano perché sembra che sia così", ma non riesce a indicare la riga esatta con certezza matematica.

In Sintesi

Questo paper ci dice che, quando si tratta di cose importanti come i soldi o le assicurazioni, non basta che un'intelligenza artificiale "capisca" il testo. Serve trasformare quel testo in una struttura logica rigorosa.

È come la differenza tra:

• Leggere una ricetta a memoria (LLM): Potresti dimenticare un ingrediente o confondere il forno a 180° con 200°.
• Avere un forno programmato (Ontologia): Imposti i gradi esatti e il tempo esatto. Il risultato sarà sempre lo stesso, ogni volta, e potrai dimostrare esattamente perché il dolce è venuto bene.

Gli autori hanno creato questo "forno programmato" per le assicurazioni, rendendo possibile controllare le regole in modo che nessuno possa dire "non sapevo" o "ho sbagliato a leggere". È un passo avanti verso un futuro in cui l'IA non solo parla, ma ragiona con prove concrete.

Sommario tecnico

Titolo: Un Benchmark per l'Analisi di Gap e Sovrapposizione come Test di Prontezza dei Compiti per le Knowledge Graph

1. Il Problema

La valutazione della qualità delle Knowledge Graph (KG) sta evolvendo da criteri puramente strutturali e logici a una prospettiva orientata al compito (task-oriented). L'obiettivo è determinare se una rappresentazione basata su ontologie può rispondere alle "competency questions" (domande di competenza) che gli utenti reali si pongono, fornendo risposte riproducibili, spiegabili e tracciabili alle evidenze.

Il problema specifico affrontato è l'analisi di gap e sovrapposizione su documenti simili a policy (es. contratti assicurativi). Per un dato scenario (es. un evento di morte o una richiesta di prestito), è necessario identificare:

• Sovrapposizione (Overlap): Quali documenti supportano lo scenario.
• Gap: Quali documenti non lo supportano (esclusione o non applicabilità).

Le sfide principali includono:

• La complessità e l'eterogeneità dei testi contrattuali.
• La difficoltà di allineare testo naturale a rappresentazioni formali.
• La mancanza di benchmark che permettano di distinguere tra errori di dati mancanti e differenze sostanziali di copertura (gap reali).
• La necessità di giustificazioni basate su evidenze clause-level (frase per frase) per decisioni critiche, dove i modelli LLM puri spesso falliscono nella coerenza strutturale.

2. Metodologia

Gli autori hanno sviluppato un benchmark eseguibile e auditabile composto da tre componenti interconnessi:

• Corpus di Contratti: Sono stati creati 10 contratti sintetici di assicurazione sulla vita, diversificati per complessità (da semplici a complessi, come vita universale indicizzata). Sono stati generati con l'assistenza di LLM (Claude Sonnet 4.6) e rigorosamente validati da un esperto di dominio per garantire coerenza terminologica e plausibilità legale.
• Ontologia (TBox e ABox):
  • TBox: Un'ontologia OWL/Turtle che formalizza i concetti del dominio (Policy, Parti, Coperture, Esclusioni, Rider, ecc.). Utilizza pattern di ingegneria ontologica come la subsumption (gerarchie di classi) e la value partition (es. tipi di benefici per suicidio come individui enumerati invece di stringhe libere).
  • ABox: L'istanziazione dei 10 contratti nella KG. Ogni individuo (es. una specifica esclusione) è collegato a proprietà di tracciabilità (sourceContractID, sourceContractSection, coverageSourceText) che ancorano ogni fatto al testo originale del contratto.
• Suite di Competency Questions: 58 scenari strutturati (in formato JSON) che rappresentano domande tipiche degli stakeholder. Ogni scenario include:
  • Descrizione naturale.
  • Due query SPARQL (una per la copertura, una per il diniego).
  • Verità di base (Ground Truth) verificata da esperti per ogni contratto (Coperto, Diniego, Non Applicabile).
  • Evidenze testuali clause-level.

Sperimentazione:
Il benchmark è stato utilizzato per confrontare due pipeline:

1. Pipeline basata su Ontologia: Utilizza query SPARQL sull'ABox istanziato per determinare lo stato di copertura.
2. Pipeline Text-Only LLM: Utilizza tre modelli LLM all'avanguardia (ChatGPT-5.3, Gemini-3, Claude Sonnet-4.6) per inferire direttamente la risposta dal testo del contratto senza rappresentazione formale.

3. Contributi Chiave

1. Dataset Curato: Un corpus di 10 contratti di assicurazione sulla vita, diversificati e validati da esperti, progettato per coprire pattern di clausole complessi ma gestibili.
2. Ontologia Verificata: Una TBox/ABox allineata che trasforma dati contrattuali non strutturati in una rappresentazione queryabile e tracciabile, con annotazioni di provenienza per ogni istanza.
3. Benchmark di Valutazione: Una suite di 58 scenari con ground truth e query SPARQL associate, che permette una valutazione sistematica della riproducibilità e della tracciabilità delle evidenze.
4. Analisi Comparativa: Un confronto empirico che dimostra come la modellazione esplicita (KG) superi l'inferenza testuale (LLM) in termini di coerenza e capacità di diagnosi per analisi di gap/sovrapposizione.

4. Risultati

• Prestazioni degli LLM: Gli LLM hanno mostrato una capacità di comprensione generale, ma con accettabilità variabile.
  • Accuratezza: Claude Sonnet 4.6 ha ottenuto il miglior risultato (87,76%), seguito da ChatGPT (72,93%) e Gemini (65,17%).
  • Tipologia di Errori: L'errore più frequente è stato classificare scenari come DENIED (Rifiutato) quando la verità di base era NOT_APPLICABLE (Non Applicabile). Gli LLM tendono a interpretare l'assenza di una clausola specifica come un motivo di rifiuto, mentre nel benchmark l'assenza implica semplicemente che la clausola non si applica a quel prodotto.
  • Complessità: Gli errori aumentano drasticamente con la complessità del contratto (es. contratti Joint Survivorship o Universal Life indicizzati).
  • Coerenza: C'è una bassa concordanza inter-modelli su scenari complessi (solo il 48,8% di accordi corretti unanimità).
• Prestazioni della Pipeline KG:
  • La pipeline basata su ontologia ha prodotto risultati deterministici e coerenti.
  • Ogni risultato è stato accompagnato da una tracciabilità automatica diretta alla clausola originale del contratto.
  • La KG ha gestito correttamente le differenze parametriche (es. periodi di esclusione di 12 vs 24 mesi) senza ambiguità interpretative.

5. Significato e Implicazioni

Il paper dimostra che l'analisi di gap e sovrapposizione è un test efficace per la "prontezza al compito" (task readiness) di una KG.

• Validazione della Modellazione Strutturata: Mentre gli LLM possono approssimare giudizi di copertura su casi semplici, falliscono nella gestione rigorosa dello scope contrattuale e delle restrizioni strutturali. La KG, grazie all'impegno nella modellazione esplicita (definizione di domini, range e vincoli), garantisce coerenza e auditabilità.
• Tracciabilità delle Evidenze: Il benchmark risolve il problema della "scatola nera" fornendo giustificazioni clause-level per ogni decisione, essenziale in domini ad alto rischio come quello legale e assicurativo.
• Template Riutilizzabile: Sebbene focalizzato sull'assicurazione, il framework (testo allineato, ontologia verificata, scenari eseguibili) è un modello riutilizzabile per valutare la qualità delle KG in altri domini normativi (sanità, finanza) e per supportare compiti downstream come l'apprendimento di ontologie, il popolamento di KG e il Question Answering basato su evidenze.
• Integrazione Neuro-Simbolica: Il lavoro suggerisce che il futuro risiede in pipeline ibride, dove gli LLM possono estrarre caratteristiche strutturate o tradurre scenari naturali in query SPARQL, combinando la fluidità linguistica neurale con la consistenza logica simbolica.

Il benchmark e il codice sorgente sono disponibili pubblicamente su GitHub per favorire la ricerca riproducibile in questo settore.