Exploring Structural Complexity in Normative RAG with Graph-based approaches: A case study on the ETSI Standards

1. Il Problema

I documenti normativi e gli standard industriali (come le serie ETSI EN 301 489) presentano caratteristiche intrinseche che li rendono difficili da elaborare per i modelli di Intelligenza Artificiale Generativa (LLM) e per i sistemi di Retrieval-Augmented Generation (RAG) standard ("vanilla"):

• Struttura Gerarchica Complessa: I documenti sono organizzati in sezioni e sottosezioni con relazioni genitore-figlio e fratelli ben definite.
• Dipendenze Incrociate: Esistono numerose citazioni incrociate (cross-references) tra diverse parti dello stesso documento o tra documenti diversi.
• Lessico Specifico: L'uso di un gergo tecnico preciso e vocaboli formali crea "buchi semantici" quando si utilizzano embedding vettoriali densi, che tendono a privilegiare la similarità semantica vaga rispetto alla corrispondenza esatta di termini tecnici.
• Limiti del RAG Tradizionale: L'approccio RAG standard, basato su chunking piatto e ricerca vettoriale (cosine similarity), fallisce nel catturare le relazioni strutturali e le dipendenze logiche necessarie per rispondere correttamente a query complesse su normative.

2. Metodologia

Gli autori propongono una metodologia RAG specializzata basata su grafi, applicata agli standard ETSI EN 301 489. L'approccio si articola in tre fasi principali:

A. Modello di Informazione e Costruzione del Grafo

• Unità di Informazione (InfoUnits): Il documento viene scomposto in nodi omogenei chiamati "InfoUnits" ($u^i_j$), ciascuno contenente un titolo ($t$) e un corpo ($b$).
• Relazioni: Il grafo $G = (IU, E)$ è definito da due tipi di archi:
  1. Relazioni di Parte ($P$): Rappresentano la gerarchia (es. sezione-sottosezione). Un nodo ha al massimo un genitore.
  2. Relazioni di Citazione ($C$): Rappresentano i riferimenti tra InfoUnits (interni o esterni).
• Estrazione: Viene utilizzata una pipeline per parsare la tabella dei contenuti (ToC) per ricostruire la gerarchia e analizzare il testo per risolvere i riferimenti incrociati tramite euristiche (es. corrispondenza di ID di sezione o nome documento).

B. Pipeline di Recupero (Retrieval Pipeline)

Il sistema integra sette moduli per ottimizzare il recupero:

1. Parse Sections & Split Chunks: Costruzione del grafo e suddivisione dei chunk (rispettando o meno la struttura ufficiale).
2. Embedding: Utilizzo di un modello di embedding leggero (IBM Granite) per rappresentare semanticamente le unità.
3. Smoothing (Lisciatura): Tecnica innovativa che aggiorna l'embedding di un nodo calcolando la media ponderata con i suoi vicini nel grafo (genitori, figli, fratelli, citazioni). Questo integra informazioni relazionali direttamente nel vettore senza l'uso costoso di GNN (Graph Neural Networks).
4. BM25 Prefilter: Un filtro iniziale basato su TF-IDF (Okapi BM25) per garantire alta precisione lessicale e bassa latenza, cruciale per la terminologia tecnica specifica.
5. Dense Re-ranker: Rianalizza i candidati filtrati basandosi sulla similarità semantica.
6. Reciprocal Rank Fusion (RRF): Combina i punteggi del filtro BM25 e del re-ranker denso per un ranking finale robusto.
7. Expander & Graph Re-ranker: Espande i risultati recuperati ("semi") includendo i loro vicini nel grafo, applicando un punteggio che bilancia la similarità alla query e la centralità del nodo (penalizzando i "hub" troppo generici).

3. Contributi Chiave

• Proposta di un'Architettura Ibrida: Integrazione di metodi sparsi (BM25) e densi (Embedding) all'interno di un framework basato su grafi, specifico per documenti normativi.
• Tecnica di Smoothing Leggera: Introduzione di un metodo computazionalmente economico per propagare il contesto relazionale agli embedding, migliorando la coerenza semantica tra nodi connessi.
• Dataset di Valutazione Sintetico: Creazione di un benchmark Q&A personalizzato (800+ coppie) derivato dagli standard ETSI, con "stringhe testimone" (golden chunks) per una valutazione rigorosa.
• Analisi Comparativa: Confronto sistematico tra strategie "Vanilla" (chunking piatto) e strategie "Strutturate" (che preservano la gerarchia e le relazioni).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su oltre 800 domande/risposte con diverse configurazioni del retriever. I risultati principali sono:

• Precisione e MRR: La preservazione della struttura gerarchica e l'uso combinato di BM25 e re-ranker denso hanno migliorato significativamente la Precisione e il Mean Reciprocal Rank (MRR), indicando che le risposte pertinenti appaiono più in alto nella lista dei risultati.
• Recall: La preservazione della struttura non ha mostrato un impatto statisticamente significativo sul Recall (la capacità di trovare tutti i documenti pertinenti).
• Smoothing: La tecnica di smoothing ha mostrato un lieve miglioramento del recall rispetto all'uso della sola struttura, suggerendo che l'integrazione di informazioni relazionali nei vettori aiuta a recuperare informazioni più complete.
• Espansione dei Vicini: L'espansione dei vicini e il re-ranking basato sul grafo non si sono rivelati efficaci nella configurazione attuale, indicando la necessità di sviluppare funzioni di scoring più sofisticate per questo dominio.
• Compromesso Ottimale: La strategia migliore sembra essere quella che combina la preservazione della struttura ufficiale con il chunking (suddivisione in sottosezioni se troppo lunghe), offrendo il miglior compromesso tra precisione e completezza.

5. Significato e Conclusioni

Il paper dimostra che per i documenti normativi, l'approccio RAG "vanilla" è insufficiente a causa della natura altamente strutturata e referenziata di tali testi.

• Impatto Pratico: L'integrazione di informazioni strutturali e relazionali nel processo di indicizzazione e recupero permette di superare i limiti della semplice similarità semantica, rendendo i sistemi RAG più affidabili per l'elaborazione automatizzata di standard e regolamenti.
• Scalabilità: L'approccio proposto è leggero e a bassa latenza, rendendolo adatto a scenari industriali reali dove l'efficienza computazionale è critica.
• Direzioni Future: Gli autori sottolineano la necessità di investigare ulteriormente la capacità di sintetizzare informazioni da passaggi distanti all'interno dello stesso documento o tra documenti diversi, suggerendo che soluzioni ibride avanzate potrebbero essere la direzione prioritaria per l'analisi normativa completa.

In sintesi, lo studio valida l'efficacia dei Graph RAG nel dominio normativo, fornendo evidenze empiriche che la struttura gerarchica e le relazioni di citazione sono asset fondamentali da sfruttare per migliorare la precisione dei sistemi di recupero informazioni.