💬 NLP

Exploring Structural Complexity in Normative RAG with Graph-based approaches: A case study on the ETSI Standards

Dit artikel onderzoekt de effectiviteit van grafgebaseerde Retrieval-Augmented Generation (RAG) voor normatieve documenten zoals ETSI-standaarden en toont aan dat het integreren van structurele en relationele informatie in de index de ophaalprestaties verbetert ten opzichte van traditionele vectorzoekmethoden.

Oorspronkelijke auteurs: Aiman Al Masoud, Marco Arazzi, Simone Germani, Antonino Nocera

Gepubliceerd 2026-04-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Aiman Al Masoud, Marco Arazzi, Simone Germani, Antonino Nocera

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek binnenloopt, maar dan niet eentje met gewone boeken, maar met duizenden technische handleidingen voor fabrieken en netwerken. Deze handleidingen (zoals de ETSI-standaarden) zijn niet zomaar tekst; ze zijn als een gigantisch, ingewikkeld labyrint. Ze verwijzen constant naar elkaar, hebben een strikte hiërarchie (hoofdstukken, subhoofdstukken) en gebruiken een heel eigen, moeilijk jargon.

Als je een robot (een AI) vraagt: "Wat zegt dit over de veiligheid van een antenne?", dan kan de AI in de problemen komen.

Het Probleem: De "Vanilla" AI

Normaal gesproken gebruiken AI's een methode die we "Vanilla RAG" noemen. Dit is alsof je de hele bibliotheek in één grote, rommelige stapel papier gooit. Als je iets zoekt, kijkt de AI alleen naar welke woorden het meest lijken op jouw vraag.

Het nadeel: Stel je vraagt naar "veiligheid", maar in de handleiding staat "veiligheidsnorm 4.2.1". De AI ziet misschien niet dat deze twee dingen met elkaar verbonden zijn, omdat ze niet exact dezelfde woorden gebruiken. Het is alsof je in een labyrint probeert te navigeren met alleen een kompas dat "noorden" zegt, maar je moet eigenlijk de muren volgen.

De Oplossing: De "Graph" AI (Het Netwerk)

De auteurs van dit paper zeggen: "Wacht even, deze documenten zijn geen losse bladen, ze zijn een netwerk!"

Ze bouwen een Graph RAG (een grafische AI). Denk hierbij niet aan een stapel papier, maar aan een metrobiljet of een spinnenweb:

De Knooppunten (Nodes): Elke sectie van een handleiding is een station op het metro-netwerk.
De Lijnen (Edges): De lijnen tussen de stations zijn de verwijzingen. Als sectie A zegt "zie sectie B", dan is er een treinverbinding tussen die twee.

Hoe werkt hun nieuwe systeem?

De onderzoekers hebben een slimme manier bedacht om dit netwerk te gebruiken, zonder dat het te traag wordt. Ze vergelijken hun aanpak met het verbeteren van een zoektocht in een stad:

De Kaart (Structuur): In plaats van alleen te zoeken op woorden, kijken ze ook naar de structuur. Ze weten dat als je in hoofdstuk 3 zit, je waarschijnlijk ook in de buurt van hoofdstuk 3.1 moet kijken. Ze houden de "familiebanden" tussen de tekststukken in stand.
De Twee Zoekers (Hybride Zoeken): Ze gebruiken twee zoekmachines tegelijk:
- De Woord-Seeker (BM25): Zoekt naar exacte termen (zoals "veiligheidsnorm"). Dit is goed voor de precieze jargon.
- De Betekenis-Seeker (Dense Embedding): Zoekt naar de bedoeling van de vraag.
- Ze laten deze twee samenwerken (zoals twee detectives die elkaars werk controleren) om de beste resultaten te krijgen.
De Uitbreider (Graph Expansion): Als de AI een goed stukje tekst vindt, kijkt ze direct naar de buren. "Als dit antwoord goed is, wat zeggen de buren er dan bij?" Dit helpt om context te vinden die niet direct op je zoekwoord lijkt, maar wel logisch verbonden is.
De Gladde Smeer (Smoothing): Ze "wrijven" de informatie een beetje glad. Als twee stukken tekst met elkaar verbonden zijn, maken ze hun betekenis iets meer op elkaar gelijk. Dit helpt de AI om verbanden te zien die anders misschien te subtiel waren.

Wat ontdekten ze?

Ze hebben dit getest met een speciale set van vragen en antwoorden over de ETSI-standaarden (een reeks Europese normen voor radio-apparatuur).

De uitkomst: Het houden van de structuur (de hiërarchie van hoofdstukken) en het combineren van exacte zoekwoorden met betekenis gaf de beste resultaten.
De verrassing: Het uitgebreide "buren-kijken" (de graph-expansion) werkte niet altijd even goed. Soms leidde het de AI op een dwaalspoor. Maar het simpele feit dat ze de structuur van de documenten respecteerden, zorgde ervoor dat de AI veel preciezer was.

De Conclusie in Eenvoudige Woorden

Voor technische handleidingen en wetten is "gewoon zoeken" niet genoeg. Je moet de architectuur van het document respecteren.

Stel je voor dat je een recept zoekt in een kookboek.

De oude manier: Zoek op het woord "ei". De AI geeft je 50 pagina's waar het woord "ei" staat, maar misschien wel in een hoofdstuk over "ei-vormige rotsen".
De nieuwe manier: De AI weet: "Ah, je zoekt een recept. Je moet kijken in het hoofdstuk 'Ontbijt', en als je daar bent, moet je ook even kijken bij 'Ingrediënten' omdat die daar direct onder staan."

Dit paper bewijst dat als je AI's laat kijken naar hoe een document is opgebouwd (de lijnen in het web), ze veel slimmer en betrouwbaarder worden in het beantwoorden van vragen over complexe technische regels. Het is de stap van "woorden zoeken" naar "verbanden begrijpen".

Titel: Exploring Structural Complexity in Normative RAG with Graph-based approaches: A case study on the ETSI Standards

Auteurs: Aiman Al Masoud, Marco Arazzi, Simone Germani, en Antonino Nocera.
Context: Universiteit van Pavia en Comitato Elettrotecnico Italiano (CEI).

1. Het Probleem

Industriële normen en regelgevende documenten (zoals ETSI-standaarden) vertonen complexe hiërarchische structuren, domeinspecifieke lexicons en uitgebreide onderlinge verwijzingen. Deze kenmerken maken ze ongeschikt voor directe verwerking door standaard "vanilla" Retrieval-Augmented Generation (RAG) systemen op basis van Large Language Models (LLMs).

Beperkingen van Vector-based RAG: Standaard RAG-pijplijnen gebruiken vlakke lijsten van tekst-embeddings (vector databases) en vertrouwen op semantische gelijkenis (bijv. cosine similarity). Dit faalt vaak bij technische documenten omdat:
- Semantische gaten: Dichte embeddings kunnen specifieke jargon en precieze sleutelwoorden negeren ten gunste van vage semantische overeenkomsten.
- Structuurverlies: De hiërarchische relatie tussen secties (ouder-kind, broer-zuster) en de logische afhankelijkheden tussen documenten worden genegeerd.
- Cross-referenties: Normen zijn sterk onderling verbonden; een document A vereist vaak de raadpleging van document B, wat door pure semantische zoekopdrachten wordt gemist.

Er ontbreekt momenteel empirisch bewijs over de optimale indexeringsstrategie voor dergelijke technische documenten, vooral wat betreft de afweging tussen lichtgewicht en zware grafische benaderingen.

2. Methodologie

De auteurs stellen een gespecialiseerde RAG-methodologie voor die de unieke structuur van normen benut door een Grafische RAG (Graph RAG) architectuur te implementeren.

A. Informatiemodel en Grafconstructie

In plaats van documenten als losse tekstblokken te behandelen, modelleren ze de informatie als een graaf $G = (IU, E)$:

Nodes (InfoUnits): De basis eenheden zijn "InfoUnits" ( $u^i_j$ ), die corresponderen met secties of subsecties van een document. Elke node heeft intrinsieke eigenschappen: titel ( $t$ ) en lichaam ( $b$ ).
Edges (Relaties): Er worden twee soorten relaties gedefinieerd:
1. Parthood ( $P$ ): Hiërarchische relaties (document-sectie, sectie-subsectie). Een node heeft maximaal één ouder.
2. Citation ( $C$ ): Verwijzingsrelaties tussen InfoUnits (intern of extern). Dit is een many-to-many relatie.
Constructie: De graf wordt automatisch gegenereerd uit PDF-bestanden door de inhoudsopgave (ToC) te parseren, sectiecodes te analyseren en verwijzingen in de tekst op te lossen tot specifieke nodes.

B. Retrieval Pijplijn

De auteurs hebben een modulaire pijplijn ontwikkeld met zeven kernmodules om de prestaties te optimaliseren:

Parse Sections: Bouwt de graf op basis van de documentstructuur.
Split Chunks: Splitst grote secties in kleinere eenheden (indien nodig) zonder de hiërarchie te verliezen.
Embed InfoUnits: Genereert dichte tekst-embeddings voor elke InfoUnit (gebruikmakend van het IBM Granite model).
Smoothing: Past een techniek toe waarbij de embedding van een node wordt gemixt met de gemiddelde embedding van zijn buren (ouders, kinderen, verwijzingen). Dit maakt de embeddings van verbonden nodes semantisch meer op elkaar gelijk, zonder zware Graph Neural Networks (GNNs) te gebruiken.
BM25 Prefilter: Gebruikt een traditionele, snelle zoekalgoritme (Okapi BM25) voor exacte woordovereenkomsten, cruciaal voor technische jargon.
Dense Re-ranker: Rangschikt de kandidaten op basis van semantische gelijkenis.
Reciprocal Rank Fusion (RRF): Combineert de resultaten van de BM25 en de Dense re-ranker om zowel lexische als semantische relevantie te benutten.
Expander & Graph Re-ranker: Breidt de initiële zoekresultaten uit door buren in de graf op te halen en deze te herschikken op basis van connectiviteit en relevantie.

3. Evaluatie en Experimenten

Dataset: De studie is uitgevoerd op een subset van de ETSI EN 301 489 serie (ongeveer 50 standaarden, ~3000 pagina's).
Benchmark: Er is een aangepast, synthetisch Q&A-dataset gegenereerd (800+ geldige paren) waarbij een LLM vragen genereerde die beantwoord konden worden met specifieke "witness strings" (gouden chunks) uit de documenten.
Metrieken:
- Recall@K (R@K): Percentage van de gouden chunks dat in de top-K resultaten voorkomt.
- Average Precision@K (AP@K): Precisie op de posities waar relevante items worden gevonden.
- Mean Reciprocal Rank (MRR): Hoe hoog de eerste relevante chunk in de resultaten staat.

4. Belangrijkste Resultaten

De experimentele resultaten tonen de volgende inzichten:

Structuurbehoud is cruciaal: Het behouden van de officiële sectiehiërarchie ("Structured" varianten) verbetert significant de precisie en de MRR in vergelijking met vlakke chunking ("Vanilla"). Het heeft echter geen statistisch significant effect op de Recall.
Hybride ranking: Het combineren van dichte (semantische) en spaarse (BM25) rankings via RRF verbetert de precisie en MRR, wat bevestigt dat zowel betekenis als exacte terminologie nodig zijn voor normen.
Smoothing: Het toepassen van smoothing op embeddings verbetert de Recall licht, wat suggereert dat het inbrengen van relationele informatie in de index helpt bij het vinden van meer complete antwoorden.
Beperkingen van Neighbor Expansion: De module die buren uitbreidt en herschikt, bleek op dit moment niet effectief. Dit wijst erop dat er nog meer onderzoek nodig is om een geschikte scoring-functie voor buren te vinden die specifiek is voor dit domein.
Beste compromis: De combinatie van structuurbehoud met het opsplitsen van grote secties ("Structured + Chunks") bleek de beste algehele prestatie te leveren.

5. Bijdragen en Significantie

Empirisch Bewijs: Het paper vult een kennislacune door empirisch bewijs te leveren dat grafische en structurele benaderingen superieur zijn aan standaard vector-based RAG voor technische normen.
Lichtgewicht Benadering: De auteurs tonen aan dat complexe grafische RAG-systemen niet per se zware GNN's vereisen; eenvoudige technieken zoals "smoothing" en hybride ranking kunnen al aanzienlijke verbeteringen opleveren met lage latentie.
Schaalbaarheid: De voorgestelde methode biedt een schaalbaar raamwerk voor geautomatiseerde verwerking van normen en regelgeving, wat essentieel is voor sectoren zoals de elektrotechniek, waar nauwkeurigheid en traceerbaarheid van cruciaal belang zijn.
Toekomstperspectief: De studie legt de basis voor verdere research naar het synthetiseren van informatie uit verre passages binnen of tussen documenten, waarbij hybride oplossingen als veelbelovende richting worden gezien.

Conclusie: Het paper concludeert dat het benutten van de inherente structurele activa (hiërarchie en lexicon) van normen het RAG-systeem in staat stelt voorbij eenvoudige semantische gelijkenis te gaan, waardoor de complexiteit en onderlinge afhankelijkheid van technische corpora beter worden aangepakt.