🤖 machine learning

DisasterLex: An Expert Concept-to-Schema Knowledge Graph for Geospatial Reasoning in Disaster Analytics

DisasterLex is een door een kennisgraaf bemiddeld framework dat de prestaties van natuurlijke taal naar SQL in rampenanalyse verbetert door een Expert Knowledge Graph tussen gebruikersvragen en heterogene geospatiale databases te plaatsen, waardoor de nauwkeurigheid in routing en multi-tabel redeneren aanzienlijk wordt verbeterd in vergelijking met de huidige state-of-the-art baselines.

Oorspronkelijke auteurs: Yiming Xiao, Ankit Basu, Kai Yin, Sahil Vartak, Christian Swords, Ali Mostafavi

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yiming Xiao, Ankit Basu, Kai Yin, Sahil Vartak, Christian Swords, Ali Mostafavi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een rampenmanager bent die levens probeert te redden tijdens een orkaan. Je hebt een enorme bibliotheek aan gegevens—duizenden spreadsheets met informatie over waterdiepte bij overstromingen, de locaties van ziekenhuizen, de status van het elektriciteitsnet en de kwetsbaarheid van de bevolking. Maar deze spreadsheets zijn rommelig, gebruiken verschillende talen en zijn op complexe manieren met elkaar verbonden, wat alleen een expert zou begrijpen.

Je wilt een simpele vraag stellen zoals: "Welke ziekenhuizen in Harris County lopen risico op overstromingen, en waar moeten we reddingsteams naartoe sturen?"

In het verleden was het stellen van een vraag als deze aan een computer alsof je probeerde een specifieke naald in een hooiberg te vinden door de hele hooiberg tegen een robot aan te gooien en te hopen dat hij het goed raadt. De robot zou in de war raken door de enorme hoeveelheid gegevens, ongerelateerde tabellen door elkaar halen of hallucinaties creëren (dingen verzinnen) waarbij verbindingen worden gelegd die niet bestaan.

DisasterLex is een nieuw systeem dat dit probleem oplost. Zie het als een superintelligente, deskundige bibliothecaris die tussen jou (de mens) en de rommelige datalibrarie zit.

Zo werkt het, opgedeeld in eenvoudige stappen:

1. De "Expert Kaart" (De Knowledge Graph)

Voordat het systeem überhaupt naar de gegevens kijkt, heeft het team een speciale "Expert Kaart" gebouwd.

Het Probleem: Computers begrijpen van nature niet dat "zware regenval" leidt tot "overstromingen", wat leidt tot "stroomuitval", wat vervolgens ervoor zorgt dat "ziekenhuizen" niet meer functioneren.
De Oplossing: Het team heeft een digitale kaart gemaakt (een Expert Knowledge Graph) die deze concepten verbindt als een stroomdiagram. Het is als een metrokaart waarbij de haltes concepten zijn (bijv. "Regen", "Overstroming", "Stroomuitval") en de lijnen laten zien hoe ze elkaar beïnvloeden.
De Brug: Deze kaart is ook verbonden met de werkelijke datatabellen. Het weet dat het concept "Ziekenhuizen" in de kaart wijst naar een specifieke kolom in een spreadsheet over het aantal ziekenhuizen.

2. De Vierstaps-"Orkestratie"

Wanneer je een vraag stelt, gooit DisasterLex de vraag niet zomaar naar de computer. Het laat de vraag door een vierstaps assemblageband lopen, als een dirigent die een orkest leidt:

Stap 1: De Vertaler (Context Extractie): Het luistert naar je vraag en begrijpt de "vibe". Is dit een routinematige controle of een levensbedreigende noodsituatie? Het identificeert ook de locatie en het type ramp (bijv. "Overstroming in Harris County").
Stap 2: De Verkeersregelaar (Routing): Op basis van de "vibe" stuurt het de vraag naar de juiste "afdeling". Gaat dit over het redden van levens? Het repareren van infrastructuur? Of alleen het beoordelen van de schade? Dit voorkomt dat het systeem tijd verspilt aan het bekijken van de verkeerde gegevens.
Stap 3: De Planner (Causale Redenering): Dit is de magische stap. Het systeem kijkt naar zijn "Expert Kaart" om een route te plannen. Het vraagt zich af: "Om dit te beantwoorden, moet ik het pad volgen van 'Regen' naar 'Overstroming' naar 'Ziekenhuizen'." Het gebruikt deze kaart om precies te beslissen welke spreadsheets geopend moeten worden, waarbij de andere 130 irrelevante spreadsheets worden genegeerd.
Stap 4: De Uitvoerder (SQL Generatie): Ten slotte schrijft het de specifieke computercode (SQL) om de gegevens uit de geselecteerde spreadsheets te halen, voert de query uit en synthetiseert het antwoord tot een duidelijk rapport.

3. Waarom het beter is dan de concurrentie

De onderzoekers hebben DisasterLex getest tegen andere topniveau AI-systemen.

De Oude Manier: Andere systemen probeerden de volledige bibliotheek van 150 kolommen met gegevens te lezen voor elke enkele vraag. Dit maakte hen in de war, wat leidde tot "hallucinaties" waarbij ze ongerelateerde zaken aan elkaar koppelden (zoals het koppelen van overstromingsgegevens aan bevolkingsgegevens, simpelweg omdat ze dezelfde stads-ID deelden).
De Manier van DisasterLex: Door de "Expert Kaart" te gebruiken, beperkte het de zoektocht tot slechts 10–20 relevante kolommen. Het was alsof je de robot een specifieke lijst met boeken gaf om te controleren in plaats van de hele bibliotheek.

De Resultaten:
DisasterLex versloeg de andere systemen met een grote marge (1,4 tot 2,75 keer beter). De belangrijkste reden dat de anderen faalden, was dat ze de weg kwijtraakten in de "routing" (het kiezen van de verkeerde afdeling) en "multi-table composition" (het onjuist samenvoegen van te veel spreadsheets). Het stapsgewijze plan van DisasterLex voorkwam deze fouten.

4. De Kernboodschap

DisasterLex is geen magische kristallen bol die de toekomst voorspelt. Het is een precisie-instrument dat menselijke experts helpt om de juiste gegevens sneller te verkrijgen.

Het vervangt de menselijke besluitvormer niet; het fungeert als een snelle assistent die ervoor zorgt dat de mens naar de juiste feiten kijkt.
Het is specifiek ontworpen voor gestructureerde gegevens (tabellen en spreadsheets), niet alleen voor het lezen van nieuwsartikelen.
Het is momenteel getest op rampengegevens in Texas, maar de "Expert Kaart"-aanpak zou theoretisch gebruikt kunnen worden voor andere complexe velden waar oorzaak en gevolg belangrijk zijn, zoals medische triage of supply chains.

Kortom, DisasterLex verandert een chaotische brij van gegevens in een helder, actiegericht verhaal door de AI een "spiekbriefje" van deskundige kennis te geven voordat het zelfs maar begint te werken.

Technische Samenvatting: DisasterLex

Probleemstelling

Disastermanagement is afhankelijk van snelle toegang tot gestructureerde, informatie-intensieve geospatiale gegevens (gevaar, blootstelling, kwetsbaarheid en infrastructuur) om tijdskritische responsen te coördineren. Hoewel natuurlijke taalinterfaces (Text-to-SQL) geavanceerd zijn, schieten ze tekort in het rampendomein om drie primaire redenen:

Schema Heterogeniteit: Rampendatabases beslaan tientallen tabellen met gespecialiseerde semantiek, sentinel-waarden voor ontbrekende gegevens en geïnverteerde scoreconventies (bijv. een hogere score die in de ene dataset wijst op hogere kwetsbaarheid, maar in een andere op veerkracht).
Gaten in Causaal Redeneren: Domeinexperts redeneren over causale ketens (bijv. lage veerkracht $\rightarrow$ verminderde responscapaciteit; waterdiepte $\rightarrow$ structurele schade). Standaard Text-to-SQL-modellen missen deze externe causale coderingen, wat leidt tot gehallucineerde joins tussen semantisch ongerelateerde tabellen die slechts een geografische sleutel delen.
Retrieval Mismatch: Standaard Retrieval-Augmented Generation (RAG) haalt tekstfragmenten op, terwijl rampenanalyse vereist dat er uitvoerbare SQL wordt gegenereerd over gestructureerde tabellen. Bestaande graaf-geaugmenteerde RAG-methoden verbeteren weliswaar de passage-retrieval, maar lossen het probleem van schema-selectie niet op die vereist is voor gestructureerde query-beantwoording.

Methodologie: DisasterLex Framework

DisasterLex is een kennisgraaf-gemedieerd agentisch framework dat is ontworpen om de brug te slaan tussen natuurlijke taalvragen en gestructureerde geospatiale databases. Het bestaat uit drie geïntegreerde componenten:

1. Unified Knowledge Graph

Het systeem host een unificerende graaf in Neo4j die twee subgrafen combineert:

Disaster Data Catalog Graph (DDCG): Automatisch geïntrospecteerd vanuit de relationele database (DuckDB). Het representeert tabellen als DataTable-nodes, kolommen als DataColumn-nodes en geldige join-patronen als JoinRule-nodes.
Expert Knowledge Graph (EKG): Een gecureerde, gerichte graaf van 107 domeenconcepten verbonden door 117 getypeerde causale randen (typen: INCREASES, REDUCES, INDICATES, REQUIRES, SCALES). Elk concept bevat synoniemenlijsten voor fuzzy matching.
Concept-to-Schema Bridge: 52 expliciete randen koppelen EKG-conceptnodes aan specifieke DataTable-nodes in de DDCG. Dit stelt het systeem in staat om te navigeren van een natuurlijk taalconcept van een gebruiker (bijv. "flood occurrence") naar de specifieke databasetabellen (bijv. HP_FLD_002) die nodig zijn voor uitvoering.

2. Concept-Aware Schema Retrieval

In plaats van het volledige schema van 150 kolommen in de prompt te injecteren, voert DisasterLex een driestaps-retrieval uit:

Concept Matching: Gebruikt token-boundary reguliere expressies om querytermen te matchen met EKG-conceptsynoniemen.
Graph Traversal: Voert een 1-hop Cypher-traversal uit van geactiveerde concepten naar verbonden DataTable-nodes, waarbij relevante kolommen, join-regels en datakwaliteitswaarschuwingen worden opgehaald.
Context Injection: Vervangt het volledige schema door een compact blok van 10–20 relevante kolommen, wat de aandachtsdilutie aanzienlijk vermindert.

3. Vierfasige Orchestratie Pipeline

Geïmplementeerd als een gerichte graaf in LangGraph, dwingt de pipeline een operationele structuur af die afgeleid is van het Incident Command System (ICS):

Context & Criticality Extraction: Analyseert de query op interessegebied, type gevaar en een kritiekheidsniveau (1–5). Het voert regelgebaseerde controles op beschikbaarheid van data uit om ontbrekende of geblokkeerde tabellen aan het licht te brengen.
Operational Domain Classification: Routeert de query naar een van de drie door ICS gemotiveerde clusters: Life-Safety Operations, Damage Assessment & Response, of Infrastructure Mitigation. Elk cluster gebruikt een gespecialiseerd prompttemplate.
Causal-Informed Planning: Een ReAct-agent haalt causale randen op uit de EKG en voert webzoekopdrachten uit (indien nodig) om een gestructureerd analyseplan te construeren, waarbij de query wordt gedecomposeerd in subtaken en noodzakelijke metrieken worden geïdentificeerd.
Tool-Augmented Execution: Een tweede ReAct-agent voert het plan uit met behulp van twee tools:
- Text-to-SQL Tool: Genereert SQL op basis van het concept-bewuste schema, inclus met syntaxisvalidatie en retry-logica.
- Knowledge Graph Tool: Navigeert door causale regels om bewijsvoering te synthetiseren.
  De agent synthetiseert een incidentrapport met bevindingen, aanbevelingen (gefilterd door kritiekheidsniveau) en bewijslast.

Belangrijkste Bijdragen

Concept-Level Schema Linking: De introductie van een Expert Knowledge Graph (EKG) als een schema-selectielaag. Door 107 concepten en 117 causale randen tussen queries en een schema van 36 tabellen te plaatsen, reduceert het systeem de promptcontext van 150 kolommen naar ~10–20, wat het falen van de schema-selectie bij eerdere Text-to-SQL en RAG-benaderingen aanpakt.
ICS-Gemotiveerde Orchestratie: Een vierfasige pipeline die rampenanalyse-queries decomponeert in kritiekheidsextractie, cluster-routing, causale planning en gegronde uitvoering. Ablatiestudies tonen aan dat het verwijderen van routing of planning de prestaties aanzienlijk verslechtert, met name voor multi-table compositie.
Viergetrapt Diagnostisch Benchmark: Een testset van 75 gevallen, georganiseerd in vier niveaus om specifieke foutmodi te isoleren:
- Tier R (Routing): Correcte cluster- en query-type selectie.
- Tier K (EKG Grounding): Aanwezigheid van verwachte causale tokens in het antwoord.
- Tier M (Multi-Table): Correcte SQL-joins over 2–4 tabellen.
- Tier D (Disclosure): Transparante rapportage van ontbrekende of geblokkeerde data.
Cross-Model Bewijs: Evaluatie over zeven basismodellen (variërend van 8B tot 70B parameters, inclusief closed-source en open-weight families) en vier state-of-the-art baselines (LightRAG, HippoRAG 2, ReFoRCE, CHESS).

Resultaten

Geëvalueerd op een testset van 75 queries over een Texas-brede rampenanalyse-database (36 tabellen, 150 kolommen):

Prestaties: DisasterLex behaalde algemene scores tussen 1.65 en 3.56 (op een schaal van 5.0) over de zeven basismodellen.
Vergelijking: Het presteerde 1.4× tot 2.75× beter dan vier state-of-the-art baselines op elk basismodel. Alle externe baselines scoorden onder de 2.0 in totaal, terwijl DisasterLex boven de 2.5 uitkwam op vijf van de zeven modellen.
Foutanalyse: Falen van baselines klonterde rondom routing (Tier R) en multi-table SQL-compositie (Tier M). DisasterLex adresseert dit expliciet via zijn routinglaag en concept-bewuste schema-retrieval.
Ablatie-inzichten:
- Routing was universeel cruciaal; het verwijderen ervan veroorzaakte de grootste dalingen in Tier M-scores (0.81–2.67 punten) over alle modellen.
- Planning en EKG effecten varieerden per modelcapaciteit. Zo zorgde het verwijderen van planning voor een daling van 3.19 in Tier K op Qwen 3.6, maar slechts 0.20–0.48 op andere modellen, wat suggereert dat de waarde van expliciete orchestratie wordt gemoduleerd door de intrinsieke redeneerfaciliteiten van het basismodel.

Betekenis en Claims

Het artikel claimt dat voor rampenanalyse de concept-naar-schema laag plus de orchestratie belangrijker zijn dan de keuze van de retrieval-substraat of de Text-to-SQL agent. De resultaten suggeren dat algemene retrieval en Text-to-SQL pipelines onvoldoende zijn voor domeinen die causale redenering vereisen over heterogene, gestructureerde geospatiale data.

DisasterLex demonstreert dat een door experts gecureerde causale conceptengraaf, die fungeert als een domeinspecifieke schema-selectielaag, effectief kan bemiddelen tussen natuurlijke taal en complexe relationele databases. De auteurs stellen dat dit patroon overdraagbaar is naar andere domeinen waar expert-causale kennis samenvalt met tijdgevoelige gestructureerde data, zoals medische triage of verstoringen in de toeleveringsketen.

Het werk wordt gepresenteerd als een besluitvormingsinstrument, waarbij expliciet wordt opgemerkt dat de outputs geen gezaghebbende instructies voor de incident command zijn en menselijke controle vereisen, vooral voor aanbevelingen met een hoog kritiekheidsniveau. Het systeem is ontworend om onzekerheid te tonen (via data-beschikbaarheidsvermeldingen) in plaats van de deskundige oordeelsvorming te vervangen.