💬 NLP

KEO: Knowledge Extraction on OMIn via Knowledge Graphs and RAG for Safety-Critical Aviation Maintenance

Dit artikel introduceert KEO, een framework dat Large Language Models combineert met een kennisgrafiek en Retrieval-Augmented Generation om veiliger en effectiever redeneren en onderhoudstaken in de luchtvaart te ondersteunen door inzicht te krijgen in systeempatronen en gedetailleerde procedures.

Oorspronkelijke auteurs: Kuangshi Ai, Jonathan A. Karr Jr, Meng Jiang, Nitesh V. Chawla, Chaoli Wang

Gepubliceerd 2026-04-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kuangshi Ai, Jonathan A. Karr Jr, Meng Jiang, Nitesh V. Chawla, Chaoli Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een vliegtuig moet repareren. In de luchtvaart is elke fout dodelijk. Er is geen ruimte voor "misschien" of "ik denk dat". Je hebt de perfecte instructies nodig, gebaseerd op duizenden eerdere ervaringen.

Dit artikel introduceert KEO, een slimme nieuwe manier om computers te helpen bij het vinden van die perfecte instructies in een enorme berg aan oude onderhoudsrapporten.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De Verwarde Bibliotheek

Stel je een gigantische bibliotheek voor met 2.700 oude krantenknipsels over vliegtuigpech. Als je vraagt: "Waarom vallen motoren vaak uit in de winter?", zoekt een gewone computer (de huidige standaard) gewoon naar woorden die lijken op "winter" en "motor".

Het probleem? De computer plakt stukken tekst bij elkaar die los van elkaar staan. Het is alsof iemand je antwoordt met: "Op pagina 4 staat dat het koud was. Op pagina 100 staat dat de motor stopte." Maar de computer vertelt je niet hoe die twee dingen met elkaar te maken hebben. Het ontbreekt aan de "grote lijn".

2. De Oplossing: De Slimme Sieradenkast (KEO)

De auteurs van dit paper hebben een systeem bedacht dat we KEO noemen. In plaats van alleen naar losse tekststukjes te kijken, bouwen ze eerst een Kennisnetwerk (een soort digitaal spinnenweb).

De Analogie: Stel je voor dat je in plaats van losse krantenknipsels, een enorme, georganiseerde sieradenkast hebt.
- In deze kast hangen alle onderdelen (motoren, tanks, vleugels) aan elkaar met draden.
- Als er een draad van "Vrieskou" naar "Tank" loopt, en van "Tank" naar "Motorstoring", ziet de computer direct het hele plaatje: "Ah! Vrieskou bevroor de tank, waardoor de motor stopte!"

Dit netwerk noemen ze een Knowledge Graph. Het is een kaart van alle verbanden in de gegevens.

3. Hoe werkt het in de praktijk?

Het systeem werkt in drie stappen:

Het Netwerk Bouwen: De computer leest eerst alle oude rapporten en trekt de verbanden eruit. Welk onderdeel heeft wat veroorzaakt? Welk type vliegtuig had last van welk probleem? Dit wordt vastgelegd in dat spinnenweb.
De Vraag Beantwoorden: Als een technicus nu een vraag stelt, zoekt de computer niet alleen naar woorden, maar volgt hij de draden in het web.
- Voor complexe vragen (bijv. "Wat zijn de algemene trends in motorpech?"): Het systeem kijkt naar het hele web, ziet patronen die een mens misschien over het hoofd ziet, en geeft een samenhangend antwoord.
- Voor simpele vragen (bijv. "Hoe vervang ik een brandpomp?"): Soms is het sneller om gewoon het specifieke instructieboekje (de losse tekst) te pakken. Het systeem weet dit onderscheid te maken.
De Controleur: Omdat vliegtuigen veilig moeten blijven, laten ze een "slimmere" computer (een soort strenge leraar) de antwoorden controleren om te zien of ze logisch en veilig zijn.

4. Wat is het resultaat?

De onderzoekers hebben getest of dit werkt. Ze ontdekten twee belangrijke dingen:

Voor het grote plaatje: Het nieuwe systeem (KEO) is veel beter dan de oude methode. Het kan complexe patronen zien, zoals: "In de winter gebeuren er meer storingen aan de brandstoftank bij dit specifieke vliegtuigtype." Dit helpt bij het voorkomen van problemen voordat ze ontstaan.
Voor simpele stappen: Voor heel specifieke, stap-voor-stap instructies werkt de oude methode (gewoon tekst zoeken) soms nog steeds prima.

Waarom is dit belangrijk?

In de luchtvaart (en ook in ziekenhuizen of kerncentrales) mag je geen fouten maken. Computers die "hallucineren" (dingen verzinnen) zijn gevaarlijk.

KEO is veilig omdat:

Het lokaal draait (niet op een wolk van een ander bedrijf), zodat geheimen veilig blijven.
Het gebaseerd is op feiten uit het netwerk, niet op het "gokken" van de computer.
Het uitlegbaar is: je kunt zien welke draden in het web de computer heeft gevolgd om tot een antwoord te komen.

Kortom: KEO is als het geven van een slimme, georganiseerde kaart aan een vliegtuigtechnicus, in plaats van hem een stapel losse, verwarde krantenknipsels te geven. Het helpt hem niet alleen om reparaties te doen, maar ook om te begrijpen waarom dingen kapot gaan, zodat ze het in de toekomst kunnen voorkomen.

Probleemstelling

Grote Taalmodellen (LLMs) tonen veel potentie, maar kampen met ernstige beperkingen in veiligheidskritieke domeinen zoals luchtvaartonderhoud. De belangrijkste uitdagingen zijn:

Foutgevoeligheid: LLMs vertrouwen op parametrische kennis (trainingsdata), wat kan leiden tot feitelijke onnauwkeurigheden, verouderde informatie en hallucinaties.
Beperkingen van traditionele RAG: De gangbare aanpak, Retrieval-Augmented Generation (RAG), gebruikt vaak embedding-gebaseerde zoekopdrachten in ongestructureerde tekstbrokjes (chunks). Dit resulteert in fragmentarische en redundante context, wat de prestaties ondermijnt bij taken die complexe, multi-hop redenering of "globale zintuiglijke verwerking" (global sensemaking) vereisen.
Veiligheid en Privacy: In gevoelige sectoren (militair, luchtvaart) is het vaak niet toegestaan om externe API's te gebruiken, wat de inzet van krachtige cloud-LLMs beperkt. Er is behoefte aan lokaal inzetbare systemen die toch betrouwbaar zijn.

Methodologie: Het KEO-framework

De auteurs introduceren KEO (Knowledge Extraction on OMIn), een raamwerk dat gestructureerde kennisrepresentatie (Knowledge Graphs) integreert met RAG om de kennisextractie en redenering in het luchtvaartdomein te verbeteren. Het framework bestaat uit vier kerncomponenten:

Constructie van de Knowledge Graph (KG):
- Het systeem verwerkt ruwe onderhoudsrecords (uit het OMIn-dataset, bestaande uit FAA-incidentrapporten) om een KG te bouwen.
- In plaats van menselijke annotatie (waarvoor geen gouden standaard bestond voor relationele extractie in dit dataset), gebruiken ze LLMs (zoals GPT-4o of lokaal inzetbare Phi-4-mini) in een zero-shot setting om entiteiten en relaties te extraheren.
- De KG wordt weergegeven als een set gewogen triplets: $G = \{(h, t, r, w)\}$ , waarbij $w$ de frequentie van de relatie in de corpus is.
KG-gebaseerde RAG-pijplijn:
- Semantische knoppidentificatie: In plaats van tekstbrokjes te zoeken, zoekt KEO naar de top- $k$ meest semantisch relevante entiteiten (knooppunten) in de KG.
- Belang-bewuste graf-expansie: Vanuit deze "seed nodes" wordt de graf uitgebreid via multi-hop connecties. De auteurs gebruiken een Maximum Spanning Tree (MST) algoritme (Kruskal) om de meest structuurrijke en informatieve paden te selecteren, waarbij gewichten van randen (frequentie) worden gebruikt om belangrijkheid te bepalen.
- Context reconstructie: De geselecteerde subgrafen worden omgezet in tekstuele beschrijvingen. Daarnaast wordt een hiërarchische gemeenschaps-samenvatting (geïnspireerd op GraphRAG) toegevoegd om globale inzichten te bieden.
Automatische Benchmark Creatie:
- Er is een nieuwe QA-benchmark ontwikkeld met twee soorten vragen:
  - Global Sensemaking: Vragen die vereisen dat het model patronen over het hele dataset synthetiseert (bijv. seizoensgebonden trends, systeemfouten).
  - Knowledge-to-Action: Vragen die testen of kennis uit de structuur kan worden overgebracht naar nieuwe, specifieke onderhoudsproblemen (gebaseerd op MaintNet-data, maar zonder directe toegang tot die data tijdens retrieval).
Evaluatie:
- Het systeem wordt getest met lokaal inzetbare LLMs (Gemma-3, Phi-4, Mistral-Nemo) voor het genereren van antwoorden.
- Sterkere modellen (GPT-4o, Llama-3.3) fungeren als "judges" voor de evaluatie.

Belangrijkste Bijdragen

Framework KEO: Een nieuw raamwerk dat KG's integreert in RAG specifiek voor veiligheidskritieke, lokaal inzetbare toepassingen.
Nieuwe Benchmark: Een QA-benchmark voor luchtvaartonderhoud die focust op zowel globale redenering als kennis-overdracht, gebaseerd op het OMIn-dataset.
Gestructureerde Redenering: Bewijs dat het gebruik van een KG (in plaats van tekst-chunks) de coherentie en het vermogen tot systeemniveau-inzicht aanzienlijk verbetert.
Locale Deployability: Een bewezen werkwijze voor het bouwen van veilige, API-vrije AI-systemen voor kritieke infrastructuur.

Resultaten

De experimenten tonen een duidelijk onderscheid in prestaties afhankelijk van het type taak:

Global Sensemaking (Globale Zintuiglijke Verwerking):
- KEO overtreft zowel "Vanilla LLM" (zonder context) als traditionele "Text-chunk RAG" significant.
- Het onthult complexe patronen en systeeminzichten die met tekst-chunks niet haalbaar waren.
- De prestaties zijn het hoogst wanneer KEO wordt gecombineerd met sterkere LLMs (zoals Gemma-3), wat suggereert dat deze modellen beter kunnen profiteren van de gestructureerde context.
- De optimale prestatie werd bereikt met een KG gebouwd op basis van ongeveer 200-300 records.
Knowledge-to-Action (Procedurale Taken):
- Voor specifieke, procedurale vragen (bijv. "Wat moet je doen bij X?") presteert traditionele Text-chunk RAG beter dan KEO.
- De reden is dat deze taken vaak directe, lokale informatie vereisen. De abstractie van een KG kan hier juist leiden tot verlies van specifieke details die nodig zijn voor de juiste actie.
- Er waren geen statistisch significante verschillen in ROUGE-scores, wat wijst op de beperking van gestructureerde abstractie voor zeer specifieke, entity-sparse antwoorden.

Betekenis en Conclusie

Het paper onderstreept dat er geen "one-size-fits-all" oplossing is voor RAG in veiligheidskritieke domeinen:

Complementariteit: Gestructureerde kennis (KG) is cruciaal voor complexe, multi-hop redenering en het ontdekken van systemische patronen, terwijl ongestructureerde tekst-chunks effectiever blijven voor lokale, procedurale zoekopdrachten.
Veilige AI: Het bewijst dat het mogelijk is om robuuste, domain-specifieke QA-systemen te bouwen die volledig lokaal draaien, zonder afhankelijkheid van externe cloud-API's, wat essentieel is voor militaire en luchtvaarttoepassingen.
Toekomstperspectief: Hoewel KEO succesvol is in luchtvaartonderhoud, is het raamwerk overdraagbaar naar andere veiligheidskritieke sectoren zoals gezondheidszorg en energiesystemen, mits de nodige aandacht voor menselijke validatie en ethische beveiliging.

Kortom, KEO biedt een veelbelovende route naar betrouwbare, transparante en veilige AI-ondersteuning in hoog-risico omgevingen door het slim combineren van kennisgrafieken en generatieve AI.