An Explainable Artificial Intelligence Framework for Decision-Making in Critical Information Technology Systems

Stel je voor dat je een high-stakes videogame speelt waarbij een superintelligente computer je helpt om digitale monsters te bestrijden. Deze computer is zo goed in het voorspellen waar de monsters zullen toeslaan dat het de MVP van het team is geworden. Maar hier is de crux: de computer is een "black box". Het maakt zijn zetten, maar het vertelt je niet waarom het denkt dat een bepaalde schaduw een monster is en geen optische illusie. In de echte wereld draaien deze "black box"-computers de show op kritieke plekken zoals internetbeveiliging, besluitvorming in ziekenhuizen en cloudnetwerken. Als de computer een fout maakt, kan het een heel netwerk laten crashen of een echte cyberaanval missen.

Dit is waar Explainable AI (XAI) om de hoek komt kijken. Zie XAI als een vertaler of een detective die naast de computer staat en zegt: "Hé, ik weet dat je een genie bent, maar kun je je redenering aan de mensen uitleggen?" Het paper dat we bekijken, pakt een groot probleem aan: hoewel we geweldige tools hebben om deze computers te laten praten, spreken ze vaak in verwarrende jargon of geven ze antwoorden die veranderen elke keer als je het vraagt. De auteur wil een beter systeem bouien waarbij de uitleg van de computer helder, betrouwbaar en daadwerkelijk nuttig is voor de menselijke operator om de juiste beslissing te nemen, in plaats van hen alleen maar te verwarren of te laten blind vertrouwen op de machine.

---

De Missie van het Paper: Een Vertrouwbaar Team Bouwen

De auteur van dit paper, Sai Doondi Kothapalli, heeft naar 32 verschillende onderzoeksartikelen gekeken, gepubliceerd tussen 2019 en 2025 (plus wat ouder fundamenteel werk), om uit te zoeken hoe we deze kritieke AI-systemen transparanter kunnen maken. Ze keken niet alleen naar de wiskunde; ze keken ook naar hoe beveiligingsexperts, artsen en IT-operators deze uitleg in de echte wereld daadwerkelijk gebruiken.

Hier is wat zij vonden, onderverdeeld in eenvoudige verhalen:

1. De "Magic 8-Ball" versus de "Eerlijke Detective"

Het paper stelt vast dat de meeste mensen momenteel twee specifieke tools gebruiken om uitleg te krijgen van deze black boxes: SHAP en LIME.

• LIME is als een snelle, energieke detective die rond de scène rent en overal tegenaan duwt om te zien wat er gebeurt. Het is snel en goed voor een snelle controle, maar soms is het een beetje wankel. Als je twee keer dezelfde vraag stelt, kan het je twee licht verschillende antwoorden geven. In een high-stakes beveiligingssituatie is die inconsistentie riskant.
• SHAP is als een nauwgezette, langzaam bewegende detective die een complexe wiskundige regelbundel gebruikt (gebaseerd op speltheorie) om precies te achterhalen hoeveel elk bewijsstuk heeft bijgedragen aan het uiteindelijke oordeel. Het is veel consistenter en betrouwbaarder, maar het kost veel meer tijd om te berekenen. Als je een enorme hoeveelheid data hebt, kan SHAP vastlopen, zoals een detective die probeert een miljoen boeken te lezen voordat hij een antwoord geeft.

Het paper suggereert dat, hoewel SHAP momenteel de favoriet is omdat het betrouwbaarder is, we niet op slechts één tool kunnen vertrouwen. We moeten de juiste "detective" voor de klus kiezen. Als je een beslissing in een fractie van een seconde nodig hebt tijdens een cyberaanval, is een trage, perfecte uitleg misschien nutteloos.

2. De "Te mooi om waar te zijn"-valstrik

Een van de meest interessante bevindingen is dat het hebben van een uitleg mensen niet altijd slimmer maakt. Sterker nog, het paper wijst erop dat uitleg mensen soms juist te veel vertrouwen kan geven.
Stel je een beveiligingsbeambte voor die ziet dat een computer zegt: "Dit is een hacker!" en de computer voegt eraan toe: "Ik ben voor 99% zeker vanwege deze drie getallen." De beambte kan stoppen met zelf nadenken en gewoon op de "Blokkeren"-knop drukken. Het paper waarschuwt dat als een uitleg slecht is ontworpen, het de menselijke operator zelfs minder betrokken of overmoedig kan maken, wat tot fouten leidt. Het doel is niet alleen om de cijfers te tonen; het is om de mens te helpen kritisch over de situatie na te denken.

3. De Vijflaagse "Trust Sandwich"

Om deze problemen op te lossen, stelt de auteur een nieuwe manier voor om deze systemen te bouwen, die zij een Vijflaags Framework noemen. Denk aan het bouwen van een sandwich waarbij elke laag een specifieke taak heeft:

1. De Datalayer: Dit is het onderste broodje, dat alle ruwe informatie verzamelt (zoals netwerklogs of sensordata).
2. De AI-laag: Dit is het vlees, waar de slimme computer zijn voorspelling doet (bijv. "Dit is een aanval").
3. De Uitleglaag: Dit is de speciale saus. Het neemt de voorspelling van de AI en vertaalt deze naar een reden (bijv. "Het is een aanval vanwege deze specifieke vreemde patronen").
4. De Menselijke Laag: Dit is het bovenste broodje. Dit is de interface waar de menselijke operator de uitleg ziet en de uiteindelijke beslissing neemt. Cruciaal is dat deze laag zo ontworpen moet zijn dat de mens zich in staat voelt om te zeggen: "Ik koop dit niet," en de computer te overrulen.
5. De Governance-laag: Dit is de wikkel die alles bij elkaar houdt. Het legt elke beslissing, elke uitleg en elke keer dat een mens de AI heeft overreden, vast. Dit creëert een dossier zodat we later, als er iets misgaat, precies kunnen terugzien wat er is gebeurd.

4. Wat ontbreekt er?

Het paper geeft toe dat we er nog niet zijn. Er zijn nog steeds enkele grote hindernissen:

• Stabiliteit: We hebben uitleg nodig die niet verandert elke keer dat je de pagina ververst.
• Snelheid: We hebben uitleg nodig die snel genoeg is voor noodsituaties in realtime.
• Standaardisatie: Er is nog geen enkel "regelboek" dat bepaalt wat een "goede" uitleg is. Verschillende landen en bedrijven hebben verschillende ideeën over wat voldoende is.
• Nieuwe Technologie: Het paper merkt op dat nieuwere tools, zoals Large Language Models (LLM's) die uitleg in gewone mensentaal kunnen schrijven, net beginnen op te komen. Hoewel ze interessant klinken, weten we nog niet of ze nauwkeurig genoeg zijn om vertrouwd te worden met beslissingen van leven of dood.

De Kernboodschap

Het paper concludeert dat we niet zomaar een "Explainable AI"-sticker op een complexe computer kunnen plakken en het dan af kunnen zijn. Het suggereert dat om deze systemen veilig en betrouwbaar te maken, we moeten stoppen met uitleg te behandelen als een bijzaak. In plaats daarvan moeten we ze vanaf het begin in het systeem inbouwen, waarbij de wiskunde, de menselijke operator en de regels van het spel in één coherente lus worden verbonden.

De auteur suggereert dat de toekomst niet gaat over het vinden van één perfecte magische tool, maar over het creëren van een gecoördineerd systeem waarbij de juiste uitleg wordt gegeven aan de juiste persoon op het juiste moment, met een duidelijk verslag van wie de uiteindelijke beslissing heeft genomen. Het is een oproep om te bewegen van "black box"-magie naar een transparante, verantwoordelijke samenwerking tussen mens en machine.