An Explainable and Interpretable Composite Indicator Based on Decision Rules

Dit artikel presenteert een nieuw raamwerk voor het construeren van uitlegbare en interpreteerbare samengestelde indicatoren op basis van 'if-then'-beslissingsregels, afgeleid met de Dominance-based Rough Set Approach, dat transparantie biedt over classificaties en scores terwijl het ook omgaan met ontbrekende waarden mogelijk maakt.

De kern

Stel je voor dat je een recept hebt om de "kwaliteit" van iets te bepalen, zoals een land, een ziekenhuis of een beleggingsportefeuille. Traditioneel doen onderzoekers dit door een ingewikkeld wiskundig model te gebruiken: ze geven elke factor (zoals inkomen, onderwijs of gezondheid) een gewicht, tellen alles op en komen uit op één enkel getal.

Het probleem? Dit getal is vaak een "black box". Je ziet het eindresultaat, maar je weet niet precies waarom het zo uitpakte. Het is alsof je een taart proeft en alleen weet dat hij lekker is, maar je weet niet welke ingrediënten de smaak bepaalden.

Dit artikel van Corrente, Greco, Słowiński en Zappalà stelt een nieuwe manier voor: in plaats van een getal, geven we een duidelijke uitleg in gewone taal. Ze noemen dit een "glazen doos" (glass box) in plaats van een zwarte doos.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De Kern: Van Wiskunde naar "Als-Dan"-Regels

Stel je voor dat je een rechter bent die een verdachte moet beoordelen.

• De oude manier (Black Box): De rechter zegt: "Op basis van een complexe berekening van 10 factoren, geef ik je een score van 7,4." Je vraagt: "Waarom?" en de rechter zegt: "Dat is de formule."
• De nieuwe manier (Deze paper): De rechter zegt: "Je krijgt een goed oordeel ALS je geen strafblad hebt EN je een stabiel inkomen hebt. Maar je krijgt een slecht oordeel ALS je meer dan 3 keer veroordeeld bent."

Dit zijn beslissingsregels (decision rules). Ze werken met zinnen als: "Als X niet slechter is dan Y, dan is het resultaat ten minste Z." Dit is veel makkelijker te begrijpen voor iedereen.

2. Vier Manieren om dit te Gebruiken

De auteurs laten zien hoe je deze regels kunt gebruiken in vier verschillende situaties:

• Situatie 1: Het verklaren van een bestaande som.

  • Vergelijking: Stel je voor dat je een medische test doet (zoals de Glasgow Coma Scale) waarbij je punten optelt voor oogopenen, praten en bewegen. Als je 7 punten hebt, ben je "ernstig".
  • De oplossing: De regels zeggen: "Als je verbaal antwoord niet beter is dan 'incomprehensible sounds' EN je motorische reactie niet beter is dan 'abnormale flexie', dan ben je in de ernstige categorie." Je ziet direct welke specifieke tekortkomingen tot het resultaat leiden.

• Situatie 2: Het uitleggen van een mysterieus getal.

  • Vergelijking: Het Human Development Index (HDI) is een bekend cijfer dat landen rangschikt. Niemand weet precies welke combinatie van levensverwachting, onderwijs en inkomen een land "hoog" maakt.
  • De oplossing: De computer kijkt naar de data en trekt regels: "Als een land een levensverwachting heeft van minstens 73 jaar EN gemiddeld 12 jaar school, dan is het 'hoog ontwikkeld'." Plotseling is het mysterie opgelost.

• Situatie 3: Het bouwen van een indicator vanuit de wensen van de expert.

  • Vergelijking: Een beleggingsexpert zegt: "Ik vind deze 5 aandelen 'goed' en die 5 'slecht', maar ik vertel je niet hoe ik dat bereken."
  • De oplossing: De computer kijkt naar deze voorbeelden en trekt de regels die de expert onbewust gebruikt. Dan kan de computer nieuwe aandelen beoordelen op basis van diezelfde regels.

• Situatie 4: Het controleren van een bestaand complex model.

  • Vergelijking: Een geavanceerd algoritme (zoals ELECTRE) heeft al een lijst met scores gemaakt.
  • De oplossing: We gebruiken de regels om te controleren of het algoritme logisch werkt en om de scores voor nieuwe gevallen te verklaren.

3. Hoe werkt de "Magie"? (DRSA)

De auteurs gebruiken een techniek genaamd DRSA (Dominance-based Rough Set Approach).

• De Analogie: Stel je voor dat je een grote stapel kaarten hebt met verschillende eigenschappen. Je wilt weten welke kaarten "goed" zijn. In plaats van te tellen, kijken we naar dominantie.
• Als Kaart A op alle punten beter is dan Kaart B, en Kaart B is "goed", dan moet Kaart A ook "goed" zijn.
• De computer zoekt naar de kortste en sterkste regels die alle kaarten correct indelen zonder tegenstrijdigheden. Het is alsof je de meest efficiënte route door een doolhof zoekt, zonder omwegen.

4. Wat als er gegevens ontbreken? (Missende Waarden)

In het echte leven zijn gegevens vaak onvolledig (bijvoorbeeld: iemand heeft geen inkomen opgegeven).

• Oude methode: Je moet een schatting invullen (imputatie), wat de data kan verstoren.
• Deze methode: De regels zijn slim genoeg om met gaten om te gaan.
  • Vergelijking: Stel je een regel voor: "Als je minstens 10 jaar ervaring hebt, krijg je een bonus." Als iemand geen gegevens over zijn ervaring heeft, maar wel over zijn diploma, en het diploma is goed genoeg, dan kan de regel nog steeds gelden voor de andere criteria. De regel is robuust genoeg om te zeggen: "Zolang je op de bekende punten voldoet, is de regel geldig, ongeacht wat op het ontbrekende punt staat."

5. Waarom is dit belangrijk?

• Transparantie: Niemand kan meer zeggen "het is een geheim algoritme". Iedereen kan de regels lezen en controleren of ze eerlijk zijn.
• Geen Gewichten: Je hoeft niet te discussiëren over of "onderwijs" 20% of 30% moet wegen. De regels zeggen gewoon wat er nodig is om een bepaalde klasse te bereiken.
• Betrouwbaarheid: Het voorkomt dat een eenheid (bijv. een land) tegelijkertijd als "goed" en "slecht" wordt bestempeld door tegenstrijdige regels.

Samenvatting

Dit artikel stelt voor om te stoppen met het maken van onbegrijpelijke "scorecards" en te beginnen met het maken van duidelijke instructieboeken. In plaats van te zeggen "Land X heeft een score van 0,85", zeggen we: "Land X is goed omdat het een hoge levensverwachting heeft en veel mensen naar school gaan."

Het is een manier om complexe data terug te brengen tot menselijke logica, zodat beslissingen niet alleen correct zijn, maar ook begrijpelijk en eerlijk voor iedereen.

Technische samenvatting

Titel: Een uitlegbare en interpreteerbare samengestelde indicator gebaseerd op beslissingsregels

Auteurs: Salvatore Corrente, Salvatore Greco, Roman Słowiński, Silvano Zappalà.

---

1. Het Probleem

Samengestelde indicatoren (Composite Indicators - CI's) worden wereldwijd gebruikt om entiteiten (zoals landen, ziekenhuizen of bedrijven) te scoren of te classificeren op basis van meerdere criteria. De huidige methodologie voor het construeren van CI's kent echter fundamentele tekortkomingen:

• Black-box karakter: Traditionele CI's aggregeren criteria vaak via gewogen sommen of complexe wiskundige modellen. Dit leidt tot een "black box" waar de eindscore niet duidelijk verklaard kan worden door de onderliggende criteria.
• Willekeurige weging en aggregatie: De keuze voor gewichten en het type aggregatie (compenserend vs. niet-compenserend) is vaak subjectief en controversieel.
• Gebrek aan transparantie: Gebruikers begrijpen niet waarom een specifieke eenheid een bepaalde score of classificatie heeft gekregen. Dit ondermijnt de geloofwaardigheid en eerlijkheid van de evaluatie.
• Data-uitdagingen: Bestaande methoden hebben vaak moeite met ontbrekende waarden of vereisen dat alle data in numerieke vorm wordt omgezet, wat informatie kan vervormen.

Het artikel stelt dat er een noodzaak is voor een "glazen doos"-benadering (glass box), waarbij de redenering achter de evaluatie volledig transparant en begrijpelijk is.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor dat Dominance-based Rough Set Approach (DRSA) combineert met beslissingsregels (if-then rules) om CI's te construeren of te verklaren.

Kernconcepten:

• DRSA: Een uitbreiding van de Ruwe Set Theorie (Rough Set Theory) die specifiek is ontworpen voor Multi-Criteria Decision Aiding (MCDA). In plaats van exacte classificaties, werkt DRSA met "dominantie": als een eenheid op alle criteria beter is dan een andere, moet deze ook een betere classificatie hebben.
• Beslissingsregels: De relatie tussen de criteria en de eindclassificatie wordt uitgedrukt in natuurlijke taal regels:
  • "Minimaal"-regels (at-least): "Als criterium A $\geq$ drempel X en criterium B $\geq$ drempel Y, dan is de eenheid ten minste in Klasse C."
  • "Maximaal"-regels (at-most): "Als criterium A $\leq$ drempel X en criterium B $\leq$ drempel Y, dan is de eenheid ten hoogste in Klasse C."
• Ante-hoc vs. Post-hoc:
  • Ante-hoc interpretatie: De CI wordt gebouwd op basis van regels die zijn afgeleid uit de voorkeuren van een Beslissingsmaker (DM) voor referentie-eenheden.
  • Post-hoc uitleg: Een bestaande, ondoorzichtige CI (bijv. een numerieke score) wordt verklaard door regels af te leiden die de bestaande classificaties reproduceren.

Het Nieuwe Algorithmische Raamwerk:
De auteurs introduceren een nieuw algoritme dat alle minimale, niet-contradictoire beslissingsregels in één run genereert. Dit algoritme behandelt elke unieke score als een geordende klasse, waardoor het ook werkt voor continue indicatoren.

• Verwerking van ontbrekende waarden: Het algoritme (Algorithm 4) kan direct werken met datasets die ontbrekende waarden bevatten, zonder imputatie. Een regel wordt ondersteund door een eenheid als de bekende waarden voldoen aan de voorwaarden; ontbrekende waarden worden genegeerd in de conditie van die specifieke regel.
• Consistentie en Minimaliteit: Het systeem lost potentiële tegenstrijdigheden op (waarbij een eenheid tegelijkertijd "ten minste Klasse 3" en "ten hoogste Klasse 2" zou zijn) door een Mixed-Integer Linear Programming (MILP) probleem op te lossen. Dit selecteert de minimale set regels die alle eenheden consistent classificeert.

3. Vier Toepassingsscenario's

Het artikel illustreert de methode via vier scenario's:

1. Verklaren van sommatie-classificaties: Uitleggen van een CI die is opgebouwd uit de som van ordinaire codes (bijv. de Glasgow Coma Scale in de geneeskunde). De regels verklaren waarom een patiënt in een bepaalde ernstklasse valt.
2. Verklaren van een "obscure" numerieke CI: Het uitleggen van de Human Development Index (HDI). De complexe geometrische gemiddelde berekening wordt vervangen door begrijpelijke regels die aangeven welke drempels voor levensverwachting, onderwijs en inkomen leiden tot een bepaalde ontwikkelingsklasse.
3. Construeren van een CI vanuit voorkeuren: Een CI opbouwen op basis van classificaties van referentie-eenheden door een Beslissingsmaker (bijv. bij het selecteren van aandelenportefeuilles). De regels worden direct afgeleid uit de menselijke oordelen.
4. Verklaren van MCDA-methoden: Het uitleggen van resultaten gegenereerd door geavanceerde MCDA-methoden zoals ELECTRE-Score, waarbij de complexe aggregatie wordt vertaald naar simpele regels.

4. Belangrijkste Resultaten en Bijdragen

• Nieuwe Methodologie: Dit is de eerste methodologische voorstel voor het construeren van CI's puur op basis van beslissingsregels, in plaats van gewogen aggregatie.
• Transparantie en Uitlegbaarheid: De methode vervangt wiskundige formules door natuurlijke taalregels. Gebruikers kunnen direct zien welke criteria en drempels leidden tot een specifieke classificatie.
• Omgaan met Complexiteit: Het nieuwe algoritme genereert efficiënt alle minimale regels in één run, zelfs voor continue scores. Hoewel er veel regels kunnen zijn, wordt alleen de subset getoond die relevant is voor de specifieke eenheid die wordt geanalyseerd ("explainability on demand").
• Robuustheid: De methode werkt met:
  • Ordinale en kwalitatieve data (zonder conversie naar numeriek).
  • Ontbrekende waarden (zonder imputatie).
  • Continue en discrete scores.
• Consistentie: Het MILP-proces zorgt ervoor dat de uiteindelijke classificaties logisch consistent zijn (geen contradicties tussen "minimaal" en "maximaal" classificaties).

5. Betekenis en Toekomstperspectief

Deze paper biedt een paradigmaverschuiving in het veld van samengestelde indicatoren en Multi-Criteria Decision Aiding (MCDA):

• Van Black Box naar Glass Box: Het adresseert de kritiek op AI en complexe modellen door uitlegbaarheid (explainability) en interpreteerbaarheid (interpretability) in de kern van de methode te integreren.
• Beleid en Besluitvorming: Door de redenering transparant te maken, kunnen beleidsmakers en stakeholders de eerlijkheid en de onderliggende aannames van een evaluatie beter beoordelen. Dit is cruciaal voor de legitimiteit van indicatoren in gevoelige domeinen zoals gezondheidszorg, onderwijs en economische concurrentiekracht.
• Toekomstige Ontwikkelingen: De auteurs suggereren dat deze methode kan worden uitgebreid met ongestructureerde data (zoals tekst of beelden via NLP en computer vision) en kan worden toegepast in complexe domeinen zoals slimme steden en milieubewaking.

Conclusie:
Het artikel presenteert een robuust, wiskundig onderbouwd maar intuïtief toegankelijk raamwerk voor het creëren van samengestelde indicatoren. Door te vertrouwen op DRSA en beslissingsregels, lost het de problemen van willekeurige weging, gebrek aan transparantie en data-gevoeligheid op, en biedt het een nieuwe standaard voor eerlijke en uitlegbare besluitvorming.