A Step Towards Inherently Interpretable Causal Machine Learning Models For Decision Support

Technische Samenvatting: Een stap naar inherent interpreteerbare causale machine learning-modellen voor besluitvormingsondersteuning

Probleemstelling
De toenemende afhankelijkheid van machine learning (ML) voor organisatorische besluitvorming heeft een kritieke kloof blootgelegd: hoewel modellen effectief zijn in voorspellen, missen ze vaak transparantie en causaal begrip. Huidige benaderingen vallen uiteen in twee categorieën: post-hoc verklaarbaarheidsmethoden toegepast op complexe "black-box"-modellen, en inherent interpreteerbare machine learning (IIML)-modellen. Echter, beide paradigma's onthullen primair hoe modellen correlaties exploiteren om de voorspellende prestaties te maximaliseren, wat niet gelijkstaat aan causaal inzicht. Bijgevolg hebben standaard ML-modellen moeite met "wat-als"-scenario-evaluaties (interventies), omdat ze niet het onderscheid kunnen maken tussen spuriose correlaties en genuwe relationship causale relaties. Deze beperking belemmert hun nut voor taken in besluitvormingsondersteuning die een begrip vereisen van de effecten van bewuste veranderingen in een systeem.

Methodologie
Om deze beperkingen aan te pakken, stelt de auteur een raamwerk voor dat Structurele Causale Modellen (SCM's) integreert met Inherently Interpretable Machine Learning (IIML)-modellen voor dwarsdoorsnedegegevens (cross-sectional data). Het raamwerk is georganiseerd in vier componenten:

1. Inputdata en Causale Graaf: Het proces begint met een dataset en een causale graaf die de causale relaties tussen variabelen vertegenwoordigt. Deze graaf kan worden afgeleid uit domeinexpertise, causale ontdekkingsalgoritmen, of een combinatie van beide. De graaf dient als de ruggengraat voor causaal redeneren en codeert expliciet aannames over het datagenereerproces.
2. Modelleringsbenadering: In tegenstelling tot standaard ML, dat doorgaans alle beschikbare kenmerken gebruikt om een doelvariabele te voorspellen, modelleert de voorgestelde aanpak elke variabele in de causale graaf als een functie van zijn directe ouders (en een exogene ruisterm). Dit wordt geïmplementeerd met behulp van IIML-technieken, specifweg Generalized Additive Models (GAM's) en Symbolic Regression (SR), naast traditionele black-box modellen (XGBoost, Random Forest, MLP) voor vergelijking.
3. Taakuitvoering:
   • Voorspelling: Voor pure voorspellingstaken voert het model causale kenmerkselectie uit, waarbij de doelvariabele wordt voorspeld op basis van uitsluitend de geobserveerde waarden van de causale ouders om foutaccumulatie te voorkomen.
   • Wat-als Analyse: Voor interventiescenario's (bijv. $do(A=x)$), propageert het raamwerk de interventie door de causale graaf. Het effect van het veranderen van een variabele wordt berekend door inkomende paden naar die variabele te blokkeren en de voorspellingen van de kinderen ervan bij te werken, waardoor de causale structuur van het systeem wordt gerespecteerd.
4. Interpretatie: Het raamwerk maakt onderscheid tussen vier niveaus van interpreteerbaarheid: (1) associatieve post-hoc (bijv. SHAP op black-box modellen), (2) inherente associatie (directe analyse van IIML zonder causale structuur), (3) causale post-hoc, en (4) causale inherente interpretatie. Het hoogste niveau biedt transparantie over de systeemstructuur, de causale relaties en de functionele vormen die de variabelen verbinden.

Belangrijkste Bijdragen

• Integratie Raamwerk: Het artikel stelt een nieuw raamwerk voor dat SCM's combineert met IIML (GAM's en SR) om besluitvorming te ondersteunen die zowel voorspelling als causale analyse vereist.
• Onderzoeksvragen: Het behandelt hoe causale inferentie gecombineerd kan worden met IIML (RQ1) en hoe deze modellen presteren in voorspelling versus wat-als analyse (RQ2).
• Empirische Evaluatie: De studie evalueert de voorgestelde aanpak tegen niet-causale black-box modellen met behulp van twee experimenten:
  1. Een synthetische productiedataset met een bekende datagenereerende procedure om de niveaus van interpreteerbaarheid en de impact van spuriose correlaties te demonstreren.
  2. Een benchmark-evaluatie met behulp van vier datasets van Geffner et al. (2022) om de prestaties over verschillende causale structuren te beoordelen.

Resultaten

• Voorspellende Prestaties: In beide experimenten bereikten de causale IIML-modellen concurrerende voorspellende prestaties op standaard testsets, waarbij ze vaak de black-box tegenhangers evenaarden of zelfs licht overtroffen. De resultaten suggereren dat voor tabelvormige data, hoge nauwkeurigheid niet vereist dat men interpreteerbaarheid opoffert.
• Wat-als Analyse: De causale modellen presteerden significant beter dan niet-causale ML-modellen in interventiescenario's. In het synthetische experiment faalden niet-causale modellen in het correct afhandelen van de interventie omdat ze vertrouwden op spuriose correlaties (bijv. het toeschrijven van belang aan "personeel", wat gecorreleerd was met de doelvariabele maar niet causaal verbonden was). In contrast hiermee propageerden de causale modellen de interventie correct door de graaf, wat robuuste resultaten opleverde.
• Interpreteerbaarheid: De causale IIML-aanpak bood superieure transparantie.
  • Symbolic Regression: Succesvol het herstellen van wiskundige expressies die nauw aansluiten bij het werkelijke datagenereerproces wanneer beperkt tot causale ouders.
  • GAM's: Produceerden eenvoudigere, nauwkeurigere partial dependence plots die de ware functionele relaties weerspiegelden, waarbij de complexe, misleidende vormen werden vermeden die niet-causale modellen creëerden door te proberen spuriose correlaties te fitten.

Betekenis en Claims
Het artikel claimt dat het integreren van causale structuur met inherente interpreteerbare modellen een pad biedt naar "geïnformeerde, transparante en causaal gegronde beslissingen". De auteurs stellen dat deze aanpak:

• Wat-if Analyse Mogelijk Maakt: Het stelt modellen in staat om voorbij de eerste trede van de "Ladder van Causaliteit" (associatie) te gaan naar de tweede trede (interventie), wat essentieel is voor zakelijke besluitvorming.
• Transparantie Verhoogt: Door causale relaties en functionele vormen expliciet te modelleren, vermijdt de aanpak de "black box"-aard van complexe modellen en de potentieel misleidende aard van post-hoc verklaringen op correlationele data.
• Velden Overbrugt: Het draagt bij aan Causal Machine Learning (CML) door IIML te integreren om functionele vormen te verduidelijken, en aan interpreteerbaarheidsonderzoek door causale kennis te integreren in variabele selectie en modelstructuur.

Beperkingen en Toekomstige Richtingen
De auteurs merken bescheiden enkele beperkingen op:

• De studie vertrouwt op grondwaarheid causale grafen; het test niet empirisch de robuustheid van het raamwerk wanneer grafen verkeerd gespecificeerd of incorrect geïnterpreteerd zijn.
• De evaluatie richt zich op de eerste twee treden van de Ladder van Causaliteit (zien en doen), niet op contrafeitelijke redenering (de derde trede).
• De interpreteerbaarheid werd conceptueel gedemonstreerd; er is geen kwalitatieve gebruikersstudie uitgevoerd om te beoordelen hoe belanghebbenden deze modellen daadwerkelijk waarnemen of vertrouwen.
• Het raamwerk is momenteel beperkt tot cross-sectionele gegevens; toepassingen voor tijdreeksen zijn overgelaten aan toekomstig onderzoek.
• Het trainen van meerdere modellen (één per knoop) kan computationeel duur zijn, met name voor SR.