Technische Samenvatting: Verder dan het verklaren van voorspellingen: Logica-gebaseerde verklaringen voor vertrouwen in Machine Learning-modellen

Probleemstelling

Machine learning-modellen, met name in kritieke domeinen zoals de gezondheidszorg en de financiële sector, worden steeds vaker verwacht om niet alleen nauwkeurige voorspellingen te leveren, maar ook betrouwbare indicatoren van onzekerheid. Hoewel logica-gebaseerde abductieve verklaringen (AXp's) zijn opgekomen als een rigoureuze methode voor interpreteerbaarheid, waarbij zij formele garanties bieden voor correctheid en minimaliteit, hebben zij een cruciale beperking: ze richten zich uitsluitend op het behouden van de voorspelde klasse.

Traditionele AXp's identificeren minimale deelverzamelingen van kenmerken die voldoende zijn om te garanderen dat elke instantie die aan die voorwaarden voldoet, dezelfde classificatie ontvangt als de oorspronkelijke instantie. Ze houden echter geen rekening met de voorspellende betrouwbaarheid van het model. Bij consequentie betekent dit dat een enkele abductieve verklaring een verzameling instanties kan dekken die zowel zeer betrouwbare voorspellingen als instanties bevat die zeer dicht bij de beslissingsgrens liggen (hoge onzekerheid). In scenario's met hoge inzet kan dit leiden tot overmoed, omdat gebruikers kunnen aannemen dat alle gerechtvaardigde voorspellingen even betrouwbaar zijn, waardoor de werkelijke beperkingen van het model worden verhuld.

Bestaande methoden voor onzekerheidsbewuste verklaringen vertrouwen vaak op attributie- of perturbatietechnieken die onzekerheid schatten, maar die een gebrek hebben aan formele garanties met betrekking tot de verzameling gedekte instanties. Ze schatten doorgaans de onzekerheid van een verklaring in, in plaats van de verklaring te beperken om een minimaal vertrouwensniveau over alle gedekte instanties te garanderen.

Methodologie

1. Minimum Confidence Threshold (MCT)

De auteurs introduceren het concept van de Minimum Confidence Threshold (MCT) om de zwakste vertrouwensgarantie te kwantificeren die een abductieve verklaring biedt.

• Definitie: Voor een gegeven verklaring $\mathcal{E}$ is de MCT de voorspellingsscore die het dichtst bij de beslissingsgrens ligt onder alle instanties die aan $\mathcal{E}$ voldoen.
  • Voor klasse $+1$, $MCT(\mathcal{E}) = \min_{\mathcal{E} \subseteq \mathbf{x}'} S(\mathbf{x}')$.
  • Voor klasse $-1$, $MCT(\mathcal{E}) = \max_{\mathcal{E} \subseteq \mathbf{x}'} S(\mathbf{x}')$.
• Significantie: De MCT vertegenwoordigt de worst-case voorspellende betrouwbaarheid voor de verzameling instanties die door de verklaring worden gedekt. Het wordt berekend door een optimalisatieprobleem te formuleren over de symbolische voorspellingsscore-expressie van het model, onder de beperkingen van de modelcodering en de kenmerktoewijzingen in de verklaring.

2. Confidence-Aware Abductive Explanations

Voortbouwend op MCT, stelt het artikel confidence-aware abductive explanations voor. Dit zijn minimale deelverzamelingen van kenmerken die niet alleen het behoud van de voorspelde klasse garanderen, maar ook dat de voorspellingsscore voor elke voldoende instantie voldoet aan een door de gebruiker gespecificeerde drempelwaarde $\tau$.

• Formulering: Een verklaring $\mathcal{E}$ is confidence-aware met betrekking tot $\tau$ als het een abductieve verklaring is en:
  • $MCT(\mathcal{E}) \geq \tau$ (voor klasse $+1$)
  • $MCT(\mathcal{E}) \leq \tau$ (voor klasse $-1$)
• Drempelwaarde-beperkingen: De drempelwaarde $\tau$ wordt beperkt door de voorspellingsscore van de oorspronkelijke instantie die wordt uitgelegd, aangezien de oorspronkelijke instantie aan de verklaring moet voldoen. Daarom kan $\tau$ geen vertrouwensniveau eisen dat hoger is dan de score van de instantie zelf.

3. Algoritmische Aanpak

De auteurs passen de standaard procedure voor het verwijderen van kenmerken die wordt gebruikt voor het berekenen van traditionele AXp's (Algoritme 1) aan om vertrouwsbeperkingen te integreren (Algoritme 2).

• Proces: Beginnend met de volledige instantie, worden kenmerken iteratief verwijderd. Een kenmerk wordt alleen verwijderd als de resulterende deelverzameling van kenmerken nog steeds voldoet aan de door de gebruiker gedefinieerde vertrouwensdrempel $\tau$.
• Optimalisatie: In elke stap berekent het algoritme de MCT van de kandidaatverklaring met behulp van optimalisatie-solvers (specifiek Z3 voor SMT-solving).
• Monotoniciteit: De aanpak steunt op de monotoniciteit van de confidence-aware conditie: als een deelverzameling van kenmerken niet aan de vertrouwensdrempel voldoet, zal elke verdere reductie (deelverzamelingen van die deelverzameling) ook niet voldoen. Dit zorgt ervoor dat het algoritme eindigt met een minimale verklaring.
• Verfijning: Het artikel bespreekt ook een strategie om verklaringen vanaf nul opnieuw te berekenen onder striktere vertrouwensbeperkingen, in plaats van bestaande verklaringen incrementeel uit te breiden. Dit maakt het mogelijk om alternatieve minimale deelverzamelingen te vinden die mogelijk betere vertrouwensgaranties bieden zonder noodzakelijkerwijs de omvang van de verklaring te vergroten.

Belangrijkste Bijdragen

1. Identificatie van een gat: Het artikel toont aan dat traditionele abductieve verklaringen vaak aanzienlijk zwakkere vertrouwensgaranties bieden dan het vertrouwen dat geassocieerd wordt met de specifieke instantie die wordt uitgelegd, wat gebruikers in scenario's met hoge inzet potentieel kan misleiden.
2. MCT-concept: Introductie van de Minimum Confidence Threshold als een formele metriek om de zwakste vertrouwensgarantie van een verklaring te kwantificeren.
3. Confidence-Aware Framework: Voorstel voor een nieuwe klasse verklaringen die vertrouwensdrempels van de gebruiker afdwingen terwijl de formele garanties van correctheid en minimaliteit behouden blijven.
4. Algoritmische Implementatie: Ontwikkeling van een algoritme (Algoritme 2) dat de MCT-berekening integreert in het proces van verklaringgeneratie, geformuleerd als een optimalisatieprobleem over logica-gebaseerde representaties van Gradient-Boosted Trees (GBT's).
5. Empirische Validatie: Experimentele evaluatie die aantoont dat confidence-aware verklaringen consistent betere minimum vertrouwensgaranties bieden met slechts een bescheiden toename in de lengte van de verklaring, en in veel gevallen zelfs sterkere garanties kunnen bereiken zonder de cardinaliteit van de verklaring te vergroten.

Experimentele Resultaten

Het framework werd geëvalueerd op binaire classificatietaken met behulp van Gradient-Boosted Trees (XGBoost) over vier benchmark-datasets: MAGIC, Adult, Mushroom en Spambase.

• Basiszwakte: Traditionele abductieve verklaringen boden frequent vertrouwensgaranties (MCT) die aanzienlijk lager waren dan het vertrouwen van de oorspronkelijke instantie. In veel gevallen waren de getransformeerde MCT-waarden dicht bij 0,5 (de beslissingsgrens), zelfs bij zeer betrouwbare voorspellingen.
• Verbetering met Beperkingen: Het toepassen van confidence-aware beperkingen (bijv. het vereisen van 50% of 75% van de oorspronkelijke voorspellingsscore) verschoof de MCT-waarden consistent weg van de beslissingsgrens, wat wijst op sterkere vertrouwensgaranties.
• Trade-off Analyse:
  • Verklaring Grootte: Strengere vertrouwenseisen leiden over het algemeen tot langere verklaringen (meer kenmerken). Echter, de toename is vaak bescheiden ten opzichte van het totaal aantal kenmerken. Bijvoorbeeld, in de Spambase-dataset (57 kenmerken), verhoogde een drempelwaarde van 75% de gemiddelde verklareingslengte van 13,25 naar 19,12 kenmerken, een relatieve groei van ongeveer 10%, terwijl het vertrouwen aanzienlijk verbeterde.
  • Behoud van Cardinaliteit: Een belangrijke bevinding (RQ3) is dat sterkere vertrouwensgaranties niet altijd grotere verklaringen vereisen. De studie vond dat voor een aanzienlijk percentage van de instanties (variërend van 1% tot 34%, afhankelijk van de dataset en klasse), alternatieve verklaringen met de zelfde cardinaliteit als de oorspronkelijke AXp konden worden gevonden die strikt betere vertrouwensgaranties boden. Dit valideert de strategie om verklaringen vanaf nul opnieuw te berekenen in plaats van bestaande AXp's simpelweg uit te breiden.

Betekenis en Claims

Het artikel claimt dat de voorgestelde aanpak bijzonder geschikt is voor toepassingen waar zowel voorspellende correctheid als vertrouwen essentieel zijn voor betrouwbare besluitvorming. Door vertrouwensgaranties direct in het logica-gebaseerde verklaringproces te integreren, stelt het framework gebruikers in staat om expliciet de beknoptheid van de verklaring af te wegen tegen sterkere vertrouwensgaranties.

De auteurs benadrukken dat hun werk een specifieke beperking in de huidige XAI adresseert: het gebrek aan formele garanties met betrekking tot de betrouwbaarheid van de verzameling instanties die door een verklaring worden gedekt. In tegen tegenstelling tot methoden die slechts onzekerheid schatten, beperkt deze aanpak de generatie van verklaringen om te waarborgen dat elke instantie die aan de verklaring voldoet, aan een minimale vertrouwensstandaard voldoet.

Het artikel blijft bescheiden in zijn reikwijdte en merkt op dat hoewel de methode is gedemonstreerd op Gradient-Boosted Trees, de aanpak toepasbaar is op elk model dat vertrouwensscores levert. Het suggereert dat toekomstig werk deze concepten naar multiclass-classificatie en andere logica-gebaseerde verklaringsformalismen kan uitbreiden, maar claimt geen directe toepasbaarheid op die domeinen zonder verder onderzoek.