Towards plausibility in time series counterfactual explanations

Deze paper introduceert een nieuwe methode voor het genereren van plausibele tegenfeitelijke verklaringen voor tijdreeksclassificatie door middel van gradiëntgebaseerde optimalisatie en soft-DTW-alignment, wat resulteert in verklaringen die niet alleen geldig zijn maar ook een realistische temporele structuur behouden die beter aansluit bij de doelklasse dan bestaande methoden.

De kern

Hoe maak je een "wat als"-verhaal voor tijdreeksen dat echt geloofwaardig is?

Stel je voor dat je een slimme computer hebt die kan voorspellen of een patiënt een hartaanval krijgt, of of een fabrieksmachine gaat stuk. Deze computer kijkt naar een grafiek die de tijd weergeeft (zoals een hartslaglijn of trillingen van een machine). Soms zegt de computer: "Dit is gevaarlijk!" Maar de arts of de technicus vraagt zich af: "Waarom? En wat zou er anders moeten gebeuren zodat de computer zegt: 'Dit is veilig'?"

Dat is waar counterfactual explanations (tegenstrijdige verklaringen) voor dienen. Het is het antwoord op de vraag: "Wat is het kleinste beetje verandering dat ik moet maken in deze grafiek, zodat het resultaat anders wordt?"

Het probleem is echter: de meeste bestaande methoden maken veranderingen die er onrealistisch uitzien. Het is alsof de computer zegt: "Als je de hartslaglijn hier en daar een beetje verandert, ben je veilig." Maar die veranderingen lijken op ruis of glitches, niet op een echte, gezonde hartslag. Dat is niet nuttig voor een mens.

De auteurs van dit paper hebben een nieuwe manier bedacht om deze "wat als"-scenario's te maken die er echt uitzien. Hier is hoe ze dat doen, vertaald naar alledaagse taal:

1. Het Probleem: De "Vervormde Spiegel"

Stel je voor dat je een danser bent (de computer) die een beweging moet nabootsen. Bestaande methoden zijn alsof je de danser een spiegel voorhoudt en zegt: "Beweeg net zo, maar dan een beetje anders." De danser doet dat, maar het resultaat is een gestommel dat eruitziet als een robot die struikelt. Het is technisch gezien een andere beweging, maar het voelt niet als een echte dans.

In de wereld van data noemen we dit plausibiliteit (geloofwaardigheid). Een goede verklaring moet eruitzien als een echte, natuurlijke gebeurtenis, niet als een computerfoutje.

2. De Oplossing: De "Dansleraar" (Soft-DTW)

De auteurs gebruiken een slimme truc. Ze zeggen: "Laten we niet raden hoe de beweging eruit moet zien. Laten we kijken naar echte voorbeelden van goede dansers (de 'doelgroep' in de data)."

Ze gebruiken een meetlat genaamd Soft-DTW (Dynamic Time Warping).

• De Analogie: Stel je voor dat je een nieuwe dansbeweging bedenkt. In plaats van alleen te kijken of de beweging op het juiste moment gebeurt (wat lastig is als de muziek iets versnelt of vertraagt), laat je een dansleraar kijken.
• Deze leraar vergelijkt jouw nieuwe beweging met een lijst van de 10 beste dansers van de doelgroep.
• De leraar zegt: "Je beweging moet lijken op die van deze echte mensen, inclusief hun ritme en flow."
• De term "Soft" betekent dat de computer dit proces heel soepel doet, zonder te breken. Het is alsof je de dansbeweging kunt "rekken" en "strekken" om hem perfect te laten passen bij de echte voorbeelden, zonder dat het eruitziet als een gedwongen rek.

3. De Beloningssysteem (De Loss Functie)

De computer moet een balans vinden tussen drie dingen, net als een chef-kok die een gerecht moet perfectioneren:

1. Geldigheid: Het gerecht moet smaken als het doelgerecht (de computer moet het resultaat veranderen).
2. Dichtbij: Het moet nog wel op het origineel lijken (niet alles volledig vervangen).
3. Geloofwaardigheid (Plausibility): Het moet eruitzien als een gerecht dat je echt in een restaurant zou krijgen, niet als een experimentele soep van plastic.

De nieuwe methode geeft extra punten voor geloofwaardigheid. Als de computer probeert een verandering te maken die er "raar" uitziet (zoals een schok in een hartslaglijn die nooit voorkomt), krijgt hij een boete. Hij moet dus zoeken naar een verandering die eruitziet als een echte, gezonde hartslag.

4. Wat is het Resultaat?

De auteurs hebben hun nieuwe methode getest tegen andere slimme methoden.

• De andere methoden: Ze maakten soms kleine veranderingen die er technisch goed uitzagen op papier, maar als je er naar keek, zag je dat het geen echte hartslag of machinebeweging was. Het was alsof ze een foto van een hond hadden gemanipuleerd tot een kat, maar de oren waren nog steeds van de hond.
• De nieuwe methode: Ze maakten veranderingen die eruitzagen als een echte kat. De vorm, de beweging en het ritme waren perfect.

Het enige nadeel: Omdat ze zo'n hoge eisen stellen aan de geloofwaardigheid, moeten ze soms iets meer aan de grafiek veranderen dan de andere methoden. Het is alsof je om een gerecht te veranderen van "zout" naar "zoet", je niet alleen een snufje suiker toevoegt, maar de hele saus moet herscheppen om het natuurlijk te laten smaken. Het kost iets meer moeite (meer verandering), maar het resultaat is veel beter en betrouwbaarder.

Samenvatting in één zin

Deze paper introduceert een slimme manier om te voorspellen wat er nodig is om een voorspelling te veranderen, waarbij ze zorgen dat het antwoord eruitziet als een echt, natuurlijk gebeuren in plaats van een computerfoutje, door te kijken naar hoe echte voorbeelden eruitzien.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Towards plausibility in time series counterfactual explanations" in het Nederlands.

Probleemstelling

In het veld van Explainable AI (XAI) zijn counterfactual explanations (CFE's) cruciaal om te begrijpen welke minimale wijzigingen in een invoer nodig zijn om de voorspelling van een machine learning-model te veranderen. Hoewel er veel methoden bestaan voor tabulaire data, ontbreekt het aan robuuste technieken voor tijdreeksdata (time series).

Het centrale probleem dat dit artikel aanpakt, is het gebrek aan plausibiliteit bij bestaande methoden voor tijdreeksen. Bestaande CFE-methoden genereren vaak tegenstrijdige of onrealistische tijdsreeksen die weliswaar de classificatie veranderen (validiteit), maar geen realistische temporele dynamiek behouden. Dit ondermijnt het vertrouwen van gebruikers, vooral in kritieke domeinen zoals gezondheidszorg (ECG-analyse) en financiën. Bestaande methoden vertrouwen vaak op indirecte reconstructie of vervanging van trainingsdata, wat leidt tot abrupte of discontinuïteiten in de gegenereerde verklaringen.

Methodologie

De auteurs stellen een nieuwe methode voor die gradient-based optimization direct in de invoerruimte (input space) toepast om plausibele CFE's te genereren. De kern van de methode ligt in het expliciet afdwingen van plausibiliteit door de gegenereerde tijdreeks te aligneren met bestaande data van de doelklasse.

De objectieve functie (loss function) die wordt geminimaliseerd, is een combinatie van vier componenten:

$$L_{CF} = L_{prox} + L_{sparse} + \lambda \cdot (L_{valid} + L_{DTW})$$

1. Validiteit ($L_{valid}$): Zorgt ervoor dat de gegenereerde tijdreeks $X'$ door de classifier wordt ingedeeld in de gewenste doelklasse (gebruikmakend van een hinge loss).
2. Proximiteit ($L_{prox}$): Meet de gelijkenis tussen de originele reeks $X$ en de CFE $X'$ via de kwadratische Euclidische afstand ($L_2$), om te garanderen dat de wijzigingen minimaal zijn.
3. Sparsiteit ($L_{sparse}$): Straft de $L_1$-norm van de wijziging, wat bevordert dat wijzigingen lokaal en geconcentreerd zijn in plaats van verspreid over de hele reeks.
4. Plausibiliteit ($L_{DTW}$): Dit is de innovatieve component. In plaats van een standaard afstand te gebruiken, wordt Soft-DTW (Soft Dynamic Time Warping) gebruikt om de afstand te meten tussen de gegenereerde CFE en de $k$-dichtstbijzijnde buren ($k$-NN) van de doelklasse in de trainingsdata.
   • Waarom Soft-DTW? Klassieke DTW is niet differentieerbaar, wat gradient-based optimization onmogelijk maakt. Soft-DTW vervangt de harde minimum-bewerking door een differentieerbare "soft-minimum", waardoor de optimizer kan leren om de temporele structuur van de doelklasse na te bootsen zonder de gradienten te blokkeren.

De optimalisatie vindt plaats door gradient descent op de invoer $X'$, waarbij de classifier-vastgehouden parameters constant blijven.

Belangrijkste Bijdragen

1. Nieuwe Methode: Een gradient-based optimalisatieframework voor tijdreeksen dat plausibiliteit expliciet afdwingt via Soft-DTW-alignement met de doelklasse, in plaats van indirecte reconstructie.
2. Uitgebreide Evaluatie: Een grondige kwantitatieve en kwalitatieve vergelijking met sterke referentiemethoden (Glacier en M-CELS) op acht verschillende datasets (univariaat en multivariaat).
3. Kwalitatieve Analyse: Een visuele demonstratie dat bestaande methoden vaak "adversarial"-achtige patronen genereren die de temporele coherentie verliezen, terwijl de voorgestelde methode realistische temporele structuren behoudt.

Resultaten

De experimenten tonen aan dat de voorgestelde methode superieur is in het behoud van plausibiliteit, ten koste van een iets grotere afstand tot het origineel (proximiteit).

• Validiteit: De methode behaalt bijna perfecte validiteitsscores (1.000) op alle geteste datasets, terwijl referentiemethoden vaak faalden (bijv. Glacier scoorde 0.360 op de CBF-dataset en 0.023 op ItalyPowerDemand).
• Plausibiliteit (DTW & Isolation Forest):
  • De methode behaalt een orde van grootte lagere DTW-afstanden tot de doelklasse vergeleken met concurrenten. Bijvoorbeeld, op de TwoLeadECG-dataset was de DTW 0.016 versus 0.302 voor M-CELS.
  • De Isolation Forest Scores (die meten of een punt als normaal of als outlier wordt gezien) zijn perfect (1.000) op zes van de acht datasets, wat aantoont dat de gegenereerde CFE's statistisch gezien realistische voorbeelden zijn van de doelklasse.
• Proximiteit en Sparsiteit: Er is een duidelijke trade-off. De methode resulteert in hogere $L_1$ en $L_2$ afstanden (grotere wijzigingen) dan bestaande methoden. Dit komt omdat de methode prioriteit geeft aan het behoud van realistische temporele patronen in plaats van alleen het minimaliseren van de numerieke wijziging. Kwalitatieve analyses tonen aan dat de kleinere wijzigingen van concurrenten vaak onvoldoende zijn om de echte temporele dynamiek van de doelklasse te kopiëren.

Betekenis en Conclusie

Dit werk benadrukt dat voor tijdreeksdata plausibiliteit (realisme) minstens zo belangrijk is als validiteit. Een verklaring die wel de klasse verandert maar een onrealistisch tijdsverloop heeft, is nutteloos voor een gebruiker.

De studie concludeert dat het expliciet aligneren van CFE's met de verdeling van de doelklasse via Soft-DTW essentieel is voor het genereren van betrouwbare verklaringen. Hoewel dit leidt tot grotere wijzigingen in de invoer (trade-off met proximiteit), zijn deze wijzigingen semantisch betekenisvoller en temporeel coherent.

Beperkingen en Toekomst:
De huidige methode heeft een kwadratische complexiteit in de tijdreekslengte (door DTW), wat rekenintensief is voor zeer lange reeksen. Daarnaast vertrouwt de methode op $k$-NN-alignement, wat aannames doet over de consistentie van temporele patronen binnen een klasse. Toekomstig werk richt zich op het gebruik van probabilistische generatieve modellen om de diversiteit binnen klassen beter te modelleren.