ConceptCF: Concept-based Counterfactuals for the Explainability of Time Series
Dit artikel introduceert ConceptCF, een nieuwe methode voor het genereren van interpreteerbare contrafectuele verklaringen in tijdreeksen door menselijk begrijpelijke concepten afgeleid van tijdreeksdecompositie te modificeren, die bestaande benaderingen overtreft op belangrijke evaluatiemetrieken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren de wereld te begrijpen. Je geeft het een camera en een brein, en het begint voorspellingen te doen: "Dat is een kat," of "Die machine staat op het punt om kapot te gaan." Maar soms heeft de robot het mis, of erger nog, het heeft het goed om de verkeerde redenen. Missie denkt bijvoorbeeld dat een foto van een wolf echt is omdat er sneeuw op de achtergrond ligt, en niet omdat hij daadwerkelijk een wolf ziet. Dit is een groot probleem in de wereld van Kunstmatige Intelligentie (AI), vooral wanneer de belangen hoog zijn, zoals in ziekenhuizen of fabrieken. We moeten weten waarom de robot een beslissing heeft genomen, niet alleen wat hij heeft besloten.
Om dit op te lossen, gebruiken wetenschappers iets dat "Explainable AI" (uitlegbare AI) wordt genoemd. Een van de coolste instrumenten in deze gereedschapskist is de "counterfactual" (tegenfeitelijke situatie). Denk aan een counterfactual als een "wat als"-verhaal. In plaats van alleen te zeggen: "Ik voorspelde dat je liep," zegt een counterfactual: "Ik voelde voorspelde dat je liep, maar als je je stappen had vertraagd, zou ik hebben voorspeld dat je zat." Het is als een recept om de toekomst te veranderen. Echter, wanneer men te maken heeft met tijdreeksen — data die verandert in de loop van de tijd, zoals een hartslagmonitor of een aandelengrafiek — is het maken van deze "wat als"-verhalen lastig. Als je slechts één punt in de data aanpast, is dat als het veranderen van één woord in een zin en hopen dat het hele verhaal nog steeds logisch is. Vaak is dat niet zo. Het verhaal wordt onzin, en de uitleg van de robot wordt nutteloos.
Dit is waar een nieuwe methode genaamd ConceptCF in beeld komt. De onderzoekers achter dit artikel, Annemarie Jutte en haar team, realiseerden zich dat in plaats van te rommelen met individuele punten in een tijdreeks, we de "grote ideeën" of "concepten" moeten veranderen die de data vormen. Stel je een liedje voor. Je zou kunnen proberen het liedje te veranderen door elke enkele noot één voor één aan te passen, wat rommelig en verwarrend is. Of, je zou de "volume" (hoe hard het is) of het "tempo" (hoe snel het is) kunnen veranderen. Dit zijn de concepten. ConceptCF is een slim systeem dat een tijdreeks neemt, deze afbreekt in begrijpelijke concepten (zoals hoe groot de golven zijn of hoe vaak ze zich herhalen), en dan vraagt: "Wat als we het volume of het tempo veranderden?" Het gebruikt een digitaal evolutieproces, zoals een videogame waarin de beste oplossingen overleven en beter worden, om de kleinste, meest logische veranderingen te vinden die een voorspelling omdraaien. Het resultaat is een uitleg die een mens daadwerkelijk kan begrijpen, zoals zeggen: "De robot dacht dat je liep omdat je stappen te groot waren; als je kleinere stappen had genomen, zou hij weten dat je zat."
Het artikel introduceert ConceptCF als een manier om specifiek voor tijdreeksdata "wat als"-uitleg te genereren. De kern van het idee is om te stoppen met het kijken naar de ruwe datapunten (de individuele momenten in de tijd) en te beginnen met kijken naar concepten — hoogwaardige patronen die mensen gemakkelijk kunnen begrijpen, zoals de algemene "schaal" (amplitude) van een signaal of de "frequentie" (hoe vaak het zich herhaalt). De auteurs stellen dat bestaande methoden de betekenis van de data verstoren door punten in isolatie te veranderen, wat onmogelijke scenario's kan creëren. ConceptCF vermijdt dit door alleen de onderliggende concepten te wijzigen.
Om dit te doen, gebruikt het team drie verschillende manieren om de tijdreeks in concepten op te splitsen:
- Fourier-gebaseerd: Dit bekijkt het signaal als een mix van verschillende frequenties, zoals het scheiden van een akkoord in individuele noten.
- Wavelet-gebaseerd: Dit breekt het signaal af in stukken van verschillende groottes, waarbij zowel grote trends als kleine details worden gevangen.
- Mens-gecentreerd: Dit is specifiek ontworpen voor mensen die geen experts zijn in wiskunde, door het signaal op te splitsen in zaken als "trend" (gaat het omhoog of omlaag?), "bias" (is het verschoven naar boven of beneden?) en "schaal" (hoe groot is het?).
Zodra de data in deze concepten is afgebroken, gebruikt de methode een genetisch algoritme om de perfecte counterfactual te vinden. Denk hierbij aan een digitaal fokprogramma. De computer begint met een "populatie" van mogelijke veranderingen. Het test deze om te zien of ze de voorspelling succesvol veranderen (validiteit), terwijl ze zo dicht mogelijk bij de originele data blijven (nabijheid), en zo min mogelijk dingen veranderen (schaarsheid). De "fittest" (geschikteste) oplossingen overleven en mengen zich samen om in de volgende generatie zelfs betere oplossingen te creëren. Het doel is om de minimale verandering in concepten te vinden die de voorspelling omdraait. Bijvoorbeeld, als een model "Lopen" voorspelt, kan ConceptCF vinden dat het vergroten van de "golflengte" en de "schaal" van de beweging de voorspelling naar "Zitten" zou veranderen.
De onderzoekers testten ConceptCF tegen vijf andere top-tier methoden met behulp van echte datasets, waaronder bewegingsdata van wandelende mensen en hartslaggegevens. Ze maten hoe goed de nieuwe methode werkte op basis van vijf criteria:
- Validiteit: Veranderde het daadwerkelijk de voorspelling?
- Betrouwbaarheid: Was het model zeker over de nieuwe voorspelling?
- Nabijheid: Was het nieuwe scenario dicht bij het origineel?
- Schaarsheid: Veranderde het slechts een paar dingen, of werd er overal aan gesleuteld?
- Plausibiliteit: Zag het nieuwe scenario eruit als iets dat daadwerkelijk in de echte wereld zou kunnen gebeuren?
De resultaten toonden aan dat ConceptCF zeer competitief presteerde. Sterker nog, het kwam vaak als winnaar uit de bus, vooral wat betreft schaarsheid. Dit betekent dat het de beslissing van de AI kon uitleggen door slechts een klein aantal concepten te veranderen, wat de uitleg veel helderder en gemakkelijker te begrijpen maakt voor een mens. Waar andere methoden soms moeite hadden om de data realistisch te houden of te veel punten veranderden, vond ConceptCF consequent het "sweet spot": de kleinste, meest logische verandering om de uitkomst om te draaien. De auteurs vonden dat de specifieke manier waarop ze de concepten afbraken (Fourier versus Wavelet versus mens-gecentreerd) de resultaten niet drastisch veranderde, wat suggereert dat de methode flexibel is en kan worden aangepast aan verschillende behoeften.
Het artikel concludeert dat ConceptCF een krachtig nieuw hulpmiddel is om tijdreeks-AI te begrijpen. Door te focussen op menselijk interpreteerbare concepten in plaats van ruwe datapunten, overbrugt het de kloof tussen complexe machine learning-modellen en menselijke redenering. De auteurs suggereren dat hoewel hun methode wiskundig solide is en goed presteert op standaardtests, de ultieme test zal zijn of mensen de uitleg daadwerkelijk beter begrijpen. Ze stellen voor dat toekomstig onderzoek echte mensen moet betrekken om te zien of deze concept-gebaseerde uitleg de AI werkelijk transparanter en betrouwbaarder maakt. Voor nu is ConceptCF een veelbelovende stap richting het minder als een "black box" en meer als een gesprek maken van AI-beslissingen dat we allemaal kunnen begrijpen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.