Software Frameworks for Explainable AI in Time Series Classification: A Systematic Review
Deze systematische review analyseert bestaande softwareframeworks voor verklaarbare AI in tijdreeksclassificatie, waarbij een significante fragmentatie en beperkingen in ondersteuning voor het frequentiedomein, gespecialiseerde evaluatiemetrieken en cross-framework consistentie worden onthuld, terwijl wordt gepleit voor de ontwikkeling van verenigde, tijdsreeks-specifieke XAI-oplossingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne wereld wordt er steeds vaker van machines gevraagd om betekenis te geven aan gegevens die over een bepaalde tijd binnenstromen, zoals het ritme van een hartslag, de schommelingen in aandelenkoersen of het geluid van een gesproken woord. Dit type gegevens, bekend als een tijdreeks, is overal aanwezig in de gezondheidszorg, de industrie en de financiële sector. Om te voorspellen wat er hierna gebeurt, gebruiken wetenschappers vaak krachtige computerprogramma's die deep learning-modellen worden genoemd. Deze programma's zijn uitstekend in het vinden van patronen en het maken van nauwkeurige voorspellingen, maar ze opereren als 'black boxes': ze produceren een antwoord zonder uit te leggen hoe ze tot dat antwoord zijn gekomen. In situaties met hoge inzet, zoals het diagnosticeren van een patiënt of het goedkeuren van een lening, is weten wat de reden achter een beslissing is net zo belangrijk als de beslissing zelf. Deze behoefte aan helderheid heeft geleid tot een veld genaamd uitlegbare kunstmatige intelligentie (explainable AI), dat erop gericht is de black box te openen en de menselijke gebruiker te laten zien welke delen van de gegevens de keuze van de machine hebben beïnvloed.
Een team van onderzoekers heeft zich onlangs gericht op de instrumenten die beschikbaar zijn om wetenschappers te helpen deze verklaringen specifiek voor tijdsgebonden gegevens te bouwen. Ze voerden een systematische review uit van de softwareframeworks—in feite de toolkits en bibliotheken die programmeurs gebruiken om deze verklaringen te genereren en te testen. Hoewel er veel hulpmiddelen bestaan voor het verklaren van beslissingen op basis van afbeeldingen, ontdekten de onderzoekers dat het landschap voor tijdreeksen gefragmenteerd is en nog volop in ontwikkeling is. Ze doorzochten duizenden open-source projecten en filterden deze terug naar zes belangrijke frameworks die beweren tijdreeksgegevens te ondersteunen. Hun doel was om te begrijpen wat deze tools daadwerkelijk kunnen, hoe goed ze werken en of ze klaar zijn voor gebruik in de echte wereld.
Het onderzoek onthulde een aanzienlijke kloof tussen de complexiteit van tijdreeksgegevens en de capaciteiten van de huidige software. Hoewel de zes geïdentificeerde frameworks een breed scala aan methoden bieden om verklaringen te genereren, waren zeer weinig van deze methoden daadwerkelijk met tijdreeksen in gedachten ontworpen. De meeste tools passen simpelweg methoden toe die zijn gemaakt voor afbeeldingen of andere typen gegevens op tijdsgebonden signalen, zonder specifieke aanpassing. De onderzoekers stelden vast dat slechts een klein deel van de beschikbare methoden expliciet rekening houdt met de unieke aard van tijd, zoals het feit dat gebeurtenissen uit het verleden toekomstige gebeurtenissen beïnvloeden, of dat verschillende sensoren in één enkel apparaat vaak van elkaar afhankelijk zijn. In een medische context bijvoorbeeld, is een elektrocardiogramsignaal van één deel van het hart diep verbonden met signalen van andere delen; de huidige tools hebben vaak moeite met het verklaren van deze complexe, gelijktijdige relaties over meerdere kanalen heen.
Een bijzonder opvallende beperking die werd ontdekt, was het gebrek aan ondersteuning voor het analyseren van gegevens in het frequentiedomein. Tijdreeksgegevens kunnen niet alleen begrepen worden door te kijken naar hoe ze veranderen over seconden of minuten, maar ook door te kijken naar de onderliggende frequenties, vergelijkbaar met hoe een muzikale akkoord kan worden afgebroken in individuele noten. In veel taken, zoals het onderscheiden van een mannelijke van een vrouwelijke stem of het identificeren van specifieke soorten hartafwijkingen, liggen de cruciale aanwijzingen vaak verborgen in deze frequentiepatronen in plaats van in het ruwe signaal zelf. De review vond dat van alle methoden die beschikbaar zijn in de zes frameworks, er slechts één in staat was om verklaringen in het frequentiedomein te genereren. Dit betekent dat de tools voor veel belangrijke toepassingen momenteel blind zijn voor precies de patronen die het meest cruciaal kunnen zijn voor het begrijpen van de beslissing.
De onderzoekers testten ook of deze tools consistente resultaten produceren. Ze namen dezelfde wiskundige benadering om de verklaring van de beslissing van een model te verklaren en draalden deze door twee verschillende softwareframeworks. Verrassend genoeg waren de resultaten niet hetzelfde. In het ene geval, bij het gebruik van een specifiek framework, slaagde de verklaring er niet in om het karakteristieke patroon te benadrukken dat een medisch expert zou verwachten, terwijl het andere framework het correct identificeerde. Dit suggereert dat de keuze van de softwaretool de verklaring die een gebruiker ontvangt fundamenteel kan veranderen, zelfs wanneer de onderliggende methode hetzelfde lijkt te zijn. Deze inconsistentie vormt een serieuze uitdaging voor de betrouwbaarheid, aangezien het impliceert dat twee wetenschappers tot verschillende conclusies kunnen komen over waarom een machine een beslissing heeft genomen, simpelweg door verschillende softwarepakketten te gebruiken.
Bovendien benadrukte de studie een tekort aan betrouwbare manieren om deze verklaringen te testen. Om te weten of een verklaring goed is, moeten onderzoekers deze vergelijken met een bekende waarheid, een concept dat 'ground truth' wordt genoemd. De review vond dat de meeste datasets die gebruikt worden voor testen geen informatie over deze ground truth bevatten, wat het moeilijk maakt om te verifiëren of de verklaringen daadwerkelijk correct zijn. Slechts twee specifieke metrieken werden gevonden die specifief ontworpen zijn voor tijdreeksgegevens, terwijl de overgrote meerderheid van de testtools is geleend uit andere vakgebieden. Dit gebrek aan gespecialiseerde testtools betekent dat de kwaliteit van verklaringen voor tijdsgebonden gegevens vaak wordt aangenomen in plaats van bewezen.
Uiteindelijk concludeert het artikel dat hoewel de gemeenschap vooruitgang heeft geboekt in het creëren van software voor het verklaren van tijdreeksbeslissingen, de huidige tools nog niet volledig klaar zijn voor de taak. Ze leunen zwaar op generieke methoden die niet zijn gebouwd voor de unieke uitdagingen van tijdsgebonden gegevens, zoals afhankelijkheden tussen kanalen en frequentiepatronen. De onderzoekers betogen dat het veld behoefte heeft aan verenigde, doelgerichte frameworks die getrouwe, reproduceerbare en tijdbewuste verklaringen kunnen genereren. Totdat dergelijke tools zijn ontwikkeld en gestandaardiseerd, moeten gebruikers met voorzichtigheid te werk gaan, wetende dat de verklaringen van de huidige software onvolledig of inconsistent kunnen zijn, en dat de betrouwbaarheid van deze inzichten sterk afhangt van de gekozen tool.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.