Quantifying Explainable AI-introduced signal noise on ECG data with Spectral Entropy

Technische Samenvatting: Kwantificering van door XAI geïntroduceerde signaalruis op ECG-data met behulp van Spectrale Entropie

Probleemstelling
In medische toepassingen, met name voor draagbare ECG-monitoring, hebben deep learning-modellen Explainable AI (XAI)-instrumenten nodig om beslissingen te rechtvaardigen en deskundige verificatie te faciliteren. Bestaande XAI-technieken (bijv. SHAP, LIME, GRAD-CAM) vertrouwen echter op heuristieken zoals sampling en segmentatie, wat onvermijdelijk "zelfruis" introduceert in de uitleg. Deze ruis manifesteert zich als het op een foutieve wijze highlighten van kenmerken die niet daadwerkelijk door het model worden gebruikt. Er bestaat een aanzienlijke kloof in de literatuur: bijna de helft van de gepubliceerde XAI-toepassingen evalueert de uitleg zelf niet, en huidige richtlijnen (zoals FUTURE-AI) bevelen een kwantitatieve beoordeling van de XAI-gevoeligheid voor ruis aan. De auteurs identificeren een gebrek aan systematische methoden om onderscheid te maken tussen het werkelijke "model-signaal" en de "door XAI geïntroduceerde ruis", waarbij zij opmerken dat hoewel er nauwkeurigheidsmaten bestaan, deze de precisie of de "clutter" (rommeligheid) van een uitleg niet kwantificeren.

Methodologie
Het artikel stelt Spectrale Entropie voor als een proxy-metriek om de hoeveelheid zelfruis die door XAI-instrumenten wordt toegevoegd te kwantificeren. De auteurs behandelen de XAI-output (de attributiekaart) als een signaal.

• Theoretische basis: Gebasend op de Shannon-entropie, postuleren de auteurs dat een "slechte" uitleg lijkt op witte ruis (een uniforme willekeurige toewijzing van belangrijkheid), wat overeenkomt met maximale entropie. Omgekeerd zal een precieze uitleg met een geconcentreerd signaal een lagere entropie vertonen.
• Berekening: De methode omvat het berekenen van de Power Spectral Density (PSD) van de uitleg met behulp van een periodogram (via scipy), het normaliseren van de PSD, en het toepassen van de standaard Shannon-entropieformule ($PSE = -\sum p_i \log p_i$). De auteurs merken op dat hoewel XAI-outputs geen tijdreeksen zijn, de berekening van de spectrale entropie robuust blijft, ongeacht de veronderstelde bemonsteringsfrequentie.
• Experimentele opzet:
  • Data: 1.000 ECG-opnames uit de MIT-BIH-dataset, geclassificeerd in 17 typen aritmieën.
  • Model: Een 17-laagse 1D-CNN (getraind door de auteurs op basis van Sun et al. [15]) die een nauwkeurigheid van 93,5% behaalt.
  • Geëvalueerde XAI-tools: GRAD-CAM, LIME (tijdreeksvariant), DEEP-LIFT, REX, en twee SHAP-varianten (GRADIENTSHAP, KERNELSHAP).
  • Ground Truth: Voor de klasse Premature Ventricular Contraction (PVC) zijn 20 ECG's handmatig geannoteerd door domeinexperts om een "ground truth" uitlegregio vast te stellen.
  • Preprocessing: Negatieve waarden (die kenmerken aangeven die afleidend zijn van de classificatie) werden genegeerd tijdens de entropieberekening om uitsluitend te focussen op positieve bijdragen.

Belangrijkste Resultaten
De studie evalueerde de gemiddelde spectrale entropie over alle 17 klassen en specifieke casestudy's (PVC):

• Ruisniveaus: De instrumenten vielen uiteen in twee brede categorieën: hoge ruis en lage ruis.
  • Hoge ruis: KERNELSHAP, LIME, GRADIENTSHAP en DEEP-LIFT vertoonden een hoge spectrale entropie (bijv. KERNELSHAP: 10,21, LIME: 10,20), wat duidt op een signaal dat dicht bij witte ruis ligt of significante spookpieken bevat.
  • Lage ruis: GRAD-CAM (1,07) en REX (1,93) vertoonden aanzienlijk lagere entropie, wat wijst op minder zelfruis.
• Nauwkeurigheid vs. Entropie: De auteurs observeerden dat een lage entropie geen garantie biedt voor nauwkeurigheid. Zo had LIME een lage entropie, maar slaagde het er niet in om de juiste PVC-regio te highlighten. Omgekeerd had GRADIENTSHAP een hoge entropie, maar identificeerde het correct de relevante pieken, zij het met spookruis.
• Consistentie: Voor de meeste instrumenten bleef de entropie relatief constant over verschillende klassen van aritmieën, wat suggereert dat de metriek de intrinsieke baseline heuristische ruis van het instrument zelf vastlegt in plaats van klasse-specifieke variaties. REX was een uitzondering en vertoonde een hoge variantie, mogelijk door het vermogen om meerdere uitlegvormen te genereren.
• Specifieke bevindingen: KERNELSHAP werd als ongeschikt beschouwd voor dit datatype vanwege het ruisprofiel. GRAD-CAM vertoonde minimale ruis, maar leed aan upsampling-artefacten die het signaal niet goed uitlijnden met de ground truth.

Betekenis en Claims
Het artikel beweert dat spectrale entropie dient als een goedkope, real-time proxy-maat voor het kwantificeren van de "precisie" van een uitleg, specifwel de mate van de door het XAI-instrument toegevoegde spookinformatie.

• Onderscheid van Nauwkeurigheid: De auteurs stellen expliciet dat spectrale entropie de concentratie van het signaal (precisie) meet in plaats van de juistheid van de locatie (nauwkeurigheid). Een uitleg met lage entropie kan nog steeds op de verkeerde plek zitten, maar een uitleg met hoge entropie is waarschijnlijk te diffuus om nuttig te zijn.
• Schaalbaarheid: De primaire bijdrage is een methode om de beoordeling van XAI-instrumenten te schalen voorbij de beperkingen van handmatige expert-annotatie. Het complementeert bestaande metrieken (zoals deletie/insertie-curves of fideliteit) door zich te richten op de interne ruiskenmerken van het proces van uitleggeneratie.
• Beperkingen: De auteurs blijven bescheiden en erkennen dat entropie niet kan bepalen of de criteria van een model overeenkomen met menselijke experts en dat het geen op zichzelf staande maatstaf voor "waarachtigheid" is. Het wordt voorgesteld als een instrument om de beoordeling door domeinexperts aan te vullen, niet te vervangen.