🤖 machine learning

The Failures of Marginal Influence-Based Attribution Methods for Global Time Series Explanations

Dit artikel betoogt dat de primaire tekortkoming van bestaande methoden voor attributie in tijdreeksen niet ligt in hun scalaire outputformaat, maar in een fundamentele computationele mismatch waarbij marginale conditionering en off-manifold gradiënten directe en gemedieerde temporele afhankelijkheden vermengen, waardoor ze ongetrouw zijn aan de onderliggende causale structuur van het model.

Oorspronkelijke auteurs: Amadeo Tunyi

Gepubliceerd 2026-07-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Amadeo Tunyi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Mysterie van de Tijdreizende Detective

Stel je voor dat je een detective bent die een misdaad probeert op te lossen, maar het enige bewijsstuk dat je hebt, is een enkele, wazige foto van de verdachte. Je weet dat de verdachte op de plaats delict was, maar je weet niet hoe ze daar terechtkwamen, met wie ze onderweg hebben gepraat, of ze zelfs wel degelijk degene waren die de trekker overhaalden. In de wereld van Kunstmatige Intelligentie (AI) is dit precies het probleem waar wetenschappers voor staan wanneer ze proberen te begrijpen hoe computermodellen voorspellingen doen over de toekomst. Deze modellen, die alles van aandelenmarktvoorspellingen tot medische monitoring aansturen, zijn vaak "black boxes". We weten wat erin gaat (data uit het verleden) en wat eruit komt (een voorspelling), maar we kennen de interne logica niet.

Om dit op te lossen, hebben onderzoekers "Explainable AI" (XAI) ontwikkend. Denk aan XAI als een tool die probeert de belangrijkste aanwijzingen te highlighten. Voor tijdgebonden data (zoals weerpatronen of hartslag) is de huidige standaardmethode alsof je elke aanwijzing een score geeft van 1 tot 10. Als een temperatuurmeting om 14:00 uur een score van 9 krijgt, zegt de tool: "Dit was superbelangrijk!" Maar hier zit de crux: in de echte wereld zijn gebeurtenissen met elkaar verbonden. De temperatuur om 14:00 uur gebeurde niet in een vacuüm; deze werd veroorzaakt door de wind om 13:00 uur, die weer werd veroorzaakt door een storm om 12:00 uur. Als jouw detective-tool alleen een score geeft aan de temperatuur om 14:00 uur zonder te begrijpen dat dit slechts een boodschapper was van de storm, dan wijs je misschien het verkeerde ding aan. Dit paper duikt diep in de reden waarom onze huidige detective-tools er niet in slagen het volledige plaatje van hoe de tijd werkt te zien.

Het Paper: Waarom Onze "Scorekaarten" Fout Zijn

Het paper, getiteld The Failures of Marginal Influence-Based Attribution Methods for Global Time Series Explanations, betoogt dat de meest populaire manier waarop we proberen AI-voorspellingen uit te leggen, fundamenteel kapot is als het gaat om tijd. De auteurs, onder leiding van Amadeo Tunyi, bewijzen dat de standaardmethode — het geven van een enkele "belangrijkheidsscore" aan elk datapunt — lijkt op het proberen te beschrijven van een complexe film door alleen de helderheid van elk frame op te sommen. Het mist het plot.

Het Kernprobleem: De "Mediator"-valstrik
De auteurs gebruiken een slimme analogie met een keten van gebeurtenissen. Stel je een domino-opstelling voor:

Je duwt de eerste domino (Gebeurtenis A).
Deze brengt de tweede domino in beweging (Gebeurtenis B).
De tweede domino brengt de derde domino in beweging (Gebeurtenis C).

In deze keten veroorzaakt Gebeurtenis A Gebeurtenis C, maar alleen omdat het via Gebeurtenis B liep. Gebeurtenis B is de "mediator". Het paper laat zien dat huidige AI-uitlegtools er slecht in zijn om het verschil te zien tussen een directe oorzaak en een bemiddelde oorzaak. Ze zien dat Gebeurtenis A plaatsvond en Gebeurtenis C plaatsvond, en geven Gebeurtenis A daarom een hoge score, denkend dat het Gebeurtenis C direct heeft veroorzaakt. Maar in werkelijkheid deed Gebeurtenis A er alleen toe omdat het Gebeurtenis B in beweging bracht. De tools "hallucineren" een directe verbinding die niet bestaat omdat ze de tussenpersoon negeren.

De "Off-Manifold" Fout
Het paper wijst ook op een tweede, sluipende fout. Stel je voor dat je op een koord loopt (het "manifold"). Dit is het enige pad waar de data zinvol is. Als je van het koord afstapt in de leegte, bevind je je op een plek die in het echte leven nooit voorkomt. De auteurs ontdekten dat veel populaire methoden (zoals SHAP en gradiëntgebaseerde tools) per ongelig naar deze "off-rope" scenario's kijken. Ze vragen: "Wat zou er gebeuren als de temperatuur 100 graden was terwijl de luchtvochtigheid 0% was?" Hoewel deze combinatie onmogelijk is in de echte wereld, berekent de wiskunde een score voor deze situatie. Dit leidt ertoe dat de AI belang toekent aan zaken die wiskundig mogelijk zijn, maar fysiek onmogelijk, wat de uitleg verwarrend maakt.

Wat het Paper Bewijst
De auteurs gokten niet alleen; ze draalden simulaties en wiskundige bewijzen om aan te tonen dat:

Standaardmethoden falen: Populaire tools zoals SHAP, TimeSHAP en Saliency maps geven consequent de verkeerde variabelen de eer wanneer data "autocorrelatie" vertoont (wanneer de data van vandaag sterk afhangt van die van gisteren).
Ze het verschil niet kunnen zien: In hun tests gaven deze tools dezelfde "belangrijkheidsscore" aan een variabele, of het nu een directe oorzaak was of slechts een boodschapper. Ze konden geen onderscheid maken tussen een directe link en een kettingreactie.
Ze de regels van de realiteit schenden: Door naar onmogelijke datacombinaties te kijken, schenden ze de "on-manifold" regel, wat betekent dat hun uitleg niet voldoet aan de werkelijke wetten van de data die ze analyseren.

De Voorgestelde Oplossing: De "Transition Tensor"
Dus, als de scorekaart kapot is, wat gebruiken we dan wel? De auteurs stellen een nieuwe manier van denken voor genaamd DAG-faithfulness. In plaats van te vragen "Hoe belangrijk is dit enkele getal?", moeten we vragen "Wat is de kaart van de verbindingen?".

Ze stellen voor om de eenvoudige lijst met scores te vervangen door een Transition Tensor. Stel je een 3D-raster of een complex spreadsheet voor dat niet alleen zegt "A is belangrijk". In plaats daarvan brengt het in kaart: "A op tijdstip 1 beïnvloedt B op tijdstip 2, wat vervolgens C op tijdstip 3 beïnvloedt."

Het legt de richting van de invloed vast.
Het legt de timing (de vertraging/lag) vast.
Het legt de relaties tussen variabelen vast.

Het paper betoogt dat voor een uitleg die werkelijk getrouw (faithful) is, deze in staat moet zijn om de kaart van verbindingen (een Directed Acyclic Graph, of DAG) exact zo te reconstrueren als het AI-model heeft geleerd. Als de uitleg zegt "A verbindt met C", maar het model heeft geleerd "A verbindt met B, en B verbindt met C", dan is de uitleg een leugen, zelfs als de uiteindelijke voorspelling correct was.

De Huidige Stand van Zaken
De auteurs merken er voorzichtig bij op dat hoewel ze het probleem hebben geïdentificeerd en de perfecte oplossing hebben gedefinieerd (DAG-faithfulness), ze de perfecte tool nog niet volledig hebben gebouwd. Ze laten zien dat sommige nieuwere methoden (zoals FIT en WinIT) dichter bij de doelstelling liggen omdat ze proberen de "regels van de weg" te respecteren (blijven op het manifold), maar ze worstelen nog steeds met sensitiviteit. Het paper concludeert dat het vakgebied moet stoppen met het proberen te persen van complexe tijdgebonden logica in eenvoudige getallen en moet beginnen met het bouwen van deze 3D "verbindingenkaarten".

Kortom, het paper is een waarschuwing: we kunnen de eenvoudige "belangrijkheidsscores" voor tijdreeks-AI niet langer vertrouwen. Ze missen het verhaal van hoe gebeurtenissen verbonden zijn, en totdat we overstappen op methoden die die verbindingen in kaart brengen, zullen onze verklaringen incompleet en potentieel misleidend blijven. De auteurs hebben de kaart van het probleem getekend en de weg naar de oplossing gewezen, maar de reis om de perfecte kaart te bouwen is pas net begonnen.

Technische Samenvatting: De tekortkomingen van op marginale invloed gebaseerde attributiemethoden voor globale tijdreeksverklaringen

1. Probleemstelling

Het artikel behandelt een fundamentele structurele tekortkoming in de huidige XAI-methoden (Explainable AI) voor tijdreeksmodellen. Terwijl het dominante paradigma in XAI steunt op platte attributiescorevorming—het toekennen van een scalaire waarde aan elke feature op elk tijdstip om diens "directe" bijdrage weer te geven—schiet deze benadering tekort in het vastleggen van de relationele en conditionele aard van temporele redenering.

De auteurs stellen dat bestaande methoden (inclusief gradiëntgebaseerde, perturbatiegebaseerde en aandachtgebaseerde benaderingen) directe temporele afhankelijkheden verwarren met gemedieerde afhankelijkheden veroorzaakt door autocorrelatie. Door hoogdimensionale relationele structuren te reduceren tot eendimensionale samenvattingen, vernietigen deze methoden de conditionele afhankelijkheidsinformatie die de werkelijke redeneerstructuur van het model vormt. Bijgevolg kunnen ze niet onderscheiden tussen een feature die een voorspelling direct beïnvloedt en een feature die dit slechts indirect beïnvloedt via een intermediaire variabele.

2. Methodologie en Theoretisch Kader

Definities en Notatie:

Platte Attributie (Definitie 1): Een methode die een scalaire score $\phi_i^{(t)}(x)$ produceert voor een variabele-tijd paar $(X_i, t)$ via marginale conditionering of gradiënten, zonder te conditioneren op de waarden van andere inputs die het effect kunnen mediëren.
Model Dependency Graph (MDDAG, $G_f$ , Definitie 2): Een gerichte acyclische graaf (DAG) die de werkelijke door het model $f$ geleerde afhankelijkheden representeert. Een rand bestaat van $X_i^{(t_1)}$ naar de voorspellingsdoelwit $X_j^{(T+w)}$ indien en slechts indien de input conditioneel afhankelijk is van de voorspelling gegeven alle overige inputs.
DAG-getrouwheid (DAG-Faithfulness, Definitie 3): Een nieuw getrouwheidscriterium dat vereist dat de door een verklaringmethode geïnduceerde afhankelijkheidsgraaf $G_T$ dezelfde conditionele onafhankelijkheden (Markov-equivalentie) codeert als de MDDAG $G_f$ .

De Computationele Kloof:
Het artikel identificeert een "computationele kloof" waarbij platte methoden er niet in slagen twee noodzakelijke toelaatbaarheidscondities te vervullen:

On-manifold Evaluatie (C1): De attributie moet uitsluitend afhangen van het gedrag van het model binnen het ondersteuningsgebied van de datadistributie ( $\text{supp}(p)$ ), en niet van off-manifold herparametrisaties.
Conditionele Separatie (C2): De attributie aan een input moet verdwijnen als die input conditioneel onafhankelijk is van de voorspelling gegeven de resterende inputs.

Casestudy's en Bewijzen:
De auteurs construeren specifieke scenario's om de tekortkomingen van standaardmethoden aan te tonen:

Scenario I (Autocorrelatie): Een model waarbij $X^{(2)}$ het effect van $X^{(1)}$ op de voorspelling medieert. Platte methoden (bijv. SHAP-varianten) kennen onterecht niet-nul scores toe aan $X^{(1)}$ omdat ze er niet in slagen te conditioneren op $X^{(2)}$ , wat een schending van C2 betekent.
Scenario II (On-manifold restricties): Een deterministisch proces waarbij $X^{(2)} = \delta X^{(1)}$ . Hier heeft $X^{(1)}$ geen directe invloed op de voorspelling binnen de datastructuur. Echter, gradiëntgebaseerde methoden (Saliency, Integrated Gradients) detecteren wel niet-nul derivaten omdat ze off-manifold punten beproeven, wat een schending van C1 betekent.

Voorgestelde Representatie:
Om deze beperkingen te overwinnen, stelt het artikel voor om scalaire scores te vervangen door een Transitietensor (Definitie 4). Dit is een driedimensionale array $T_{loc} \in \mathbb{R}^{D \times D \times T}$ (of $D \times D \times T \times W$ voor multi-step voorspellingen) die de invloed van bronvariabele $i$ op lag $t_1$ op doelvariabele $j$ kwantificeert. De globale verklaring wordt afgeleid uit de support van de geaggregeerde globale tensor, waarbij de structurele existentie wordt gescheiden van de sterkte van de magnitude.

3. Belangrijkste Bijdragen

Formalisering van de Computationele Kloof: Het artikel definieert rigoureus de mismatch tussen platte attributiemethoden en de conditionele afhankelijkheidsstructuur van temporele modellen, en bewijst dat scalaire scores de noodzakelijke conditionele onafhankelijkheidsstructuur niet kunnen vatten.
Definitie van DAG-getrouwheid: Het introduceert DAG-getrouwheid als het passende criterium voor globale tijdreeksverklaringen, geworteld in de Markov-equivalentie met de door het model geleerde afhankelijkheidsgraaf.
Bewijs van Falen voor Standaardmethoden:
- Stelling 1: Bewijst dat standaard SHAP (en zijn tijdreeks-extensies zoals TimeSHAP) in het algemeen niet DAG-getrouw zijn, aangezien ze spookranden genereren door autocorrelatie.
- Propositie 1 & 2: Demonstreert dat marginale invloedgebaseerde methoden (KernelSHAP, ShapTime) falen voor Conditionele Separatie (C2), terwijl gradiëntgebaseerde methoden (Saliency, Integrated Gradients) falen voor On-manifold Evaluatie (C1).
Evaluatie van Bestaande Extensies: Het artikel evalueert temporeel-bewuste methoden (FIT, WinIT, Dynamask). Hoewel zij de toelaatbaarheid gedeeltelijk bevredigen door gebruik te maken van in-distributie vervangingen, lijden zij onder een lage sensitiviteit voor genuante directe randen (vals negatieven), hoewel ze structureel dichter bij toelaatbaarheid liggen dan platte methoden.
Voorstel voor Toelaatbare Instanties: De auteurs stellen voor dat een geldige verklaring een Transitietensor moet zijn, geïnstantieerd via een toelaatbare functionaal die zowel aan C1 als C2 voldoet. Ze suggeren het combineren van manifold-bewuste Jacobiaanen (voor C1) met conditionele distributieverschuivingsmaten (voor C2).

4. Resultaten en Empirisch Bewijs

Het artikel levert empirisch bewijs via synthetische benchmarks waarbij verschillende methoden worden vergeleken met de grondwaarheid van de afhankelijkheidsgrafen:

Platte Methoden (SHAP, TimeSHAP, ShapTime, TS-MULE): Falen consequent in het onderscheiden tussen directe en gemedieerde effecten. In Scenario I kennen ze niet-nul scores toe aan volledig gemedieerde variabelen. In Scenario II houden ze geen rekening met on-manifold restricties.
Gradiëntmethoden (Saliency, IG, TIG, SmoothGrad): Onderscheiden in sommige gevallen correct direct vs. gemedieerd effect, maar falen consequent in Scenario II door niet-nul relevantie toe te kennen aan variabelen die conditioneel onafhankelijk zijn op het datamanifold, vanwege de off-manifold sensitiviteit.
Perturbatiemethoden (FIT, WinIT, Dynamask): Deze methoden hallucineren geen randen in de faalscenario's (ze respecteren C1 en C2 beter), maar vertonen een lage sensitiviteit, waarbij ze vaak bijna nul scores toekennen aan genuante directe randen (vals negatieven).

Geen enkele geteste methode bereikt correctheid in alle scenario's, wat de claim van het artikel bevestigt dat de huidige paradigma's structureel ontoereikend zijn.

5. Betekenis en Claims

Het artikel claimt dat het veld van de tijdreeks-XAI moet verschuiven van output-gecentreerde getrouwheid (verandert het verstoren van de feature de output?) naar structuur-gecentreerde getrouwheid (herstelt de verklaring de interne conditionele onafhankelijkheidsstructuur van het model?).

Theoretische Verschuiving: De auteurs betogen dat het scalaire formaat zelf niet de primaire foutmodus is, maar de marginale conditionering en de off-manifold evaluatie die inherent zijn aan de huidige algoritmen.
Nieuwe Standaard: Zij stellen dat DAG-getrouwheid de noodzakelijke criteria is voor globale verklaringen, en dat de Transitietensor het minimale representatie-object is dat in staat is deze afhankelijkheden te coderen.
Open Uitdaging: Het artikel identificeert de constructie van een concrete, toelaatbare instantie van de transitietensor die in de praktijk zowel aan C1 als C2 voldoet, als de centrale openstaande vraag voor toekomstig onderzoek. Er wordt expliciet vermeld dat hoewel de tensor de juiste interne representatie is, er visualisatiestrategieën nodig zijn om deze hoogdimensionale structuur menselijk interpreteerbaar te maken.

Het artikel concludeert met een oproep aan de XAI-gemeenschap om dit structuur-gecentreerde kader te adopteren en verder te gaan dan platte attributiescores voor temporele domeinen.