🤖 machine learning

The Failures of Marginal Influence-Based Attribution Methods for Global Time Series Explanations

Dieses Paper argumentiert, dass das primäre Versagen bestehender Zeitreihen-Attributionsmethoden nicht in ihrem skalaren Ausgabeformat liegt, sondern in einem grundlegenden rechnerischen Missverhältnis, bei dem marginale Konditionierung und Off-Manifold-Gradienten direkte und mediiert zeitliche Abhängigkeiten vermengen, was sie gegenüber der zugrunde liegenden kausalen Struktur des Modells untreu macht.

Ursprüngliche Autoren: Amadeo Tunyi

Veröffentlicht 2026-07-21

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Amadeo Tunyi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Rätsel des zeitreisenden Detektivs

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Verbrechen aufzuklären, aber der einzige Hinweis, den Sie haben, ist ein einzelnes, unscharfes Foto des Verdächtigen. Sie wissen, dass der Verdächtige am Tatort war, aber Sie wissen nicht, wie er dorthin gekommen ist, mit wem er unterwegs gesprochen hat oder ob er überhaupt derjenige war, der tatsächlich den Abzug betätigt hat. In der Welt der Künstlichen Intelligenz (KI) ist dies genau das Problem, vor dem Wissenschaftler stehen, wenn sie versuchen zu verstehen, wie Computermodelle Vorhersagen über die Zukunft treffen. Diese Modelle, die alles von Börsenprognosen bis hin zur medizinischen Überwachung antreiben, sind oft „Black Boxes“. Wir wissen, was hineingeht (Daten aus der Vergangenheit) und was herauskommt (eine Vorhersage), aber wir kennen nicht die interne Logik.

Um dies zu beheben, haben Forscher die „Erklärbare KI“ (Explainable AI, XAI) entwickelt. Betrachten Sie XAI als ein Werkzeug, das versucht, die wichtigsten Hinweise hervorzuheben. Für zeitbasierte Daten (wie Wetterlagen oder Herzfrequenzen) ist die aktuelle Standardmethode vergleichbar damit, jedem einzelnen Hinweis eine Punktzahl von 1 bis 10 zu geben. Wenn eine Temperaturmessung um 14:00 Uhr eine Punktzahl von 9 erhält, sagt das Werkzeug: „Das war super wichtig!“ Aber hier liegt der Haken: In der realen Welt sind Ereignisse miteinander verbunden. Die Temperatur um 14:00 Uhr geschah nicht im Vakuum; sie wurde verursacht durch den Wind um 13:00 Uhr, welcher wiederum verursacht wurde durch einen Sturm um 12:00 Uhr. Wenn Ihr Detektiv-Werkzeug der 14:00-Uhr-Temperatur nur eine Punktzahl gibt, ohne zu verstehen, dass sie nur ein Bote für den Sturm war, könnten Sie das Falsche beschuldigen. Dieses Paper taucht tief in die Frage ein, warum unsere aktuellen Detektiv-Werkzeuge daran scheitern, das vollständige Bild der Funktionsweise der Zeit zu erfassen.

Das Paper: Warum unsere „Bewertungsbögen“ falsch liegen

Das Paper mit dem Titel The Failures of Marginal Influence-Based Attribution Methods for Global Time Series Explanations argumentiert, dass die populärste Art und Weise, wie wir versuchen, KI-Vorhersagen zu erklären, in Bezug auf die Zeit fundamental fehlerhaft ist. Die Autoren, angeführt von Amadeo Tunyi, beweisen, dass die Standardmethode – jedem Datenpunkt einen einzelnen „Wichtigkeitswert“ zuzuweisen – so ist, als würde man versuchen, einen komplexen Film zu beschreiben, indem man lediglich die Helligkeit jedes einzelnen Einzelbildes auflistet. Dabei geht die Handlung verloren.

Das Kernproblem: Die „Mediator“-Falle
Die Autoren verwenden eine geschickte Analogie einer Ereigniskette. Stellen Sie sich einen Domino-Aufbau vor:

Sie stoßen den ersten Domino (Ereignis A) an.
Er stößt den zweiten Domino um (Ereignis B).
Der zweite Domino stößt den dritten um (Ereignis C).

In dieser Kette verursacht Ereignis A das Ereignis C, aber nur, weil es über Ereignis B geschah. Ereignis B ist der „Mediator“ (Vermittler). Das Paper zeigt, dass aktuelle KI-Erklärungsverfahren schrecklich darin sind, zwischen einer direkten Ursache und einer vermittelten Ursache zu unterscheiden. Sie sehen, dass Ereignis A geschah und Ereignis C geschah, und geben Ereignis A daher einen hohen Wert, in der Annahme, es habe Ereignis C direkt verursacht. In Wirklichkeit war Ereignis A jedoch nur deshalb wichtig, weil es Ereignis B bewegt hat. Die Werkzeuge „halluzinieren“ eine direkte Verbindung, die nicht existiert, weil sie den Mittelsmann ignorieren.

Der „Off-Manifold“-Fehler
Das Paper weist zudem auf einen zweiten, hinterlistigen Fehler hin. Stellen Sie sich vor, Sie balancieren auf einem Seil (dem „Manifold“ bzw. der Mannigfaltigkeit). Dies ist der einzige Pfad, auf dem die Daten Sinn ergeben. Wenn Sie vom Seil in den Leerraum treten, befinden Sie sich an einem Ort, der in der Realität niemals vorkommt. Die Autoren fanden heraus, dass viele populäre Methoden (wie SHAP und Gradienten-basierte Tools) versehentlich solche „Off-Manifold“-Szenarien betrachten. Sie fragen: „Was würde passieren, wenn die Temperatur 100 Grad betrüge, während die Luftfeuchtigkeit bei 0 % liegt?“ Obwohl diese Kombination in der realen Welt unmöglich ist, berechnet die Mathematik einen Wert dafür. Dies führt dazu, dass die KI Dingen eine Bedeutung beimisst, die mathematisch möglich, aber physisch unmöglich sind, was die Erklärung verwirrt.

Was das Paper beweist
Die Autoren haben nicht nur geraten; sie haben Simulationen und mathematische Beweise durchgeführt, um zu zeigen, dass:

Standardmethoden versagen: Populäre Werkzeuge wie SHAP, TimeSHAP und Saliency Maps geben konsistent den falschen Variablen die Kreditwürdigkeit zurück, wenn Daten „autokorreliert“ sind (wenn die heutigen Daten stark von den gestrigen abhängen).
Sie den Unterschied nicht erkennen können: In ihren Tests vergaben diese Tools denselben „Wichtigkeitswert“ an eine Variable, unabhängig davon, ob sie eine direkte Ursache oder nur ein Bote war. Sie konnten nicht zwischen einer direkten Verbindung und einer Kettenreaktion unterscheiden.
Sie die Regeln der Realität verletzen: Durch das Betrachten unmöglicher Datenkombinationen verletzen sie die „On-Manifold“-Regel, was bedeutet, dass ihre Erklärungen die tatsächlichen Gesetze der von ihnen analysierten Daten nicht respektieren.

Die vorgeschlagene Lösung: Der „Transition Tensor“
Wenn der Bewertungsbogen also defekt ist, was nutzen wir stattdessen? Die Autoren schlagen eine neue Denkweise vor, die DAG-Faithfulness genannt wird. Anstatt zu fragen: „Wie wichtig ist diese einzelne Zahl?“, sollten wir fragen: „Wie sieht die Karte der Verbindungen aus?“

Sie schlagen vor, die einfache Liste von Scores durch einen Transition Tensor zu ersetzen. Stellen Sie sich ein 3D-Gitter oder eine komplexe Tabelle vor, die nicht nur sagt: „A ist wichtig“. Stattdessen bildet sie ab: „A beeinflusst B zum Zeitpunkt 1, was dann B zu Zeitpunkt 2 beeinflusst, was wiederum C zu Zeitpunkt 3 beeinflusst.“

Es erfasst die Richtung des Einflusses.
Es erfasst das Timing (den Lag/Verzug).
Es erfasst die Beziehungen zwischen den Variablen.

Das Paper argumentet, dass eine Erklärung erst dann wirklich „treu“ (faithful) ist, wenn sie in der Lage ist, diese Karte der Verbindungen (einen gerichteten azyklischen Graphen oder DAG) exakt so zu rekonstruieren, wie das KI-Modell ihn gelernt hat. Wenn die Erklärung sagt: „A verbindet sich mit C“, das Modell aber eigentlich gelernt hat: „A verbindet sich mit B, und B verbindet sich mit C“, dann ist die Erklärung eine Lüge, selbst wenn die endgültige Vorhersage korrekt war.

Der aktuelle Stand der Dinge
Die Autoren merken vorsichtig an, dass sie zwar das Problem identifiziert und die perfekte Lösung definiert haben (DAG-Faithfulness), aber noch nicht das perfekte Werkzeug selbst gebaut haben. Sie zeigen, dass einige neuere Methoden (wie FIT und WinIT) näher am Ziel liegen, da sie versuchen, die „Regeln der Straße“ einzuhalten (auf dem Manifold zu bleiben), aber sie kämpfen dennoch mit der Sensitivität. Das Paper schließt mit der Feststellung, dass das Feld aufhören muss, komplexe zeitbasierte Logik in einfache Zahlen zu pressen, und stattdessen beginnen muss, diese 3D-„Verbindungskarten“ zu entwickeln.

Kurz gesagt: Das Paper ist ein Weckruf: Wir können den einfachen „Wichtigkeitswerten“ für zeitbasierte KI nicht länger vertrauen. Sie lassen die Geschichte darüber, wie Ereignisse miteinander verknüpft sind, unberücksichtigt, und solange wir nicht zu Methoden wechseln, die diese Verbindungen abbilden, werden unsere Erklärungen unvollständig und potenziell irreführend bleiben. Die Autoren haben die Karte des Problems gezeichnet und den Weg zur Lösung gewiesen, aber die Reise zum Bau der perfekten Karte hat gerade erst begonnen.

Technisches Resümee: Das Versagen marginaler Einflussbasierter Attributionsmethoden für globale Zeitreihen-Erklärungen

1. Problemstellung

Das Paper adressiert eine fundamentale strukturelle Unzulänglichkeit aktueller XAI-Methoden (Explainable AI) für Zeitreihenmodelle. Während das dominante Paradigma in der XAI auf flacher Attribution basiert – also der Zuweisung eines Skalarwertes zu jedem Feature an jedem Zeitschritt, um dessen „direkten“ Beitrag darzustellen –, versagt dieser Ansatz dabei, die relationale und konditionale Natur des zeitlichen Schließens zu erfassen.

Die Autoren argumentieren, dass bestehende Methoden (einschließlich gradientenbasierter, perturbationsbasierter und auf Attention basierender Ansätze) direkte zeitliche Abhängigkeiten mit medierten Abhängigkeiten aufgrund von Autokorrelation verwechseln. Durch die Reduktion hochdimensionaler relationaler Strukturen auf eindimensionale Zusammenfassungen verwerfen diese Methoden die konditionalen Abhängigkeitsinformationen, die den eigentlichen Denkprozess des Modells ausmachen. Folglich können sie nicht zwischen einem Feature unterscheiden, das einen Forecast direkt beeinflusst, und einem, das ihn nur indirekt über eine Zwischenvariable beeinflusst.

2. Methodik und theoretischer Rahmen

Definitionen und Notation:

Flache Attribution (Definition 1): Eine Methode, die einen Skalarwert $\phi_i^{(t)}(x)$ für ein Variablen-Zeitpaar $(X_i, t)$ mittels marginaler Konditionierung oder Gradienten erzeugt, ohne auf die Werte anderer Inputs zu konditionieren, die den Effekt vermitteln könnten.
Modell-Abhängigkeitsgraph (MDDAG, $G_f$ , Definition 2): Ein gerichteter azyklischer Graph (DAG), der die von einem Modell $f$ gelernten wahren Abhängigkeiten darstellt. Eine Kante existiert von Input $X_i^{(t_1)}$ zu Forecast-Ziel $X_j^{(T+w)}$ genau dann, wenn der Input unter Berücksichtigung aller anderen Inputs bedingt abhängig vom Forecast ist.
DAG-Treue (Definition 3): Ein neues Treuekriterium (Faithfulness), das fordert, dass der durch eine Erklärungsmethode induzierte Abhängigkeitsgraph $G_T$ dieselben bedingten Unabhängigkeiten (Markov-Äquivalenz) kodiert wie der MDDAG $G_f$ .

Die rechnerische Lücke (Computational Gap):
Das Paper identifiziert eine „rechnerische Lücke“, in der flache Methoden zwei notwendige Admissibilitätsbedingungen nicht erfüllen können:

On-manifold Evaluation (C1): Die Attribution darf nur von dem Verhalten des Modells innerhalb des Supports der Datenverteilung ( $\text{supp}(p)$ ) abhängen, nicht von Off-manifold-Reparametrisierungen.
Konditionale Separation (C2): Die Attribution zu einem Input muss gegen Null gehen, wenn dieser Input unter Berücksichtigung der verbleibenden Inputs bedingt unabhängig vom Forecast ist.

Fallstudien und Beweise:
Die Autoren konstruieren spezifische Szenarien, um das Versagen von Standardmethoden zu demonstrieren:

Szenario I (Autokorrelation): Ein Modell, bei dem $X^{(2)}$ den Effekt von $X^{(1)}$ auf den Forecast mediiert. Flache Methoden (z. B. SHAP-Varianten) weisen $X^{(1)}$ fälschlicherweise nicht-null Scores zu, da sie es versäumen, auf $X^{(2)}$ zu konditionieren, was gegen C2 verstößt.
Szenario II (On-manifold Constraints): Ein deterministischer Prozess, bei dem $X^{(2)} = \delta X^{(1)}$ . Hier hat $X^{(1)}$ innerhalb des Datensupports keinen direkten Effekt auf den Forecast. Gradientenbasierte Methoden (Saliency, Integrated Gradients) detektieren jedoch nicht-null Ableitungen, weil sie Off-manifold-Punkte abfragen, was gegen C1 verstößt.

Vorgeschlagene Repräsentation:
Um diese Einschränkungen zu überwinden, schlägt das Paper vor, skalare Scores durch einen Transition Tensor (Definition 4) zu ersetzen. Dies ist ein dreidimensionales Array $T_{loc} \in \mathbb{R}^{D \times D \times T}$ (oder $D \times D \times T \times W$ für Mehrschritt-Forecasts), das den Einfluss einer Quellvariablen $i$ zum Lag $t_1$ auf die Zielvariable $j$ quantifiziert. Die globale Erklärung wird aus dem Support des aggregierten globalen Tensors abgeleitet, wobei die strukturelle Existenz von der Stärke der Magnitude getrennt wird.

3. Zentrale Beiträge

Formalisierung der rechnerischen Lücke: Das Paper definiert rigoros die Diskrepanz zwischen flachen Attributionsmethoden und der konditionalen Abhängigkeitsstruktur von Zeitreihenmodellen und beweist, dass skalare Scores die notwendige Struktur bedingter Unabhängigkeit nicht erfassen können.
Definition der DAG-Treue: Es führt DAG-Treue als das angemessene Kriterium für globale Zeitreihen-Erklärungen ein, welches auf der Markov-Äquivalenz zum gelernten Abhängigkeitsgraphen des Modells basiert.
Nachweis des Versagens von Standardmethoden:
- Theorem 1: Beweist, dass Standard-SHAP (und seine Zeitreihen-Erweiterungen wie TimeSHAP) im Allgemeinen nicht DAG-treu sind, da sie aufgrund von Autokorrelation spurenechte Kanten (spurious edges) erzeugen.
- Proposition 1 & 2: Demonstriert, dass marginale Einflussbasierte Methoden (KernelSHAP, ShapTime) die konditionale Separation (C2) verletzen, während gradientenbasierte Methoden (Saliency, Integrated Gradients) die On-manifold Evaluation (C1) verletzen.
Evaluierung bestehender Erweiterungen: Das Paper evaluiert temporal-bewusste Methoden (FIT, WinIT, Dynamask). Obwohl diese durch die Verwendung von In-Distribution-Replacements die Admissibilität teilweise erfüllen, leiden sie unter geringer Sensitivität gegenüber echten direkten Kanten (False Negatives), sind jedoch strukturell näher an der Admissibilität als flache Methoden.
Vorschlag admissibler Instanziierungen: Die Autoren schlagen vor, dass eine gültige Erklärung ein Transition Tensor sein muss, der mittels einer admissiblen Funktionalität instanziiert wird, welche sowohl C1 als auch C2 erfüllt. Sie schlagen die Kombination von Manifold-bewussten Jacobians (für C1) mit Maßen für die Verteilungverschiebung (für C2) vor.

4. Ergebnisse und empirische Evidenz

Das Paper liefert empirische Belege durch synthetische Benchmarks, in denen verschiedene Methoden gegen die Ground-Truth-Abhängigkeitsgraphen getestet wurden:

Flache Methoden (SHAP, TimeSHAP, ShapTime, TS-MULE): Versagen konsistent darin, zwischen direkten und mediierten Effekten zu unterscheiden. In Szenario I weisen sie nicht-null Scores für vollständig mediierten Variablen zu. In Szenario II respektieren sie die On-manifold-Constraints nicht.
Gradienten-Methoden (Saliency, IG, TIG, SmoothGrad): Können in einigen Fällen zwischen direkten und mediierten Effekten unterscheiden, scheitern jedoch konsistent an Szenario II, indem sie Variablen eine Relevanz zuweisen, die auf dem Daten-Manifold bedingt unabhängig sind, aufgrund ihrer Off-manifold-Sensitivität.
Perturbations-Methoden (FIT, WinIT, Dynamask): Diese Methoden halluzinieren keine Kanten in den Fehlerszenarien (sie respektieren C1 und C2 besser), weisen jedoch eine geringe Sensitivität auf und weisen oft Scores nahe Null für echte direkte Kanten zu (False Negatives).

Keine der getesteten Methoden erreicht Korrektheit über alle Szenarien hinweg, was die Behauptung des Papers bestätigt, dass aktuelle Paradigmen strukturell unzureichend sind.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass sich das Feld der Zeitreihen-XAI von einer output-zentrierten Treue (Ändert die Perturbation des Features den Output?) zu einer struktur-zentrierten Treue (Rekonstruiert die Erklärung die interne Struktur der bedingten Unabhängigkeit des Modells?) entwickeln muss.

Theoretischer Wandel: Die Autoren argumentieren, dass das skalare Format selbst nicht der primäre Fehlermodus ist, sondern die marginale Konditionierung und die Off-manifold-Evaluation, die den Algorithmen inhärent sind.
Neuer Standard: Sie postulieren, dass DAG-Treue das notwendige Kriterium für globale Erklärungen ist und dass der Transition Tensor das minimale Repräsentationsobjekt ist, das diese Abhängigkeiten kodieren kann.
Offene Herausforderung: Das Paper identifiziert die Konstruktion einer konkreten, admissiblen Instanziierung des Transition Tensors, die in der Praxis sowohl C1 als auch C2 erfüllt, als das zentrale offene Problem für die zukünftige Forschung. Es merkt explizit an, dass zwar der Tensor die korrekte interne Repräsentation ist, aber Visualisierungsstrategien benötigt werden, um diese hochdimensionale Struktur menscheninterpretierbar zu machen.

Das Paper schließt mit dem Aufruf an die XAI-Community, diesen struktur-zentrierten Rahmen zu übernehmen und über flache Attributionsscores für temporale Domänen hinauszugehen.