📊 statistics

Explainable Outlier Detection for Multivariate Functional Data

Dieser Artikel schlägt einen integrierten Rahmen für eine robuste und interpretierbare Ausreißererkennung in multivariaten funktionalen Daten mit separierbaren Kovarianzstrukturen vor, indem ein matrix-variativer Minimum-Covariance-Determinant-Schätzer mit einer rechnerisch effizienten, auf Shapley-Werten basierenden Zerlegung der Ausreißerhaftigkeit kombiniert wird.

Ursprüngliche Autoren: Marcus Mayrhofer, Una Radojičić, Horst Lewitschnig, Peter Filzmoser

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Marcus Mayrhofer, Una Radojičić, Horst Lewitschnig, Peter Filzmoser

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind Qualitätsmanager in einer riesigen Fabrik, die täglich Tausende verschiedener Arten kontinuierlicher Datenströme produziert. Dabei handelt es sich nicht nur um einzelne Zahlen; es sind multivariate funktionale Daten. Betrachten Sie sie als ein Bündel aus sanft fließenden Flüssen (Funktionen), wobei jeder Fluss einen anderen Sensor oder eine andere Messgröße (wie Temperatur, Druck und Luftfeuchtigkeit) darstellt, die über die Zeit aufgezeichnet wurden.

Ihre Aufgabe besteht darin, die „schlechten" Flüsse zu erkennen – jene, die im Vergleich zum Rest seltsam fließen. Doch hier liegt der Haken: Manchmal können ein paar schlechte Flüsse Ihre Messinstrumente dazu verleiten, anzunehmen, dass die gesamte Fabrik anders läuft, als sie es tatsächlich tut. Dies ist das Problem von Ausreißern, die Ihre Kovarianz (wie die Flüsse zueinander in Beziehung stehen) verzerren.

Diese Arbeit stellt ein neues, hochintelligentes Werkzeugset vor, das zwei Probleme gleichzeitig löst:

Robustheit: Wie man das „wahre" Muster der Flüsse findet, ohne von den schlechten getäuscht zu werden.
Erklärbarkeit: Sobald Sie einen schlechten Fluss gefunden haben, müssen Sie genau wissen, wo und warum er schlecht ist. Ist es der Temperatursensor, der im Juli einen Spitzenwert erreicht? Ist es der Druck, der im März abfällt?

Hier ist die Funktionsweise ihrer Lösung, aufgeschlüsselt in einfache Konzepte:

1. Die „Smoothie"-Strategie (Basisdarstellung)

Realwelt-Daten sind unordentlich und an bestimmten Punkten aufgezeichnet (wie Schnappschüsse). Um sie zu analysieren, verwandeln die Autoren diese gezackten Schnappschüsse zunächst in glatte, kontinuierliche Kurven (wie das Mixen eines Smoothies aus Fruchtklumpen). Sie repräsentieren diese Kurven mithilfe eines Satzes von Bausteinen, die Basisfunktionen genannt werden (denken Sie an sie als Lego-Steine).

Anstatt Millionen von Datenpunkten zu analysieren, analysieren sie die Koeffizienten (das Rezept), die angeben, wie viele von jedem Lego-Stein zu verwenden sind. Dies verwandelt ein komplexes, unendliches Problem in eine handhabbare Matrix (ein Raster von Zahlen).

2. Die „Separable"-Abkürzung

Die Autoren gehen von einer hilfreichen Struktur aus, die als separable Kovarianz bezeichnet wird. Stellen Sie sich vor, die Fabrik hat zwei Arten von Beziehungen:

Vertikal: Wie die verschiedenen Sensoren (Temperatur, Druck) zu einem einzigen Zeitpunkt zueinander in Beziehung stehen.
Horizontal: Wie ein einzelner Sensor über die Zeit verhält (z. B. steigt die Temperatur glatt an?).

Die „separable" Annahme besagt, dass diese beiden Beziehungen unabhängig voneinander sind und miteinander multipliziert werden können. Es ist, als würde man sagen, das „Geschmacksprofil" des Smoothies ist getrennt vom „Texturprofil". Dies vereinfacht die Mathematik massiv und ermöglicht den Einsatz leistungsfähiger Matrix Minimum Covariance Determinant (MMCD)-Schätzer.

Die Analogie: Stellen Sie sich vor, Sie versuchen, die durchschnittliche Form einer Menge von Tänzern zu finden. Wenn ein Tänzer ein wildes, unregelmäßiges Solo aufführt, würde ein normaler Durchschnitt wie ein verschwommener Wirrwarr aussehen. Die MMCD-Methode ist wie eine intelligente Kamera, die die 50 % der chaotischsten Tänzer ignoriert, den Durchschnitt der verbleibenden ruhigen Menge berechnet und Ihnen ein klares, wahres Bild der Bewegung der Gruppe liefert.

3. Der „Shapley-Wert"-Detektiv (Erklärbarkeit)

Sobald das System einen bestimmten Fluss als „ausreißend" (seltsam) markiert hat, lautet die große Frage: Warum?
In der Vergangenheit wüsste man vielleicht nur: „Diese Kurve ist seltsam." Doch diese Arbeit verwendet Shapley-Werte (ein Konzept aus der Spieltheorie), um wie ein forensischer Detektiv zu agieren.

Die Analogie: Stellen Sie sich vor, eine Gruppe von Freunden (die verschiedenen Sensoren) und ein Zeitraum (die Tage des Monats) tragen alle zu einem „Seltsamkeits-Score" bei. Die Shapley-Wert-Methode fragt: „Wenn wir den Temperatursensor für den Monat Juli entfernen, wie stark sinkt dann der Seltsamkeits-Score?" Dies wird für jeden Sensor und jeden Zeitabschnitt durchgeführt, und die Ergebnisse werden gemittelt.

Dies ermöglicht dem System zu sagen: „Diese Beobachtung ist ein Ausreißer, weil der Temperatursensor speziell während der Wintermonate um 20 % höher als üblich war, während der Drucksensor normal war."

Der Zaubertrick: Normalerweise ist eine solche detaillierte Aufschlüsselung rechnerisch unmöglich (es würde länger dauern als das Alter des Universums für große Datensätze). Die Autoren fanden einen mathematischen Abkürzungsweg, der diese Komplexität von exponentiell (unmöglich) auf linear (schnell) reduziert und sie damit für den praktischen Einsatz in der realen Welt nutzbar macht.

4. Tests in der realen Welt

Die Autoren testeten ihr Werkzeugset an zwei realen Szenarien:

El Niño (Klimadaten): Sie analysierten die Meeresoberflächentemperaturen in vier verschiedenen Regionen des Pazifischen Ozeans. Ihre Methode identifizierte erfolgreich extreme El-Niño- und La-Niña-Jahre, die andere Methoden übersehen hatten. Noch wichtiger: Der „Detektiv"-Teil zeigte genau, welche Region (z. B. Niño 3.4) und welche Jahreszeit (z. B. Herbst) die Anomalie vorantrieben.
Widerstandspunktschweißen (Fertigung): Sie analysierten elektrische Widerstandskurven aus der Automobilfertigung. Sie entdeckten fehlerhafte Schweißnähte (Ausreißer) und lokalisierten genau, welcher Teil des Schweißprozesses und welche spezifische Elektrode das Problem verursachten.

Zusammenfassung

Kurz gesagt baut diese Arbeit ein robustes, detektivisches System zur Analyse komplexer, multisensorischer Datenströme auf.

Es ignoriert das Rauschen, um das wahre Muster zu finden (Robustheit).
Es zerlegt das Muster in Lego-ähnliche Bausteine, um Berechnungen schnell zu machen (Basisdarstellung).
Es verwendet einen spieltheoretischen Detektiv, um genau zu erklären, welcher Sensor und welcher Zeitraum ein Problem verursacht hat (Shapley-Werte).

Das Ergebnis ist eine Methode, die nicht nur sagt: „Etwas ist falsch", sondern Ihnen mitteilt: „Der Temperatursensor war im Juli zu hoch", was sie für Ingenieure und Wissenschaftler, die die Ursache von Anomalien beheben müssen, unglaublich nützlich macht.

Technische Zusammenfassung: Erklärbare Ausreißererkennung für multivariate funktionale Daten

Problemstellung

Die Analyse multivariater funktionaler Daten (Functional Data Analysis, FDA) umfasst die Auswertung von Daten, die als kontinuierliche Funktionen über mehrere Variablen dargestellt werden (z. B. Zeitreihen mehrerer Sensoren). Obwohl die Funktionale Hauptkomponentenanalyse (FPCA) ein dominantes Werkzeug ist, bleibt die robuste Schätzung von Mittelwert- und Kovarianzfunktionen eine kritische Herausforderung, insbesondere in Gegenwart von Ausreißern. Ausreißer können nicht-robuste Schätzungen erheblich verzerren und zu unzuverlässigen Schlussfolgerungen führen. Darüber hinaus fehlt es bestehenden Methoden zur Ausreißererkennung oft an Interpretierbarkeit; sie identifizieren zwar, dass eine Beobachtung anomal ist, versagen jedoch darin zu erklären, warum – konkret, welche Komponenten (Variablen) und zu welchen Zeitpunkten die Abweichung auftritt.

Die aktuelle Literatur bietet robuste Methoden für univariate funktionale Daten und tiefenbasierte Ansätze für multivariate Settings, doch es besteht eine Lücke bei der Bereitstellung eines einheitlichen Rahmens, der eine robuste, distanzbasierte Schätzung mit interpretierbaren, komponenten- und zeit spezifischen Ausreißererklärungen für multivariate funktionale Daten kombiniert, insbesondere unter separablen Kovarianzstrukturen.

Methodik

Der vorgeschlagene Rahmen integriert drei Kernkomponenten: eine robuste Kovarianzschätzung, eine abgeschnittene multivariate funktionale Mahalanobis-Distanz und eine auf Shapley-Werten basierende Zerlegung.

1. Theoretischer Rahmen: Separable Kovarianz und Basisdarstellung

Die Methode geht davon aus, dass der multivariate stochastische Prozess $X(t)$ eine separable Kovarianzstruktur besitzt, wobei der Kovarianzkern $K(s, t)$ in eine Kreuzkovarianzmatrix $\Sigma_{row}$ (zwischen den Komponenten) und einen zeitlichen Kern $\kappa(s, t)$ (innerhalb der Komponenten) zerfällt:
$K(s, t) = \Sigma_{row} \kappa(s, t)$
Um diskrete Beobachtungen zu behandeln, werden die Daten mittels einer endlichen Basisdarstellung (z. B. B-Splines) geglättet. Ein wesentlicher theoretischer Beitrag ist die Herleitung eines direkten Zusammenhangs zwischen dem funktionalen Prozess und seiner Koeffizientenmatrix $A$ . Wenn $X(t) = A' \phi(t)$ gilt, beweist die Arbeit, dass unter der Annahme der Separabilität die Koeffizientenmatrix $A$ einer matrix-variaten Verteilung mit Mittelwert $M_A$ und Kovarianzen $\Sigma_{row}$ und $\Sigma_{col}$ (wobei $\Sigma_{col}$ mit $\kappa$ zusammenhängt) folgt. Dies ermöglicht die Berechnung der funktionalen Mahalanobis-Distanz als matrix-variate Mahalanobis-Distanz auf den Koeffizientenmatrizen, was die rechnerische Komplexität erheblich reduziert.

2. Robuste Schätzung: MMCD

Um Robustheit gegenüber Ausreißern zu gewährleisten, verwendet der Rahmen den Matrix Minimum Covariance Determinant (MMCD)-Schätzer (Mayrhofer et al., 2025), um den Mittelwert und die Kovarianz der Koeffizientenmatrizen zu schätzen. Dieser Ansatz ist für matrix-variate elliptische Verteilungen hochgradig robust, effizient und konsistent. Die MMCD-Schätzer ( $\hat{M}_A, \hat{\Sigma}_{row}, \hat{\Sigma}_{col}$ ) werden zur Konstruktion einer robusten, abgeschnittenen funktionalen Mahalanobis-Distanz verwendet.

3. Distanzmetrik: Abgeschnittene multivariate funktionale Mahalanobis-Distanz (fMMD)

Die Autoren definieren die quadrierte abgeschnittene funktionale multivariate Mahalanobis-Halbdistanz (fMMD) als:
$fMMD^2(X; M) = \sum_{k=1}^{M} \frac{1}{\pi_k} \langle X - \mu, \psi_k \rangle^2$
wobei $(\pi_k, \psi_k)$ die Eigenpaare des Kovarianzoperators sind. Unter der Separabilitätsannahme wird gezeigt, dass diese Distanz äquivalent zur matrix-variaten Mahalanobis-Distanz der Koeffizientenmatrix $A$ ist. Diese Äquivalenz ermöglicht eine effiziente Berechnung unter Verwendung robuster Matrixschätzer.

4. Erklärbarkeit: Shapley-Wert-Zerlegung

Um das „Black-Box"-Charakter der Ausreißererkennung zu adressieren, verallgemeinert die Arbeit Shapley-Werte (aus der kooperativen Spieltheorie), um die gesamte Ausreißerstärke (fMMD) in additive Beiträge zu zerlegen.

Koordinatenspezifisch: Identifiziert, welche Variable (Komponente) am meisten zur Anomalie beiträgt.
Zeitspezifisch: Identifiziert, welche Zeitintervalle am meisten beitragen.
Zeit-Koordinatenspezifisch: Zerlegt die Beiträge gleichzeitig nach Variable und Zeitintervall.

Entscheidend ist, dass die Autoren eine geschlossene Lösung für diese Beiträge herleiten, die die rechnerische Komplexität von exponentiell (relativ zur Anzahl der Komponenten) auf linear reduziert, während die Schlüsseleigenschaften der Shapley-Werte (Effizienz, Symmetrie, Monotonie) erhalten bleiben.

Hauptbeiträge

Robuster Rahmen für multivariate FDA: Die Arbeit stellt einen umfassenden Rahmen für die robuste Mittelwert- und Kovarianzschätzung in multivariaten funktionalen Daten vor, der MMCD-Schätzer auf Basis-Koeffizienten unter der Annahme einer separablen Kovarianz anwendet.
Theoretischer Link zwischen funktionalen und matrix-variaten Verteilungen: Sie etabliert rigoros, dass die Separabilität des Kovarianzoperators in einem multivariaten funktionalen Prozess in eine spezifische separable Struktur in der Verteilung der zufälligen Koeffizientenmatrix übersetzt wird. Dies verbindet funktionale Robustheit mit der Theorie der matrix-variaten Robustheit.
Effiziente erklärbare Ausreißererkennung: Die Arbeit verallgemeinert Shapley-Werte auf funktionale Daten und bietet eine prinzipielle Methode, um multivariate funktionale Ausreißerstärke in zeit- und komponentenspezifische Beiträge zu zerlegen. Die Herleitung eines Algorithmus mit linearer Komplexität für diese Zerlegungen stellt einen bedeutenden rechnerischen Fortschritt dar.
Empirische Validierung: Die Methode wird durch umfangreiche Simulationen und reale Anwendungen validiert und zeigt ihre Wirksamkeit bei der Erkennung verschiedener Ausreißertypen (Verschiebung, Form, isoliert, kovarianzinduziert) sowie ihre Robustheit, selbst wenn die Separabilitätsannahme falsch spezifiziert ist.

Ergebnisse

Simulationsstudien

Umfangreiche Simulationen wurden durchgeführt, um die vorgeschlagene Methode (auf MMCD basierende Mahalanobis-Distanz) mit state-of-the-art tiefenbasierten Methoden (z. B. fSDO, fAO, fDO), Magnitude-Form-Plots und funktionalen Isolation Forests zu vergleichen.

Leistung: Der vorgeschlagene robuste distanzbasierte Ansatz schnitt bei F-Score, AUC und Recall konsistent besser ab als konkurrierende Methoden, insbesondere bei Verschiebungs- und Formausreißern.
Robustheit gegenüber Fehlspezifikation: Selbst wenn die Daten die Separabilitätsannahme verletzten (nicht-separable Prozesse), blieb die vorgeschlagene Methode effektiv und übertraf oft unregulierte Stichprobenkovarianzschätzer aufgrund eines günstigen Bias-Varianz-Ausgleichs.
Nicht-gaußsche Daten: In settings mit schweren Verteilungsenden (t-Verteilungen) behielt die robuste Methode einen hohen Recall und AUC bei, obwohl die Präzision aufgrund der Schwierigkeit, Verteilungsenden von echten Ausreißern zu unterscheiden, niedriger war.
Interpretierbarkeit: Shapley-Werte identifizierten erfolgreich die spezifischen Koordinaten und Zeitintervalle, die für Ausreißer verantwortlich waren, und übertrafen naive Abweichungsmaße sowie tiefenbasierte lokale Scores in Szenarien mit lokaler Kontamination.

Reale Anwendungen

El Niño–Southern Oscillation (ENSO): Analyse von Meeresoberflächentemperaturdaten (SST) aus vier Niño-Regionen. Der multivariate Ansatz identifizierte extremere ENSO-Episoden als die univariate Analyse. Die Shapley-Zerlegung zeigte, dass El Niño-Ereignisse durch Erwärmung in Niño 3.4 und Niño 3 getrieben wurden, während La Niña-Ereignisse durch Abkühlung in Niño 4 und Niño 3 getrieben wurden.
Widerstandspunktschweißen: Anwendung auf dynamische Widerstandskurven aus der Automobilherstellung. Die Methode erreichte einen AUC von 0,95, übertraf andere Methoden und identifizierte erfolgreich, welche Schweißpunkte und Zeitintervalle in Fällen von Auswurf anomal waren.
Fruchtbarkeitsraten: Analyse altersspezifischer Fruchtbarkeitskurven für 22 Länder. Die robuste Methode entdeckte Ausreißer, die von klassischen Schätzern maskiert wurden (z. B. USA, Deutschland), und lieferte interpretierbare Einblicke in Verschiebungen des Fruchtbarkeitszeitpunkts über verschiedene Altersgruppen und Jahrzehnte hinweg.

Bedeutung und Behauptungen

Die Arbeit behauptet, einen robusten und interpretierbaren Ansatz zur Analyse multivariater funktionaler Daten mit separablen Kovarianzstrukturen bereitzustellen. Ihre Bedeutung liegt in:

Über die Erkennung hinaus zur Erklärung: Durch die Integration von Shapley-Werten markiert der Rahmen nicht nur Anomalien, sondern erklärt sie in Bezug auf spezifische Komponenten und Zeitpunkte, was für Domänenexperten (z. B. Klimatologen, Fertigungsingenieure) entscheidend ist.
Rechnerische Effizienz: Die Reduzierung der Komplexität der Shapley-Werte von exponentiell auf linear macht die Methode für hochdimensionale funktionale Daten skalierbar.
Robustheit: Die Verwendung von MMCD-Schätzern stellt sicher, dass die Erkennung und Interpretation nicht durch die Ausreißer selbst verzerrt werden, die sie zu finden versuchen.
Praktische Nützlichkeit: Es wird gezeigt, dass der Rahmen auch dann wirksam ist, wenn Modellannahmen (Separabilität, Normalität) nicht perfekt erfüllt sind, was ihn zu einem praktikablen Werkzeug für die reale Datenanalyse macht, wo solche Annahmen oft nur Näherungen darstellen.

Die Autoren schließen, dass die Separabilitätsannahme zwar die Modellierung vereinfacht, der vorgeschlagene strukturierte Schätzer jedoch als robuste Approximation fungiert, die oft stabilere Diagnosen liefert als unbeschränkte Schätzer bei moderaten Stichprobengrößen. Als zukünftige Arbeit wird vorgeschlagen, diese robusten Schätztechniken auf nicht-separable Kovarianzstrukturen zu erweitern.