Technische Samenvatting: Verklaarbare Buitengewone Detectie voor Multivariate Functionele Data

Probleemstelling

Multivariate Functionele Data-analyse (FDA) omvat het analyseren van data die worden weergegeven als continue functies over meerdere variabelen (bijvoorbeeld tijdreeksen van meerdere sensoren). Hoewel Functionele Principale Componenten-analyse (FPCA) een dominant hulpmiddel is, blijft de robuuste schatting van gemiddelde- en covariantiefuncties een kritieke uitdaging, met name in aanwezigheid van uitschieters. Uitschieters kunnen niet-robuste schattingen ernstig vervormen, wat leidt tot onbetrouwbare conclusies. Bovendien ontbreekt het bestaande methoden voor het detecteren van uitschieters vaak aan interpretatie; ze identificeren dat een observatie abnormaal is, maar falen in het uitleggen waarom – specifiek, welke componenten (variabelen) en op welke tijdstippen de afwijking optreedt.

De huidige literatuur biedt robuuste methoden voor univariate functionele data en dieptegedreven benaderingen voor multivariate settings, maar er is een gat in het bieden van een verenigd kader dat robuuste op afstand gebaseerde schatting combineert met interpreteerbare, component- en tijdspecifieke uitleg van uitschieters voor multivariate functionele data, met name onder scheidbare covariantiestructuren.

Methodologie

Het voorgestelde kader integreert drie kerncomponenten: robuuste covariantieschatting, een afgekapt multivariate functionele Mahalanobis-afstand, en Shapley-waarde-gebaseerde decompositie.

1. Theoretisch Kader: Scheidbare Covariantie en Basisrepresentatie

De methode veronderstelt dat het multivariate stochastische proces $X(t)$ een scheidbare covariantiestructuur bezit, waarbij de covariantiekern $K(s, t)$ ontbindt in een kruiscovariantiematrix $\Sigma_{row}$ (tussen componenten) en een temporele kern $\kappa(s, t)$ (binnen componenten):
$$K(s, t) = \Sigma_{row} \kappa(s, t)$$
Om discrete observaties te verwerken, worden de data gladgestreken met behulp van een eindige basisrepresentatie (bijvoorbeeld B-splines). Een belangrijke theoretische bijdrage is de vaststelling van een directe link tussen het functionele proces en zijn coëfficiëntenmatrix $A$. Als $X(t) = A' \phi(t)$, bewijst het artikel dat onder scheidbaarheid de coëfficiëntenmatrix $A$ een matrix-variabele verdeling volgt met gemiddelde $M_A$ en covarianties $\Sigma_{row}$ en $\Sigma_{col}$ (waarbij $\Sigma_{col}$ gerelateerd is aan $\kappa$). Dit maakt het mogelijk om de functionele Mahalanobis-afstand te berekenen als een matrix-variabele Mahalanobis-afstand op de coëfficiëntenmatrices, wat de computationele complexiteit aanzienlijk vermindert.

2. Robuuste Schatting: MMCD

Om robuustheid tegenover uitschieters te waarborgen, hanteert het kader de Matrix Minimum Covariance Determinant (MMCD)-schatter (Mayrhofer et al., 2025) om het gemiddelde en de covariantie van de coëfficiëntenmatrices te schatten. Deze aanpak is zeer robuust, efficiënt en consistent voor matrix-variabele elliptische verdelingen. De MMCD-schatters ($\hat{M}_A, \hat{\Sigma}_{row}, \hat{\Sigma}_{col}$) worden gebruikt om een robuuste afgekapt functionele Mahalanobis-afstand te construeren.

3. Afstandsmetriek: Afgekapt Multivariate Functionele Mahalanobis-afstand (fMMD)

De auteurs definiëren de kwadratische afgekapt functionele multivariate Mahalanobis-semi-afstand (fMMD) als:
$$fMMD^2(X; M) = \sum_{k=1}^{M} \frac{1}{\pi_k} \langle X - \mu, \psi_k \rangle^2$$
waarbij $(\pi_k, \psi_k)$ de eigenparen zijn van de covariantie-operator. Onder de scheidbaarheidsveronderstelling wordt aangetoond dat deze afstand equivalent is aan de matrix-variabele Mahalanobis-afstand van de coëfficiëntenmatrix $A$. Deze equivalentie maakt efficiënte berekening mogelijk met behulp van robuuste matrixschatters.

4. Verklaarbaarheid: Shapley-waarde Decompositie

Om het "black box"-karakter van uitschieterdetectie aan te pakken, generaliseren de paper Shapley-waarden (uit de coöperatieve speltheorie) om de totale afwijkendheid (fMMD) te decomponeren in additieve bijdragen.

• Coördinaatspecifiek: Identificeert welke variabele (component) het meest bijdraagt aan de anomalie.
• Tijdspecifiek: Identificeert welke tijdsintervallen het meest bijdragen.
• Tijd-coördinaatspecifiek: Decomponeert gelijktijdig bijdragen per variabele en tijdsinterval.

Cruciaal is dat de auteurs een gesloten oplossing afleiden voor deze bijdragen die de computationele complexiteit reduceert van exponentieel (relatief aan het aantal componenten) naar lineair, terwijl de kernkwaliteiten van Shapley-waarden (efficiëntie, symmetrie, monotonie) behouden blijven.

Belangrijkste Bijdragen

1. Robuust Kader voor Multivariate FDA: Het artikel introduceert een uitgebreid kader voor robuuste schatting van gemiddelde en covariantie in multivariate functionele data met behulp van MMCD-schatters toegepast op basiscoëfficiënten onder een scheidbare covariantieveronderstelling.
2. Theoretische Link tussen Functionele en Matrix-variabele Verdelingen: Het vestigt strikt dat de scheidbaarheid van de covariantie-operator in een multivariaat functioneel proces vertaalt naar een specifieke scheidbare structuur in de verdeling van de willekeurige coëfficiëntenmatrix. Dit overbrugt functionele robuustheid met matrix-variabele robuustheidstheorie.
3. Efficiënte Verklaarbare Uitschieterdetectie: Het werk generaliseert Shapley-waarden naar functionele data, en biedt een principiële methode om multivariate functionele afwijkendheid te decomponeren in tijd- en component-specifieke bijdragen. De afleiding van een algoritme met lineaire complexiteit voor deze decomposities is een aanzienlijke computationele vooruitgang.
4. Empirische Validatie: De methode wordt gevalideerd door uitgebreide simulaties en toepassingen in de echte wereld, waarbij de effectiviteit wordt aangetoond in het detecteren van diverse uitschieter-types (verschuiving, vorm, geïsoleerd, door covariantie veroorzaakt) en de robuustheid, zelfs wanneer de scheidbaarheidsveronderstelling verkeerd gespecificeerd is.

Resultaten

Simulatiestudies

Uitgebreide simulaties werden uitgevoerd waarbij de voorgestelde methode (op MMCD gebaseerde Mahalanobis-afstand) werd vergeleken met state-of-the-art dieptegedreven methoden (bijvoorbeeld fSDO, fAO, fDO), grootte-vorm plots, en functionele isolatiebossen.

• Prestatie: De voorgestelde robuuste op afstand gebaseerde aanpak presteerde consistent beter dan concurrerende methoden wat betreft F-score, AUC en recall, met name voor verschuiving- en vormuitschieters.
• Robuustheid tegen Verkeerde Specificatie: Zelfs wanneer de data de scheidbaarheidsveronderstelling schonden (niet-scheidbare processen), bleef de voorgestelde methode effectief, en presteerde vaak beter dan niet-geregulariseerde steekproefcovariantieschatters vanwege een gunstige bias-variatie trade-off.
• Niet-Gaussische Data: In zwaarstaartige settings (t-verdelingen) behield de robuuste methode een hoge recall en AUC, hoewel de precisie lager was vanwege de moeilijkheid om staarten van de verdeling te onderscheiden van echte uitschieters.
• Interpreteerbaarheid: Shapley-waarden identificeerden succesvol de specifieke coördinaten en tijdsintervallen die verantwoordelijk waren voor uitschieters, en presteerden beter dan naïeve afwijkingsmaten en dieptegedreven lokale scores in scenario's met gelokaliseerde contaminatie.

Toepassingen in de Echte Wereld

1. El Niño–Southern Oscillation (ENSO): Geanalyseerde zeewatertemperatuur (SST)-data van vier Niño-regio's. De multivariate aanpak identificeerde meer extreme ENSO-episoden dan univariate analyse. Shapley-decompositie onthulde dat El Niño-evenementen werden aangedreven door opwarming in Niño 3.4 en Niño 3, terwijl La Niña-evenementen werden aangedreven door afkoeling in Niño 4 en Niño 3.
2. Weerstandspuntlassen: Toegepast op dynamische weerstandskrommen uit de automobielproductie. De methode behaalde een AUC van 0,95, presteerde beter dan andere methoden, en identificeerde succesvol welke laspunten en tijdsintervallen abnormaal waren in gevallen van uitdrijving.
3. Vruchtbaarheidspercentages: Geanalyseerde leeftijdsspecifieke vruchtbaarheidskrommen voor 22 landen. De robuuste methode detecteerde uitschieters die door klassieke schatters werden gemaskeerd (bijvoorbeeld VS, Duitsland) en bood interpreteerbare inzichten in verschuivingen in de timing van vruchtbaarheid over verschillende leeftijdsgroepen en decennia.

Betekenis en Claims

Het artikel claimt een robuuste en interpreteerbare aanpak te bieden voor het analyseren van multivariate functionele data met scheidbare covariantiestructuren. De betekenis hiervan ligt in:

• Voorbij detectie naar uitleg: Door Shapley-waarden te integreren, markeert het kader niet alleen anomalieën, maar legt het deze uit in termen van specifieke componenten en tijdstippen, wat cruciaal is voor domeinexperts (bijvoorbeeld klimatologen, productie-engineers).
• Computationele Efficiëntie: De reductie van de complexiteit van Shapley-waarden van exponentieel naar lineair maakt de methode schaalbaar voor hoogdimensionale functionele data.
• Robuustheid: Het gebruik van MMCD-schatters zorgt ervoor dat detectie en interpretatie niet worden beïnvloed door de uitschieters zelf die ze proberen te vinden.
• Praktische Nut: Het kader blijkt effectief te zijn, zelfs wanneer modelveronderstellingen (scheidbaarheid, normaliteit) niet perfect worden nagekomen, waardoor het een levensvatbaar hulpmiddel is voor data-analyse in de echte wereld waar dergelijke veronderstellingen vaak benaderingen zijn.

De auteurs concluderen dat, hoewel de scheidbaarheidsveronderstelling de modellering vereenvoudigt, de voorgestelde gestructureerde schatter fungeert als een robuuste benadering die vaak stabielere diagnostiek oplevert dan onbeperkte schatters bij matige steekproefgroottes. Toekomstig werk wordt voorgesteld om deze robuuste schattingsmethoden uit te breiden naar niet-scheidbare covariantiestructuren.