Sparse outlier-robust PCA for multi-source data

Titel: Sparse outlier-robust PCA voor multi-source data

Auteurs: Patricia Puchhammer, Ines Wilms, Peter Filzmoser
Datum: Juli 2024

---

1. Probleemstelling

Principal Component Analysis (PCA) is een van de meest gebruikte methoden voor dimensiereductie en visualisatie. Echter, standaard PCA en bestaande methoden voor Sparse PCA (waarbij ladingen worden gesparseerd voor betere interpretatie) hebben twee belangrijke beperkingen in moderne toepassingen:

1. Multi-source data: Veel wetenschappelijke datasets bestaan uit meerdere gerelateerde bronnen (bijv. tijdreeksen per jaar, ruimtelijke data per regio, of biologische monsters per soort). Bestaande methoden analyseren deze vaak ofwel globaal (alle data samen, wat lokale patronen maskeert) ofwel lokaal (per subset, wat globale samenhang negeert). Er is een methode nodig die gelijktijdig globale patronen (gemeenschappelijk over bronnen) en lokale patronen (specifiek per bron) kan detecteren.
2. Uitbijters (Outliers): Klassieke PCA is zeer gevoelig voor uitbijters, wat leidt tot vertekende covariantiestructuren en foutieve conclusies. Hoewel er robuuste PCA-methoden bestaan (zoals ROSPCA), zijn deze niet ontworpen voor de complexe structuur van multi-source data met gestructureerde sparsiteit.

Het doel van dit onderzoek is een nieuwe PCA-methode te ontwikkelen die sparse, uitbijter-robust en multi-source is.

2. Methodologie

De auteurs introduceren een geavanceerde optimalisatieprobleemoplossing die drie kerncomponenten combineert:

A. Doelfunctie met Gestructureerde Sparsiteit

In plaats van alleen elementsgewijze sparsiteit (L1-penalty) toe te passen, wordt een combinatie van penalties gebruikt om globaal-lokale gestructureerde sparsiteit te modelleren.

• Loadings: De ladingen worden weergegeven als een matrix $V$, waarbij kolommen bronnen vertegenwoordigen en rijen variabelen.
• Penalty: De doelfunctie bevat twee termen:
  1. Een elementsgewijze L1-penalty (voor lokale sparsiteit per variabele per bron).
  2. Een groeps-penalty (L2-norm over de bronnen voor een specifieke variabele) om globale sparsiteit te forceren (als een variabele irrelevant is, is deze voor alle bronnen nul).
• Parameter $\gamma$: Een mengparameter ($\gamma \in [0, 1]$) die de balans bepaalt tussen lokaal ($\gamma=1$) en globaal ($\gamma=0$) sparsiteitspatroon.

B. Uitbijter-robustheid via ssMRCD Plug-in

Om robuustheid te garanderen, wordt de spatially smoothed Minimum Regularized Covariance Determinant (ssMRCD) schatter gebruikt als plug-in voor de covariantiematrices en gemiddelden.

• Functie: De ssMRCD schatter selecteert een subset van "schone" observaties per bron en regulariseert de covariantiematrices door ze te "smoothen" over de bronnen, gewogen door een gelijkenismatrix $W$.
• Voordeel: Dit maakt de methode robuust tegen uitbijters en benut tegelijkertijd de informatie uit verwante bronnen om de schattingen nauwkeuriger te maken.

C. Oplossingsalgoritme: ADMM

Het optimalisatieprobleem is niet-convex en bevat orthogonaliteitsbeperkingen per bron. De auteurs ontwikkelen een efficiënt algoritme gebaseerd op de Alternating Direction Method of Multipliers (ADMM).

• Techniek: Het probleem wordt opgesplitst in subproblemen die iteratief worden opgelost.
• Convergentie: Er worden specifieke strategieën ontwikkeld voor het kiezen van startwaarden (gebaseerd op extreme oplossingen) en de straffactor $\rho$ om convergentie te garanderen, zelfs bij niet-convexe problemen.
• Hyperparameters: Er worden criteria voorgesteld voor het selecteren van de sparsiteitsparameters ($\eta, \gamma$) en de smoothing-parameter ($\lambda$) van de ssMRCD, vaak gebaseerd op het maximaliseren van de verklaarde variantie versus sparsiteit (Trade-Off Product).

3. Belangrijkste Bijdragen

1. Nieuwe Methodologie: De eerste methode die sparse PCA toepast op multi-source data met een combinatie van globale en lokale sparsiteitspatronen.
2. Robuustheid: Integratie van de ssMRCD schatter in een sparse PCA-context, wat robuustheid biedt tegen uitbijters in complexe, gegroepeerde datasets.
3. Efficiënt Algoritme: Een op ADMM gebaseerde implementatie die convergentie bereikt in simulaties en real-world data, inclusief strategieën voor het omgaan met niet-convexiteit.
4. Flexibiliteit: De methode is toepasbaar op diverse datastructuren (tijdreeksen, ruimtelijke data, biologische groepen) en kan zowel globale als lokale patronen onthullen die met traditionele methoden gemist zouden worden.

4. Resultaten

Simulaties

• Sparsiteitsdetectie: De methode slaagt erin om zowel elementsgewijze als groepsgebonden sparsiteitspatronen nauwkeurig te herstellen, zelfs bij hoge dimensies.
• Robuustheid: In vergelijking met ROSPCA (een bestaande robuuste sparse PCA-methode) en niet-robuste methoden, presteert de voorgestelde ssMRCD-methode aanzienlijk beter bij aanwezigheid van uitbijters.
  • Bij 20% vervuiling behoudt de robuuste methode een lage hoek met de ware subruimte en een lage orthogonale afstand.
  • De methode is effectief bij lokaal vervuilde data (waar slechts één bron uitbijters bevat), waarbij de smoothing over bronnen de schattingen stabiliseert.

Toepassingen

1. Weerdata (Hohe Warte, Oostenrijk):
   • Data: Dagelijkse metingen (1960-2023) over 64 jaar (bronnen).
   • Resultaat: De methode identificeerde drie componenten. PC1 (neerslag) toonde een globaal patroon. PC2 (temperatuur/seizoen) was stabiel. PC3 toonde een tijdsafhankelijk trend (waarschijnlijk gerelateerd aan klimaatverandering) die zichtbaar werd door de lokale variaties in de ladingen over de jaren, iets wat een standaard globale PCA over het hoofd zou zien.
2. Geochemische Plantanalyse (NEXT-project):
   • Data: Elementconcentraties in verschillende plantensoorten en organen (schors, naalden, twijgen).
   • Resultaat: De methode onthulde verschillen in variatie tussen plantensoorten en organen. Het kon onderscheid maken tussen gesteentetypes (calcsilicaat vs. mafisch) op basis van de scores, wat potentieel heeft voor mineralenexploratie. De sparsiteit hielp bij het filteren van ruis en het focussen op relevante elementen (bijv. zware metalen in dennenschors).

5. Betekenis en Conclusie

De paper vult een belangrijke leemte in de statistische literatuur door een brug te slaan tussen robuuste statistiek, sparse learning en multi-source analyse.

• Wetenschappelijke impact: Het biedt onderzoekers een krachtig instrument om complexe datasets te analyseren waar zowel gemeenschappelijke trends als specifieke afwijkingen per groep belangrijk zijn, zonder gevoelig te zijn voor ruis of uitbijters.
• Praktische toepasbaarheid: De methode is reeds succesvol toegepast op klimatologische en geochemische data, wat aantoont dat het niet alleen theoretisch solide is, maar ook praktische meerwaarde biedt voor het ontdekken van nieuwe inzichten (zoals klimaattrends of mineralisatiepatronen).
• Toekomstperspectief: De auteurs suggereren dat de flexibiliteit van de methode ook waardevol kan zijn voor andere multivariate technieken zoals discriminantanalyse, grafische modellering en canonieke correlatieanalyse.

Kortom, dit werk levert een robuust, interpreteerbaar en computerefficiënt raamwerk voor de analyse van moderne, complexe multi-source datasets.