Sparse outlier-robust PCA for multi-source data

1. Problemstellung

Herkömmliche Hauptkomponentenanalyse (PCA) und deren sparse Varianten werden typischerweise auf einzelne Datensätze angewendet. In vielen wissenschaftlichen Bereichen liegen jedoch Multi-Source-Daten vor (z. B. Zeitreihen, räumliche Daten oder Daten mit verschiedenen Subgruppen), die eine gemeinsame Analyse erfordern.
Die Herausforderungen bei der Anwendung von PCA auf solche Daten sind:

• Interpretierbarkeit: Bei vielen Variablen sind die Ladungen (Loadings) oft schwer zu interpretieren. Eine induzierte Sparsity (Viele Einträge auf Null setzen) ist notwendig, um die wichtigsten Merkmale zu identifizieren.
• Strukturierte Sparsity: Bei Multi-Source-Daten müssen nicht nur einzelne Variablen, sondern ganze Variablen über alle Quellen hinweg (global) oder spezifisch für eine Quelle (lokal) als irrelevant erkannt werden können.
• Ausreißerempfindlichkeit: Klassische PCA-Schätzer (Kovarianzmatrix, Mittelwert) sind extrem anfällig für Ausreißer, was die Richtung der maximalen Varianz verzerrt.
• Lücken in der Forschung: Bisherige robuste sparse PCA-Methoden (wie ROSPCA) behandeln Quellen meist isoliert oder ignorieren die strukturierte Sparsity über mehrere Quellen hinweg.

2. Methodik

Die Autoren schlagen eine neue Methode vor, die sparse PCA mit ausreißerrobuster Schätzung für Multi-Source-Daten kombiniert.

A. Das Optimierungsproblem

Das Ziel ist die Schätzung der Ladungsmatrix $V^k$ für die $k$-te Hauptkomponente. Das Problem wird als Minimierung formuliert:
$$\min_{V} -\sum_{i=1}^N v_{\cdot i}' \hat{\Sigma}_i v_{\cdot i} + \eta \gamma \sum_{j=1}^p \|v_{j \cdot}\|_1 + \eta(1-\gamma)\sqrt{N} \sum_{j=1}^p \|v_{j \cdot}\|_2$$
Dabei ist:

• $\hat{\Sigma}_i$: Die robuste Kovarianzmatrix der $i$-ten Quelle.
• $v_{\cdot i}$: Der Ladungsvektor für Quelle $i$.
• $\eta$: Der Regularisierungsparameter für den Grad der Sparsity.
• $\gamma \in [0, 1]$: Der Mischparameter, der zwischen lokaler Sparsity ($\gamma=1$, L1-Strafe pro Eintrag) und globaler/strukturierter Sparsity ($\gamma=0$, L2-Strafe pro Variablen-Gruppe über alle Quellen) abwägt.
• Die Orthogonalitätsbedingungen werden pro Quelle separat eingehalten.

B. Robustheit durch ssMRCD Plug-in

Statt klassischer Kovarianzschätzer wird der spatially smoothed Minimum Regularized Covariance Determinant (ssMRCD) Schätzer verwendet.

• Dieser Schätzer berechnet Kovarianzen für jede Quelle, glättet diese jedoch basierend auf einer Ähnlichkeitsmatrix $W$ (z. B. zeitliche oder räumliche Nähe der Quellen).
• Dies nutzt globale Informationen, um die Schätzung auch bei kleinen Stichproben oder lokalen Ausreißern zu stabilisieren.
• Der ssMRCD wählt eine Teilmenge der Daten ($H$-Subset) aus, die am wenigsten ausreißerbehaftet ist, und regularisiert die Kovarianzmatrix.

C. Algorithmus (ADMM)

Da das Optimierungsproblem nicht-konvex und durch Orthogonalitätsbedingungen eingeschränkt ist, wird ein effizienter Algorithmus basierend auf der Alternating Direction Method of Multipliers (ADMM) entwickelt.

• Aufteilung: Das Problem wird in vier Teilprobleme zerlegt (konsistente Optimierung).
• Startwerte: Es werden spezielle Startwerte entwickelt, die eine Kombination aus den Extremfällen (keine Sparsity vs. maximale Sparsity) darstellen, um die Konvergenz zu beschleunigen.
• Konvergenz: Durch zusätzliche Constraints (Vorzeichenbeschränkung) wird das Umspringen zwischen entgegengesetzten Lösungen verhindert.
• Hyperparameter-Selektion: Es werden Kriterien zur Auswahl von $\gamma$, $\eta$ und dem Glättungsparameter $\lambda$ des ssMRCD vorgeschlagen (z. B. Trade-off-Produkt aus Varianzaufklärung und Sparsity).

3. Wichtige Beiträge

1. Neue Methodik: Erste Einführung einer robusten, strukturiert-sparse PCA für mehrere Datenquellen, die globale und lokale Muster simultan erfasst.
2. Integration von ssMRCD: Erfolgreiche Anwendung des ssMRCD als Plug-in für robuste Kovarianzschätzung in einem Multi-Source-Kontext.
3. Effizienter Algorithmus: Entwicklung eines ADMM-basierten Lösungsverfahrens mit speziellen Techniken zur Handhabung nicht-konvexer Constraints und Orthogonalität.
4. Hyperparameter-Tuning: Praktische Richtlinien zur Auswahl der Sparsity- und Glättungsparameter in einem unüberwachten Setting (ohne Cross-Validation).

4. Ergebnisse

Die Methode wurde in Simulationen und zwei realen Anwendungen getestet:

Simulationen

• Sparsity-Erkennung: Die Methode konnte strukturierte Sparsity-Muster (sowohl global als auch lokal) in den Ladungen korrekt wiederherstellen.
• Robustheit: Im Vergleich zu ROSPCA (der State-of-the-Art robusten sparse PCA) und klassischen Methoden zeigte die vorgeschlagene Methode bei kontaminierten Daten (20% Ausreißer) deutlich bessere Ergebnisse in Bezug auf:
  • Winkel zwischen echtem und geschätztem Unterraum.
  • Orthogonale Distanzen (Rekonstruktionsfähigkeit).
  • Genauigkeit bei der Identifikation von Null-Einträgen (TNR/TPR).
• Lokale Kontamination: Selbst wenn nur eine Quelle Ausreißer enthielt, blieb die globale Schätzung stabil, während isolierte Methoden (wie ROSPCA) in der kontaminierten Quelle stark versagten.

Anwendungsbeispiele

1. Wetterdaten (Hohe Warte, Wien):
   • Analyse von täglichen Wetterdaten über 64 Jahre (64 Quellen = Jahre).
   • Ergebnis: Die erste Komponente zeigte ein globales Muster (Niederschlag). Die dritte Komponente enthüllte einen Trend über die Zeit (vermutlich Klimawandel), der in den Ladungen der letzten Jahre sichtbar wurde. Eine klassische globale PCA hätte diesen zeitlichen Wandel in der Struktur der Variablen nicht erkannt.
2. Geochemische Pflanzenanalyse:
   • Analyse von Elementkonzentrationen in verschiedenen Pflanzenteilen (Rinde, Nadel, Zweig) von drei Baumarten.
   • Ergebnis: Die Methode identifizierte spezifische Kombinationen von Pflanzen und Organen, die zwischen verschiedenen Gesteinstypen (Kalksilikat vs. mafisch) unterscheiden konnten. Dies ist relevant für die mineralische Exploration. Die strukturierte Sparsity half, physiologische Unterschiede zwischen Arten und Organen klar zu trennen.

5. Bedeutung und Fazit

Das Paper schließt eine wichtige Lücke in der multivariaten Statistik, indem es die Vorteile von Robustheit, Sparsity und Multi-Source-Analyse vereint.

• Praktischer Nutzen: Die Methode ermöglicht es, komplexe, mehrstufige Datensätze zu analysieren, ohne die Informationen zwischen den Quellen zu verlieren oder durch Ausreißer verfälscht zu werden.
• Interpretierbarkeit: Durch die induzierte Sparsity werden die Hauptkomponenten leichter interpretierbar, da nur die relevanten Variablen (und deren globale/lokale Relevanz) hervorgehoben werden.
• Zukunftsperspektiven: Die Flexibilität der Methode (beliebige Gruppierungsstrukturen) macht sie auch für räumliche Daten, Diskriminanzanalyse oder Graphical Modeling interessant.

Die vorgestellte Methode übertrifft bestehende Ansätze sowohl in der Genauigkeit der Parameterschätzung als auch in der Fähigkeit, strukturelle Muster in komplexen, verrauschten Daten zu erkennen.