Cellwise and Casewise Robust Multivariate Regression with Inference

Technische Zusammenfassung: Zellweise und fallweise robuste multivariate Regression mit Inferenz

Problemstellung
Die multivariate lineare Regression ist ein grundlegendes statistisches Werkzeug zur Modellierung von Beziehungen zwischen $p$-dimensionalen Prädiktoren und $q$-dimensionalen Antworten. Klassische Schätzer wie die Methode der kleinsten Quadrate (OLS) sind jedoch gegenüber Ausreißern hochgradig empfindlich. Traditionelle robuste Statistik hat sich primär mit fallweisen Ausreißern (ganze Beobachtungen, die von der Mehrheit abweichen) befasst, wobei mindestens 50 % der Daten sauber sein müssen. Moderne hochdimensionale Datensätze leiden jedoch häufig unter zellweisen Ausreißern, bei denen einzelne Einträge in der Prädiktor- oder Antwortmatrix kontaminiert sind. In hohen Dimensionen kann bereits ein kleiner Anteil kontaminierter Zellen einen großen Anteil der Fälle „schlecht" machen (z. B. bei $p=100$ und $q=2$ beeinflusst eine 1%ige Zellkontamination 64 % der Fälle), was dazu führt, dass fallweise robuste Methoden versagen. Darüber hinaus beinhalten zeitgemäße Anwendungen oft fehlende Werte und Dimensionen, bei denen $p \geq n$ gilt, was zu Instabilität bei der klassischen Schätzung führt. Schließlich bleibt die Bereitstellung valider statistischer Inferenz (z. B. Konfidenzintervalle) unter simultaner zellweiser und fallweiser Kontamination, insbesondere bei fehlenden Daten, trotz etablierter robuster Schätzung eine offene Herausforderung.

Methodik
Die Autoren schlagen cellMR (zellweise multivariate Regression) und cellBoot (zellweises Bootstrap) vor, um diese Herausforderungen zu bewältigen.

1. Der cellMR-Schätzer:

   • Grundlage: Die Methode baut auf einem zellweisen robusten Kovarianzschätzer (cellCov) auf, der von Centofanti et al. (2025) entwickelt wurde.
   • Mechanismus: Sie nutzt einen robusten Hauptkomponentenanalyse-Ansatz (PCA) namens cellPCA, um die kombinierte Matrix der Prädiktoren und Antworten $[X; Y]$ zu behandeln. Diese Methode modelliert die Daten als eine Struktur niedrigen Rangs plus Rauschen und verwendet gültige $\rho$-Funktionen (insbesondere eine hyperbolische Tangens-Funktion), um den Einfluss sowohl zellweiser als auch fallweiser Ausreißer zu begrenzen.
   • Regularisierung: Um numerische Stabilität in hochdimensionalen Settings ($p \geq n$) zu gewährleisten, werden die Regressionskoeffizienten unter Verwendung der Ridge-Regularisierung geschätzt. Die Regressionsparameter werden abgeleitet, indem die robusten Schätzer für Lage ($\hat{\mu}$) und Streuung ($\hat{\Sigma}$) aus cellCov in die Standard-Ridge-Regression-Formeln eingesetzt werden.
   • Fehlende Daten: Das Framework nimmt fehlende Werte durch den cellPCA-Mechanismus auf natürliche Weise auf, der Indikatoren für das Fehlen von Daten verwendet, um Beiträge während der Schätzung zu gewichten.
   • Vorhersage: Für die Vorhersage außerhalb der Stichprobe verwendet die Methode eine Imputationsstrategie, bei der verdächtige Zellen in neuen Daten bereinigt und fehlende Zellen basierend auf der aus den Trainingsdaten erlernten robusten Struktur aufgefüllt werden.

2. Das cellBoot-Inferenzverfahren:

   • Herausforderung: Eine direkte Bootstrap-Inferenz beim cellMR-Schätzer ist problematisch, da der Schätzer aufgrund seiner zellweisen Konstruktion nicht garantiert konsistent ist.
   • Lösung: Die Autoren führen cellBoot ein, ein Bootstrap-Verfahren, das auf Indirekter Inferenz (II) basiert.
   • Hilfsschätzer: Als Hilfsschätzer wird eine recheneffiziente, einstufige Approximation von cellCov verwendet, die als FastCellCov bezeichnet wird. Obwohl FastCellCov inkonsistent ist, erfasst es die Robustheitseigenschaften des vollständigen Schätzers.
   • Bias-Korrektur: Das II-Rahmenwerk konstruiert einen konsistenten Schätzer, indem der auf den beobachteten Daten berechnete Hilfsschätzer mit dem Durchschnitt des auf simulierten Datensätzen berechneten Hilfsschätzers abgeglichen wird, die aus einem parametrischen Modell generiert wurden.
   • Implementierung: Der Algorithmus generiert Bootstrap-Stichproben, berechnet FastCellCov-Schätzwerte, wendet die II-Bias-Korrektur an, um konsistente Schätzwerte für Lage und Streuung zu erhalten, und leitet schließlich Regressionskoeffizienten ab. Konfidenzintervalle werden unter Verwendung der empirischen Quantile dieser korrigierten Bootstrap-Schätzwerte konstruiert.

Hauptbeiträge

• Einheitliches Framework: Nach Kenntnis der Autoren ist dies die erste multivariate Regressionsmethode, die gleichzeitig zellweise Ausreißer, fallweise Ausreißer, fehlende Daten und hohe Dimensionalität ($p \geq n$) bewältigen kann.
• Theoretische Eigenschaften:
  • Die Autoren leiten die Einflussfunktionen (IF) für die cellMR-Regressionschätzer unter sowohl fallweisen als auch zellweisen Kontaminationsmodellen ab und beweisen, dass die Schätzer beschränkt und somit robust sind.
  • Sie beweisen die asymptotische Konsistenz des cellBoot-Verfahrens.
  • Sie leiten die Einflussfunktionen für den Mittelpunkt und die Länge der resultierenden Konfidenzintervalle ab und zeigen deren Robustheit.
• Gültigkeit der Inferenz: Die Arbeit zeigt, dass die cellBoot-Konfidenzintervalle asymptotisch exakt sind und eine gültige Unsicherheitsquantifizierung in Settings ermöglichen, bei denen Standard-Bootstrap- oder robuste Bootstrap-Methoden (wie FRB) versagen.

Ergebnisse

• Simulationen: Umfassende Monte-Carlo-Experimente zeigen, dass cellMR im Vergleich zu konkurrierenden Methoden (einschließlich RIDGE, SEST, PENSE, CRM, REGCELL und SHOOT) über verschiedene Kontaminationsszenarien (zellweise, fallweise und gemischt) und Dimensionen hinweg eine überlegene Vorhersageleistung (niedrigerer mittlerer quadratischer Fehler) erzielt. Konkurrierende Methoden versagen entweder in hohen Dimensionen oder performen unter zellweiser Kontamination schlecht.
• Inferenzleistung: Die cellBoot-Methode hält nominale Überdeckungswahrscheinlichkeiten (z. B. 90 %) auch unter signifikanter Kontamination und fehlenden Daten ein. Im Gegensatz dazu leiden OLS-basierte Intervalle unter schwerer Unterabdeckung, und der Fast and Robust Bootstrap (FRB) versagt in hochdimensionalen Settings.
• Anwendung auf reale Daten: Die Methoden wurden auf einen Genomik-Datensatz angewendet, der 59 Krebszelllinien, 50 Gene und 3 Proteine umfasst. Die Analyse identifizierte erfolgreich robuste Assoziationen zwischen Gen- und Proteinexpressionsniveaus, visualisiert durch Ausreißerkarten und Forest-Plots, und bewältigte dabei potenzielle Ausreißer und fehlende Werte effektiv.

Bedeutung und Behauptungen
Die Arbeit behauptet, eine einheitliche Methodik bereitzustellen, die die „dreifache Bedrohung" der modernen Datenanalyse adressiert: zellweise Kontamination, fallweise Kontamination und Fehlende Werte in hohen Dimensionen. Es wird behauptet, dass cellMR der erste Ansatz ist, der diese Probleme gemeinsam innerhalb eines Rahmens der multivariaten Regression angeht. Darüber hinaus wird die Einführung von cellBoot als das erste Inferenzframework behauptet, das speziell entwickelt wurde, um gültige Konfidenzintervalle bei simultaner zellweiser und fallweiser Kontamination in Kombination mit fehlenden Werten bereitzustellen. Die Autoren betonen, dass ihr Ansatz über die Vorhersage hinausgeht und eine zuverlässige wissenschaftliche Interpretation durch robuste Unsicherheitsquantifizierung ermöglicht.