Testing the Missing Completely at Random Assumption for Functional Data

Technisches Resümee: Testen der Annahme „Missing Completely at Random“ für funktionale Daten

Problemstellung

Die funktionale Datenanalyse (FDA) geht traditionell davon aus, dass Beobachtungen über ein gemeinsames Definitionsgebiet verfügbar sind. In vielen praktischen Anwendungen sind die Daten jedoch „teilweise beobachtet“, was bedeutet, dass jede Funktion nur auf einer Teilmenge $O$ des Definitionsbereichs $I$ beobachtbar ist, während die Werte auf $I \setminus O$ fehlen. Eine kritische Voraussetzung für die meisten bestehenden Rekonstruktions- und Inferenzmethoden für solche Daten ist die Annahme eines Missing Completely at Random (MCAR)-Mechanismus. Diese Annahme postuliert, dass die beobachtete Funktion $X$ und die Beobachtungsmenge $O$ unabhängig sind.

Obwohl zahlreiche Methoden zur Rekonstruktion fehlender funktionaler Daten unter der MCAR-Annahme existieren (z. B. Delaigle und Hall, 2016; Kraus, 2015), mangelt es an allgemeinen statistischen Verfahren zur Validierung dieser Annahme. Bestehende Tests für MCAR in multivariaten Settings (z. B. Little, 1988) stützen sich auf die Gruppierung von Daten nach distinkten Fehlmuster-Klassen. Dieser Ansatz ist für funktionale Daten nicht praktikabel, da die Anzahl der distinkten Beobachtungsmengen ungezählt unendlich groß ist und in der Praxis jedes Beobachtungsmuster einzigartig sein kann. Die vorliegende Arbeit adressiert die Lücke durch die Entwicklung eines allgemeinen Testrahmens, um zu bestimmen, ob $X$ und $O$ unabhängig sind.

Methodik

1. Partitionierung der Beobachtungsmengen

Der Kern des vorgeschlagenen Rahmens besteht darin, den Raum der Beobachtungsmengen $\mathcal{K}$ in zwei disjunkte Teilmengen $\mathcal{A}$ und $\mathcal{B}$ zu partitionieren, sodass $\mathcal{K} = \mathcal{A} \dot{\cup} \mathcal{B}$ gilt.

• Ad-hoc-Partitionierung: Ein einfacher Ansatz unterteilt die Daten in „vollständige“ und „unvollständige“ Funktionen.
• Systematisches Clustering: Die Autoren schlagen einen zentroidbasierten Clustering-Ansatz vor. Sie definieren einen Abstand zwischen Mengen $S_1, S_2$ mittels des symmetrischen Differenzmaßes $d(S_1, S_2) = \lambda(S_1 \triangle S_2)$, was dem $L^1$-Abstand zwischen ihren Indikatorfunktionen entspricht.
• Optimale Zentren: Die Partitionierung wird durch das Finden zweier optimaler Zentren (Mediane) $M_A$ und $M_B$ bestimmt, welche die erwartete Distanz zum nächsten Zentrum minimieren. Die Mengen $\mathcal{A}$ und $\mathcal{B}$ werden als Voronoi-Zellen definiert, die mit diesen Zentren assoziiert sind.
• Domänenbeschränkung: Um einen validen Vergleich zu gewährleisten, wird die Analyse auf einen Teilbereich $I \subset [0, 1]$ beschränkt, in dem beide Gruppen eine ausreichende Abdeckung aufweisen (speziell $P(t \in O | \mathcal{A}) > 0$ und $P(t \in O | \mathcal{B}) > 0$).

2. Hypothesentests

Die Nullhypothese $H_0$ (MCAR) impliziert, dass $X$ und $O$ unabhängig sind. Der Testrahmen evaluiert eine stärkere Hypothese $H_0^F$:
$$H_0^F: P(X(t) \le z | O \in \mathcal{A}) = P(X(t) \le z | O \in \mathcal{B}), \quad \forall z \in \mathbb{R}, t \in [0, 1].$$
Unter $H_0^F$ sollte die bedingte Verteilung des Prozesses gegeben die Beobachtungsmengen-Gruppe identisch sein. Die Autoren schlagen zwei Teststatistiken vor:

• Mittelwertvergleich ($T_\mu$):
  Diese Statistik vergleicht die empirischen Mittelwertfunktionen der beiden Gruppen, $\hat{\mu}_{\mathcal{A}}(t)$ und $\hat{\mu}_{\mathcal{B}}(t)$.
  $$T_\mu = \sqrt{n} \| \hat{\mu}_{\mathcal{A}} - \hat{\mu}_{\mathcal{B}} \|_\infty$$
  Die Autoren zeigen, dass $T_\mu$ unter MCAR gegen das Supremum eines Gauß-Prozesses konvergiert. Ein wesentlicher theoretischer Beitrag ist der Umgang mit der Tatsache, dass empirische Mittelwertfunktionen partiell beobachteter Daten im Allgemeinen diskontinuierlich (càdlàg) sind, was die Verwendung des Skorokhod-Raums $D[0, 1]$ anstelle von $L^2[0, 1]$ oder $C[0, 1]$ erfordert.

• Vergleich der Verteilungen ($T_F$):
  Diese Statistik vergleicht die empirischen bedingten Verteilungsfunktionen $\hat{F}_{\mathcal{A}}(t, z)$ und $\hat{F}_{\mathcal{B}}(t, z)$.
  $$T_F = n \int_{[0,1] \times \Xi} (\hat{F}_{\mathcal{A}}(t, z) - \hat{F}_{\mathcal{B}}(t, z))^2 d(\lambda \otimes \nu)(t, z)$$
  Es handelt sich um eine Cramér–von Mises-Typ-Statistik. Es wird gezeigt, dass sie gegenüber einer breiteren Klasse von Alternativen konsistent ist als der Mittelwertvergleich, da sie Unterschiede in der gesamten Verteilung detektiert und nicht nur im Mittelwert.

3. Asymptotische Theorie und Implementierung

Die Arbeit leitet die asymptotischen Verteilungen für beide Teststatistiken unter der Nullhypothese her. Die Grenzverteilungen beinhalten Gauß-Prozesse mit spezifischen Kovarianzstrukturen, die von den Beobachtungsmustern abhängen.

• Schätzung der Kovarianz: Die Autoren stellen Schätzer für die erforderlichen Kovarianzfunktionen bereit, um die Nullverteilung zu approximieren.
• Simultane Konfidenzbänder: Es wird eine Methode zur Konstruktion simultaner Konfidenzbänder für die Differenz der Mittelwertfunktionen eingeführt, die als grafisches Werkzeug dient, um potenzielle Verletzungen von MCAR zu visualisieren.
• Konsistenz: Theoretische Ergebnisse (Theorem 3) etablieren, dass die Tests konsistent gegenüber Alternativen sind, bei denen die Mittelwertfunktionen oder die Verteilungsfunktionen zwischen den Gruppen divergieren.

Zentrale Ergebnisse

Simulationsstudie

Die Methodik wurde anhand von Brownschen Bewegungen evaluiert:

• Typ-I-Fehler: Unter MCAR hielten beide Tests ($T_\mu$ und $T_F$) Fehlerraten nahe am nominalen Niveau (0,05) über verschiedene Stichprobengrößen ($n=100, 250, 500$) hinweg ein.
• Power (Teststärke):
  • In Szenarien, in denen MCAR durch Zensierung verletzt wurde (Missing Not At Random - MNAR), zeigte der Verteilungstest $T_F$ eine höhere Power als der Mittelwerttest $T_\mu$.
  • Speziell in symmetrischen Zensierungsszenarien, in denen die bedingten Mittelwerte der Gruppen identisch waren ($\|\mu_A - \mu_B\|_\infty = 0$), konnte $T_\mu$ die Nullhypothese nicht ablehnen, während $T_F$ die Verletzung erfolgreich detektierte.
  • Der systematische Clustering-Ansatz schnitt in vielen Szenarien vergleichbar oder besser ab als deterministische Partitionierungen (z. B. vollständig vs. unvollständig), insbesondere bei kleineren Stichprobenmengen.

Anwendung auf Realdaten

Der Rahmen wurde auf drei Datensätze angewendet:

1. Herzfrequenzdaten (Swiss Kidney Project): Analyse von 878 Herzfrequenzprofilen. Die Tests lehnten die MCAR-Annahme nicht ab ($p$-Werte: 0,765 für $T_\mu$, 0,911 für $T_F$). Dies stützt die epidemiologische Sichtweise, dass das Fehlen von Daten (aufgrund von Geräteentfernung oder -ausfall) zufällig ist.
2. Strompreisdaten: Analyse von 583 wöchentlichen Preis-Kurven. Die Tests lehnten MCAR stark ab ($p < 0,001$). Das Diagramm der Mittelwertdifferenz zeigte signifikante Abweichungen, was mit der Marktstruktur übereinstimmt, in der das Preisniveau mit der Dauer der Beobachtung korreliert (größere Beobachtungsmengen entsprechen höheren Preisen).
3. Temperaturdaten: Analyse von 76 täglichen Temperaturkurven. Die Tests lehnten MCAR ab ($p$-Werte: 0,036 für $T_\mu$, 0,054 für $T_F$). Die Ergebnisse deuteten auf einen potenziellen technischen Defekt des Sensors hin (z. B. Sensitivität gegenüber hohen Temperaturen oder Stromprobleme) anstatt auf zufälliges Fehlen.

Bedeutung und Beiträge

Die Arbeit beansprucht die folgenden Beiträge:

1. Neuartiger Rahmen: Sie führt den ersten allgemeinen Testrahmen für die MCAR-Annahme in der funktionalen Datenanalyse ein und überwindet die Unpraktikabilität der musterbasierten Gruppierung, wie sie in multivariaten Settings verwendet wird.
2. Systematische Partitionierung: Sie schlägt eine datenadaptive Clustering-Methode basierend auf der Fréchet-Nikodym-Aronszajn-Distanz vor, um Beobachtungsmengen systematisch zu unterteilen, anstatt sich rein auf Ad-hoc-Definitionen zu verlassen.
3. Theoretische Weiterentwicklung: Sie etabliert asymptotische Ergebnisse für funktionale Daten im Skorokhod-Raum $D[0, 1]$, um die inhärenten Diskontinuitäten partiell beobachteter Mittelwertfunktionen zu berücksichtigen.
4. Überlegenheit von Verteilungstests: Die Autoren zeigen, dass der Vergleich vollständiger Verteilungen ($T_F$) robuster und leistungsfähiger ist als der Vergleich von Mittelwerten ($T_\mu$), insbesondere wenn das Fehlen von Daten höhere Momente oder Verteilungsformen beeinflusst, aber nicht den Mittelwert.
5. Praktischer Nutzen: Die Methodik bietet ein Diagnosetool für Forscher, um die Annahmen ihrer funktionalen Datenrekonstruktionsmethoden zu validieren, was durch die Fähigkeit zur Detektion von Sensordefekten und marktgetriebenem Fehlen in realen Beispielen illustriert wird.

Die Autoren merken an, dass ihr Ansatz zwar allgemein ist, die Power des Tests jedoch von der Wahl der Partitionierung abhängt. Sie schlagen vor, dass bei kleinen Stichproben Größen deterministische, durch Experten geleitete Partitionierungen bevorzugt werden könnten, und dass zukünftige Arbeiten über überwachte Klassifikationsmethoden zur Optimierung der Gruppenseparation erforschen könnten.