Technische Samenvatting: Het testen van de aanname van "Missing Completely at Random" voor Functionele Data

Probleemstelling

Functionele Data Analyse (FDA) gaat traditioneel uit van observaties die beschikbaar zijn over een gemeenschappelijk domein. Echter, in veel praktische toepassingen zijn data "gedeeltelijk geobserveerd", wat betekent dat elke functie slechts observeerbaar is op een deelverzameling $O$ van het domein $I$, met ontbrekende waarden op $I \setminus O$. Een cruciale voorwaarde voor de meeste bestaande reconstructie- en inferentiemethoden voor dergelijke data is de aanname dat het ontbrekingsmechanisme Missing Completely at Random (MCAR) is. Deze aanname stelt dat de geobserveerde functie $X$ en de observatieset $O$ onafhankelijk zijn.

Hoewel er talrijke methoden bestaan om ontbrekende functionele data onder de MCAR-aanname te herstellen (bijv. Delaigle en Hall, 2016; Kraus, 2015), ontbreekt het aan algemene statistische procedures om deze aanname te valideren. Bestaande tests voor MCAR in multivariate settings (bijv. Little, 1988) vertrouwen op het groeperen van data op basis van onderscheidende ontbrekingspatronen. Deze aanpak is onhaalbaar voor functionele data omdat het aantal onderscheidende observatiesets onaftelbaar oneindig is, en in de praktijk elk observatiepatroon uniek kan zijn. Het artikel adresseert de kloof door een algemeen testframework te ontwikkelen om te bepalen of $X$ en $O$ onafhankelijk zijn.

Methodologie

1. Partitionering van Observatiesets

De kern van het voorgestelde framework is het partitioneren van de ruimte van observatiesets $\mathcal{K}$ in twee disjuncte deelverzamelingen, $\mathcal{A}$ en $\mathcal{B}$, zodanig dat $\mathcal{K} = \mathcal{A} \dot{\cup} \mathcal{B}$.

• Ad Hoc Partitionering: Een eenvoudige aanpak verdeelt de data in "volledige" en "onvolledige" functies.
• Systematische Clustering: De auteurs stellen een centroid-gebaseerde clusteringmethode voor. Ze definiëren een afstand tussen sets $S_1, S_2$ met behulp van de symmetrische differentie-maat $d(S_1, S_2) = \lambda(S_1 \triangle S_2)$, wat overeenkomt met de $L^1$-afstand tussen hun indicatorfuncties.
• Optimale Centra: De partitionering wordt bepaald door twee optimale centra (medianen) $M_A$ en $M_B$ te vinden die de verwachte afstand tot het dichtstbijzijnde centrum minimaliseren. De verzamelingen $\mathcal{A}$ en $\mathcal{B}$ worden gedefinieerd als de Voronoi-cellen geassocieerd met deze centra.
• Domeinbeperking: Om een geldige vergelijking te garanderen, wordt de analyse beperkt tot een subdomein $I \subset [0, 1]$ waar beide groepen voldoende dekking hebben (specifiek, $P(t \in O | \mathcal{A}) > 0$ en $P(t \in O | \mathcal{B}) > 0$).

2. Hypothesetoetsing

De nulhypothese $H_0$ (MCAR) impliceert dat $X$ en $O$ onafhankelijk zijn. Het testframework evalueert een sterkere hypothese $H_0^F$:
$$H_0^F: P(X(t) \le z | O \in \mathcal{A}) = P(X(t) \le z | O \in \mathcal{B}), \quad \forall z \in \mathbb{R}, t \in [0, 1].$$
Onder $H_0^F$ moet de conditionele distributie van het proces, gegeven de observatieset-groep, identiek zijn. De auteurs stellen twee teststatistieken voor:

• Gemiddeldenvergelijking ($T_\mu$):
  Deze statistiek vergelijkt de empirische gemiddelde functies van de twee groepen, $\hat{\mu}_{\mathcal{A}}(t)$ en $\hat{\mu}_{\mathcal{B}}(t)$.
  $$T_\mu = \sqrt{n} \| \hat{\mu}_{\mathcal{A}} - \hat{\mu}_{\mathcal{B}} \|_\infty$$
  De auteurs stellen vast dat $T_\mu$ onder MCAR convergeert naar het supremum van een Gaussisch proces. Een belangrijke theoretische bijdrage is het omgaan met het feit dat empirische gemiddelde functies van gedeeltelijk geobserveerde data over het algemeen discontinu (càdlàg) zijn, wat het gebruik van de Skorokhod-ruimte $D[0, 1]$ vereist in plaats van $L^2[0, 1]$ of $C[0, 1]$.

• Distributievergelijking ($T_F$):
  Deze statistiek vergelijkt de empirische conditionele distributiefuncties $\hat{F}_{\mathcal{A}}(t, z)$ en $\hat{F}_{\mathcal{B}}(t, z)$.
  $$T_F = n \int_{[0,1] \times \Xi} (\hat{F}_{\mathcal{A}}(t, z) - \hat{F}_{\mathcal{B}}(t, z))^2 d(\lambda \otimes \nu)(t, z)$$
  Dit is een Cramér–von Mises-type statistiek. Er is aangetoond dat deze consistenter is tegen een bredere klasse van alternatieven dan de gemiddeldenvergelijking, omdat het verschillen in de volledige distributie detecteert en niet alleen in het gemiddelde.

3. Asymptotische Theorie en Implementatie

Het artikel leidt de asymptotische verdelingen van beide teststatistieken af onder de nulhypothese. De limiterende verdelingen bevatten Gaussische processen met specifieke covariantiestructuren die afhangen van de observatiepatronen.

• Covariantie-schatting: De auteurs bieden schatters voor de covariantiefuncties die nodig zijn om de nulverdeling te benaderen.
• Simultane Betrouwbaarheidsbanden: Een methode wordt geïntroduceerd voor het construeren van simultane betrouwbaarheidsbanden voor het verschil in gemiddelde functies, wat een grafisch hulpmiddel biedt om potentiële schendingen van MCAR te visualiseren.
• Consistentie: Theoretische resultaten (Theorem 3) vestigen dat de tests consistent zijn tegen alternatieven waarbij de gemiddelde functies of distributiefuncties tussen de groepen verschillen.

Belangrijkste Resultaten

Simulatiestudie

De methodologie werd geëvalueerd met behulp van Brownse beweging simulaties:

• Type I-fout: Onder MCAR behielden beide tests ($T_\mu$ en $T_F$) foutpercentages die dicht bij het nominale niveau (0,05) lagen bij verschillende steekproefgroottes ($n=100, 250, 500$).
• Vermogen (Power):
  • In scenario's waar MCAR werd geschonden door censoring (Missing Not At Random - MNAR), vertoonde de distributietest $T_F$ een hoger vermogen dan de gemiddelentest $T_\mu$.
  • Specifiek, in symmetrische censoring-scenario's waarbij de conditionele gemiddelden van de groepen identiek waren ($\|\mu_A - \mu_B\|_\infty = 0$), faalde $T_\mu$ om de nulhypothese te verwerpen, terwijl $T_F$ de schending succesvol detecteerde.
  • De systematische clusteringmethode presteerde vergelijkbaar met of beter dan deterministische partitioneringen (bijv. volledig versus onvolledig) in veel scenario's, met name voor kleinere steekproeven.

Toepassing op Realistische Data

Het framework werd toegepast op drie datasets:

1. Hartslagdata (Swiss Kidney Project): Analyse van 878 hartslagprofielen. De tests verwierpen de MCAR-aanname niet ($p$-waarden: 0,765 voor $T_\mu$, 0,911 voor $T_F$). Dit ondersteunt de epidemiologische visie dat ontbrekende data (door verwijdering of defect van apparatuur) willekeurig is.
2. Elektriciteitsprijsdata: Analyse van 583 wekelijkse prijscurves. De tests verwierpen MCAR krachtig ($p < 0,001$). De plot van het gemiddelde verschil toonde significante afwijkingen, wat overeenkomt met de markstructuur waarbij prijsniveaus correleren met de duur van de observatie (grotere observatiesets komen overeen met hogere prijzen).
3. Temperatuurdata: Analyse van 76 dagelijkse temperatuurcurves. De tests verwierpen MCAR ($p$-waarden: 0,036 voor $T_\mu$, 0,054 voor $T_F$). De resultaten suggereerden een potentieel technisch defect in de sensor (bijv. gevoeligheid voor hoge temperaturen of stroomproblemen) in plaats van willekeurige ontbrekende data.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen:

1. Nieuw Framework: Het introduceert het eerste algemene testframework voor de MCAR-aanname in functionele data, waarbij het onhaalbare patroon-gebaseerde groeperen uit multivariate settings omzeilt.
2. Systematische Partitionering: Het stelt een data-adaptieve clusteringmethode voor op basis van de Fréchet-Nikodym-Aronszajn afstand om observatiesets systematisch te verdelen, in plaats van enkel te vertrou�ر op ad hoc definities.
3. Theoretische Vooruitgang: Het vestigt asymptotische resultaten voor functionele data in de Skorokhod-ruimte $D[0, 1]$, rekening houdend met de discontinuïteiten die inherent zijn aan gedeeltelijk geobserveerde gemiddelde functies.
4. Superioriteit van Distributietests: De auteurs tonen aan dat het vergelijken van volledige distributies ($T_F$) robuuster en krachtiger is dan het vergelijken van gemiddelden ($T_\mu$), vooral in gevallen waarin ontbrekende data hogere-orde momenten of de vorm van de distributie beïnvloedt maar niet het gemiddelde.
5. Praktisch Nut: De methodologie biedt een diagnostisch hulpmiddel voor onderzoekers om de aannames onderliggend aan hun functionele datareconstructiemethoden te valideren, geïllustreerd door het vermogen om sensordefecten en door de markt gedreven ontbrekende data in real-world voorbeelden te detecteren.

De auteurs merken op dat hoewel hun aanpak algemeen is, het vermogen van de test afhangt van de keuze van de partitionering. Zij suggereren dat voor kleine steekproeven expert-gestuurde deterministische partitioneringen te verkiezen kunnen zijn, en dat toekomstig werk gesuperviseerde classificatiemethoden kan verkennen om de scheiding tussen groepen te optimaliseren.