Résumé technique : Test de l'hypothèse de données manquantes complètement au hasard pour les données fonctionnelles

Énoncé du problème

L'analyse de données fonctionnelles (FDA) suppose traditionnellement que les observations sont disponibles sur un domaine commun. Cependant, dans de nombreuses applications pratiques, les données sont « partiellement observées », ce qui signifie que chaque fonction n'est observable que sur un sous-ensemble $O$ du domaine $I$, avec des valeurs manquantes sur $I \setminus O$. Une condition préalable critique pour la plupart des méthodes existantes de reconstruction et d'inférence pour ces données est l'hypothèse de données manquantes complètement au hasard (Missing Completely at Random - MCAR). Cette hypothèse postule que la fonction observée $X$ et l'ensemble d'observation $O$ sont indépendants.

Bien qu'il existe de nombreuses méthodes pour récupérer les données fonctionnelles manquantes sous l'hypothèse MCAR (par exemple, Delaigle et Hall, 2016 ; Kraus, 2015), il manque des procédures statistiques générales pour valider cette hypothèse. Les tests existants pour le MCAR dans les contextes multivariés (par exemple, Little, 1988) reposent sur le regroupement des données par motifs de données manquantes distincts. Cette approche est irréalisable pour les données fonctionnelles car le nombre d'ensembles d'observation distincts est infiniment dénombrable et, en pratique, chaque motif d'observation peut être unique. L'article traite de cette lacune en développant un cadre de test général pour déterminer si $X$ et $O$ sont indépendants.

Méthodologie

1. Partitionnement des ensembles d'observation

Le cœur du cadre proposé est de partitionner l'espace des ensembles d'observation $\mathcal{K}$ en deux sous-ensembles disjoints, $\mathcal{A}$ et $\mathcal{B}$, tels que $\mathcal{K} = \mathcal{A} \dot{\cup} \mathcal{B}$.

• Partitionnement ad hoc : Une approche simple divise les données en fonctions « complètes » et « incomplètes ».
• Clustering systématique : Les auteurs proposent une approche de clustering basée sur les centroïdes. Ils définissent une distance entre les ensembles $S_1, S_2$ à l'aide de la mesure de la différence symétrique $d(S_1, S_2) = \lambda(S_1 \triangle S_2)$, ce qui correspond à la distance $L^1$ entre leurs fonctions indicatrices.
• Centres optimaux : La partition est déterminée en trouvant deux centres optimaux (médianes) $M_A$ et $M_B$ qui minimisent la distance attendue par rapport au centre le plus proche. Les ensembles $\mathcal{A}$ et $\mathcal{B}$ sont définis comme les cellules de Voronoi associées à ces centres.
• Restriction du domaine : Pour garantir une comparaison valide, l'analyse est restreinte à un sous-domaine $I \subset [0, 1]$ où les deux groupes ont une couverture suffisante (spécifiquement, $P(t \in O | \mathcal{A}) > 0$ et $P(t \in O | \mathcal{B}) > 0$).

2. Test d'hypothèse

L'hypothèse nulle $H_0$ (MCAR) implique que $X$ et $O$ sont indépendants. Le cadre de test évalue une hypothèse plus forte $H_0^F$ :
$$H_0^F: P(X(t) \le z | O \in \mathcal{A}) = P(X(t) \le z | O \in \mathcal{B}), \quad \forall z \in \mathbb{R}, t \in [0, 1].$$
Sous $H_0^F$, la distribution conditionnelle du processus étant donné le groupe d'ensemble d'observation devrait être identique. Les auteurs proposent deux statistiques de test :

• Comparaison des moyennes ($T_\mu$) :
  Cette statistique compare les fonctions moyennes empiriques des deux groupes, $\hat{\mu}_{\mathcal{A}}(t)$ et $\hat{\mu}_{\mathcal{B}}(t)$.
  $$T_\mu = \sqrt{n} \| \hat{\mu}_{\mathcal{A}} - \hat{\mu}_{\mathcal{B}} \|_\infty$$
  Les auteurs établissent que sous l'hypothèse MCAR, $T_\mu$ converge vers le supremum d'un processus gaussien. Une contribution théorique clé est la gestion du fait que les fonctions moyennes empiriques de données partiellement observées sont généralement discontinues (càdlàg), nécessitant l'utilisation de l'espace de Skorokhod $D[0, 1]$ plutôt que $L^2[0, 1]$ ou $C[0, 1]$.

• Comparaison des distributions ($T_F$) :
  Cette statistique compare les fonctions de distribution conditionnelles empiriques $\hat{F}_{\mathcal{A}}(t, z)$ et $\hat{F}_{\mathcal{B}}(t, z)$.
  $$T_F = n \int_{[0,1] \times \Xi} (\hat{F}_{\mathcal{A}}(t, z) - \hat{F}_{\mathcal{B}}(t, z))^2 d(\lambda \otimes \nu)(t, z)$$
  Il s'agit d'une statistique de type Cramér–von Mises. Il est démontré qu'elle est cohérente contre une classe d'alternatives plus large que la comparaison des moyennes, car elle détecte les différences dans la distribution entière, et non seulement dans la moyenne.

3. Théorie asymptotique et mise en œuvre

L'article dérive les distributions asymptotiques pour les deux statistiques de test sous l'hypothèse nulle. Les distributions limites impliquent des processus gaussiens avec des structures de covariance spécifiques qui dépendent des motifs d'observation.

• Estimation de la covariance : Les auteurs fournissent des estimateurs pour les fonctions de covariance nécessaires pour approximer la distribution nulle.
• Bandes de confiance simultanées : Une méthode est introduite pour construire des bandes de confiance simultanées pour la différence des fonctions moyennes, fournissant un outil graphique pour visualiser les violations potentielles du MCAR.
• Cohérence : Les résultats théoriques (Théorème 3) établissent que les tests sont cohérents contre les alternatives où les fonctions moyennes ou les fonctions de distribution diffèrent entre les groupes.

Résultats clés

Étude de simulation

La méthodologie a été évaluée à l'aide de simulations de mouvement brownien :

• Erreur de type I : Sous MCAR, les deux tests ($T_\mu$ et $T_F$) ont maintenu des taux d'erreur proches du niveau nominal (0,05) pour diverses tailles d'échantillon ($n=100, 250, 500$).
• Puissance :
  • Dans les scénarios où le MCAR était violé par un encadrement (Données manquantes non au hasard - MNAR), le test de distribution $T_F$ a démontré une puissance plus élevée que le test de moyenne $T_\mu$.
  • Plus précisément, dans les scénarios de censure symétrique où les moyennes conditionnelles des groupes sont identiques ($\|\mu_A - \mu_B\|_\infty = 0$), $T_\mu$ n'a pas réussi à rejeter l'hypothèse nulle, tandis que $T_F$ a détecté avec succès la violation.
  • L'approche de clustering systématique a performé de manière comparable ou supérieure aux partitions déterministes (par exemple, complet vs incomplet) dans de nombreux scénarios, particulièrement pour les petits échantillons.

Applications sur des données réelles

Le cadre a été appliqué à trois ensembles de données :

1. Données de fréquence cardiaque (Swiss Kidney Project) : Analyse de 878 profils de fréquence cardiaque. Les tests n'ont pas rejeté l'hypothèse MCAR (p-values : 0,765 pour $T_\mu$, 0,911 pour $T_F$). Cela soutient la vue épidémiologique selon laquelle l'absence de données (due au retrait ou à la défaillance de l'appareil) est aléatoire.
2. Données de prix de l'électricité : Analyse de 583 courbes de prix hebdomadaires. Les tests ont fortement rejeté le MCAR ($p < 0,001$). Le tracé de la différence de moyenne montre des écarts significatifs, ce qui concorde avec la structure du marché où les niveaux de prix sont corrélés à la durée d'observation (les ensembles d'observation plus larges correspondent à des prix plus élevés).
3. Données de température : Analyse de 76 courbes de température quotidiennes. Les tests ont rejeté le MCAR (p-values : 0,036 pour $T_\mu$, 0,054 pour $T_F$). Les résultats suggèrent un défaut technique potentiel du capteur (par exemple, sensibilité aux hautes températures ou problèmes d'alimentation) plutôt qu'une absence de données aléatoire.

Signification et contributions

L'article revendique les contributions suivantes :

1. Cadre novateur : Il introduit le premier cadre de test général pour l'hypothèse MCAR dans les données fonctionnelles, surmontant l'impossibilité du regroupement par motifs utilisé dans les contextes multivariés.
2. Partitionnement systématique : Il propose une méthode de clustering adaptative aux données basée sur la distance de Fréchet-Nikodym-Aronszajn pour diviser systématiquement les ensembles d'observation, plutôt que de compter uniquement sur des définitions ad hoc.
3. Avancement théorique : Il établit des résultats asymptotiques pour les données fonctionnelles dans l'espace de Skorokhod $D[0, 1]$, prenant en compte les discontinuités inhérentes aux fonctions moyennes partiellement observées.
4. Supériorité des tests de distribution : Les auteurs démontrent que la comparaison des distributions complètes ($T_F$) est plus robuste et puissante que la comparaison des moyennes ($T_\mu$), particulièrement dans les cas où l'absence de données affecte les moments d'ordre supérieur ou la forme des distributions mais pas la moyenne.
5. Utilité pratique : La méthodologie fournit un outil de diagnostic permettant aux chercheurs de valider les hypothèses sous-jacentes à leurs méthodes de reconstruction de données fonctionnelles, illustré par sa capacité à détecter des défauts de capteurs et des absences de données liées au marché dans des exemples réels.

Les auteurs notent que bien que leur approche soit générale, la puissance du test dépend du choix de la partition. Ils suggèrent que pour les petits échantillons, des partitions déterministes guidées par l'expertise pourraient être préférables, et que les travaux futurs pourraient explorer des méthodes de classification supervisée pour optimiser la séparation des groupes.