Covariance test for discretely observed functional data: when and how it works?

1. Problématique et Contexte

L'analyse de données fonctionnelles (FDA) traite de données générées par des processus continus sous-jacents. Bien que les méthodes de test d'hypothèses pour les fonctions de moyenne soient bien établies, les tests pour les opérateurs de covariance restent un défi majeur, particulièrement dans des scénarios réalistes.

• Le problème central : La plupart des méthodes existantes supposent que les courbes fonctionnelles sont observées de manière continue et sans bruit (« fully observed »). En pratique, les trajectoires sont souvent observées de manière discrète, avec un nombre fini de points de mesure par sujet ($N$), et contaminées par du bruit de mesure.
• Les limites des approches actuelles :
  • Les tests basés sur des métriques directes (norme de Hilbert-Schmidt) nécessitent des méthodes de rééchantillonnage intensives (bootstrap, permutation) car leur distribution asymptotique dépend de paramètres infinis inconnus.
  • Les tests basés sur les Composantes Principales Fonctionnelles (FPC) utilisent généralement une truncation fixe (un nombre fixe de fonctions propres). Cela viole le principe non-paramétrique et risque de manquer des différences situées dans les composantes d'ordre élevé.
  • Aucune méthode rigoureuse n'existe pour les données discrètes avec une truncation divergente (le nombre de composantes $K$ augmente avec la taille de l'échantillon $n$).

L'objectif de l'article est de combler ce fossé en développant un test de covariance non-paramétrique, robuste et théoriquement fondé pour des données discrètes, en déterminant quand et comment ce test fonctionne.

2. Méthodologie Proposée

Les auteurs proposent une approche basée sur les FPC avec une stratégie de lissage par regroupement (« pool-smoothing ») et une analyse asymptotique rigoureuse.

A. Estimation par Lissage de Regroupement (Pool-Smoothing)

Au lieu de lisser chaque courbe individuellement (pré-lissage), ce qui est inefficace pour les données éparses, les auteurs utilisent une stratégie de lissage par regroupement. Toutes les observations des sujets sont combinées pour estimer les fonctions de covariance de la population ($\hat{C}_X$ et $\hat{C}_Y$). Cela permet d'estimer les paramètres de la population même lorsque $N$ (nombre de mesures par sujet) est faible.

B. Statistique de Test et Séparation des Échantillons (Sample-Splitting)

Pour éviter les biais de dépendance entre les estimateurs des fonctions propres et les coefficients projetés, les auteurs utilisent une technique de séparation des échantillons (inspirée de Meinshausen et al., 2009) :

1. L'échantillon est divisé en deux sous-ensembles disjoints ($Z$ et $Z'$).
2. Sur $Z$, on estime les fonctions propres $\{\hat{e}_j\}$ et les valeurs propres à partir de la covariance regroupée.
3. Sur $Z'$, on projette les données observées sur ces fonctions propres estimées pour calculer les coefficients empiriques et leurs moments d'ordre deux.
4. La statistique de test non standardisée ($\hat{T}_{K, Z'}$) est construite à partir de la différence des seconds moments des coefficients entre les deux groupes.

C. Normalisation et Test du Chi-deux

Pour une utilisation pratique, la statistique non standardisée est normalisée en estimant les variances des coefficients (en utilisant des moments d'ordre quatre et en éliminant les termes diagonaux pour corriger le bruit). La statistique finale ($\hat{D}_{K, Z'}$) suit asymptotiquement une loi du Chi-deux avec des degrés de liberté $K(K+1)/2$, où $K$ peut diverger avec $n$.

3. Contributions Clés et Résultats Théoriques

L'article établit des bornes de perturbation précises pour les fonctions propres estimées à partir de données discrètes et caractérise le comportement asymptotique du test.

A. Phénomène de Transition de Phase (Phase Transition)

Le résultat le plus significatif est la découverte d'un phénomène de transition de phase reliant la fréquence d'échantillonnage $N$, la taille de l'échantillon $n$ et le niveau de truncation $K$. La difficulté du test de covariance (liée à la décomposition en valeurs propres) est plus élevée que celle de l'estimation de la moyenne ou de la covariance.

• Cas « Dense » ($N$ élevé) : Si la fréquence d'échantillonnage dépasse un seuil critique (de l'ordre de $n^{(\alpha+1)/(\alpha+3)}$, où $\alpha$ est le taux de décroissance des valeurs propres), le test se comporte comme si les fonctions étaient entièrement observées. Le niveau de truncation maximal admissible peut atteindre l'ordre de $n^{1/(2\alpha+6)}$.
• Cas « Eparse » ($N$ faible) : Si $N$ est inférieur à ce seuil, le niveau de truncation admissible doit être réduit (de l'ordre de $N^{1/(2\alpha+2)}$), mais il peut toujours diverger lentement avec $n$.
• Comparaison : Ce seuil de transition est plus élevé que celui observé pour l'estimation de la moyenne/covariance (qui est $n^{1/4}$), soulignant la complexité accrue inhérente aux tests de covariance.

B. Validité Asymptotique

Sous des hypothèses de régularité (moments d'ordre 8, décroissance polynomiale des valeurs propres, régularité des fonctions propres), les auteurs prouvent que :

1. La statistique non standardisée converge vers une forme quadratique d'une mesure gaussienne dans un espace de dimension infinie.
2. La statistique normalisée converge vers une loi du Chi-deux avec des degrés de liberté croissants.
3. Ces résultats sont valables pour une large gamme de niveaux de truncation $K$, à condition que $K$ respecte les bornes imposées par la relation $N$ vs $n$.

4. Résultats Numériques et Applications

A. Simulations

Des études de simulation comparent la méthode proposée ($T_{pool}$) avec des méthodes existantes ($T_{PK}$ de Panaretos et al., 2010 et $T_{FH}$ de Fremdt et al., 2013).

• Taille du test (Empirical Size) : La méthode proposée maintient un taux d'erreur de type I proche du niveau nominal (0.05) même avec une truncation croissante. Les méthodes concurrentes souffrent d'une inflation sévère de la taille, surtout dans les scénarios épars.
• Puissance (Power) : $T_{pool}$ détecte efficacement les différences, même dans les composantes d'ordre élevé, là où les autres méthodes échouent ou sont trop conservatrices. La puissance augmente avec $n$ et $N$.

B. Application Réelle : Imagerie par Résonance Magnétique de Diffusion (DTI)

Les auteurs appliquent le test à des données de tensors de diffusion longitudinale provenant de l'initiative ADNI (Alzheimer's Disease Neuroimaging Initiative), comparant des sujets cognitivement normaux (CN) et des patients atteints de troubles cognitifs légers ou de la maladie d'Alzheimer (AD).

• Les données sont très éparses (environ 5,5 scans par sujet).
• Le test $T_{pool}$ révèle des différences significatives dans les structures de covariance des trajectoires de diffusivité moyenne (MD) lorsque le nombre de composantes $K$ augmente (p-valeurs < 0.05 pour $K \ge 5$).
• Les méthodes concurrentes donnent des résultats non concluants ou des p-valeurs fausses (inflation de taille), confirmant la supériorité de l'approche proposée pour les données réelles et éparses.

5. Signification et Conclusion

Cet article apporte une avancée théorique et pratique majeure en FDA :

1. Théorie : Il établit les premières fondations théoriques rigoureuses pour les tests de covariance non-paramétriques sur des données discrètes avec une truncation divergente. Il clarifie les conditions nécessaires (relation $N$ vs $n$) pour que le test soit valide.
2. Pratique : Il fournit une procédure de test opérationnelle qui ne nécessite pas de pré-lissage individuel coûteux et qui est robuste aux données éparses.
3. Insight : La découverte du « seuil de transition » pour les tests de covariance (différent de celui pour l'estimation) met en lumière la difficulté spécifique liée à la décomposition spectrale et à l'estimation des fonctions propres dans un cadre non-paramétrique.

En résumé, l'article démontre qu'il est possible de réaliser des tests de covariance robustes et puissants sur des données fonctionnelles réelles (discrètes et bruyantes), à condition d'adapter le nombre de composantes retenues en fonction de la densité des observations.