Post-reduction inference for confidence sets of models

1. Problématique et Contexte

L'article aborde un défi fondamental en régression à haute dimension (notamment en génomique), où le nombre de variables candidates ($p$) dépasse largement la taille de l'échantillon ($n$).

• Le problème de l'incertitude du modèle : Dans de tels contextes, de nombreuses combinaisons de variables peuvent s'ajuster aux données. Choisir un seul modèle (par exemple via le Lasso) pour l'interprétation scientifique est trompeur, car différents modèles correspondent à différentes explications scientifiques. L'approche recommandée est de construire un ensemble de confiance de modèles (un ensemble de tous les modèles parcimonieux compatibles avec les données à un niveau de signification donné).
• Le piège de la réduction préalable : Pour rendre le problème calculable, une étape de réduction préalable (screening) est nécessaire pour passer de $p$ variables à un modèle englobant $\hat{E}$ de taille gérable. Cependant, puisque $\hat{E}$ est sélectionné en fonction des données, il s'ajuste mieux aux observations qu'un modèle arbitraire.
• La conséquence : L'utilisation d'un test de rapport de vraisemblance (ou test F) standard pour évaluer la compatibilité des sous-modèles avec $\hat{E}$ conduit à un sous-estimation des p-valeurs et à une probabilité de couverture inférieure au niveau nominal (miscalibration). Les méthodes classiques comme le sample splitting (division de l'échantillon) résolvent ce problème mais au prix d'une perte d'information significative.

2. Méthodologie Proposée

Les auteurs proposent une solution basée sur les séparations inférentielles fondamentales de l'approche conditionnelle de Fisher : la séparation suffisance/co-suffisance et la séparation ancillaire/co-ancillaire. L'objectif est d'évaluer l'adéquation du modèle sans avoir besoin de spécifier une direction de déviation (contrairement aux tests de rapport de vraisemblance) et sans perdre d'information.

A. Séparation Co-suffisante (Co-sufficient Manifold)

• Concept : Pour un modèle donné, la statistique suffisante $S$ capture toute l'information sur les paramètres. La partie restante des données, conditionnellement à $S$, vit sur une variété appelée variété co-suffisante $Q(s_0)$.
• Application : Sous l'hypothèse nulle (le modèle est correct), la projection des données sur cette variété suit une distribution uniforme.
• Défi : Une seule observation sur cette variété est compatible avec l'uniformité. Pour obtenir de la puissance, les auteurs proposent une partition d'information par randomisation :
  • Ils génèrent des pseudo-réplicats indépendants de la réponse $Y$ en utilisant une transformation linéaire de $Y$ et d'un bruit gaussien indépendant.
  • Ces pseudo-réplicats permettent de créer plusieurs réalisations de la statistique co-suffisante $Q$.
  • Un test de Rayleigh (adapté aux hautes dimensions) est ensuite appliqué pour tester l'uniformité de ces points sur l'hypersphère. Si les points sont regroupés, cela indique une mauvaise spécification du modèle.

B. Séparation Ancillaire

• Concept : La somme des carrés des résidus ($R^2$) est une statistique ancillaire pour les coefficients de régression (sa distribution ne dépend pas de $\theta$).
• Application : La distribution de $R^2$ (souvent $\chi^2$) peut être utilisée pour vérifier l'adéquation du modèle (par exemple, détecter des erreurs non-gaussiennes).
• Estimation : Pour que ce test fonctionne, il faut estimer la variance $\sigma^2$. Les auteurs utilisent une version modifiée de l'estimateur de refitted cross-validation de Fan et al. (2012), calculé sur une sous-partie des données (60%) pour minimiser la dépendance avec les statistiques de test.

3. Contributions Clés

1. Formalisation de l'inférence post-réduction : L'article distingue clairement l'inférence post-réduction (où l'objectif est un ensemble de modèles) de l'inférence post-sélection (où l'objectif est un paramètre spécifique).
2. Séparations explicites pour la régression : Ils rendent opérationnelles les séparations de suffisance et d'ancillarité pour les modèles de régression linéaire gaussienne, fournissant une intuition géométrique (variétés co-suffisantes).
3. Nouvelle stratégie de randomisation : Ils généralisent la méthode de Rasines et Young (2023) pour générer des pseudo-réplicats de données, permettant d'obtenir une puissance de test sans diviser l'échantillon et sans rejeter de données.
4. Analyse théorique rigoureuse : Ils établissent la théorie asymptotique des estimateurs de variance modifiés et des statistiques de test basées sur la randomisation, montrant que la distribution limite est standard normale sous l'hypothèse nulle.
5. Extension à d'autres modèles : Ils esquissent comment ces idées s'étendent aux familles exponentielles canoniques (régression logistique) et aux modèles de vie accélérée (modèles log-normaux et log-logistiques).

4. Résultats des Simulations

Les auteurs comparent leurs méthodes (tests co-suffisants et ancillaires) à deux approches de référence : le test F standard (sans correction) et le sample splitting (division de l'échantillon).

• Calibration (Couverture) :
  • Le test F standard sans correction échoue totalement (couverture proche de 0% dans certains cas).
  • Le sample splitting restaure une bonne couverture mais seulement si la réduction préalable est très efficace (ce qui est difficile en petite taille d'échantillon).
  • Les méthodes co-suffisantes et ancillaires maintiennent une couverture proche du niveau nominal (95%) même en présence d'une réduction préalable, bien qu'elles puissent être légèrement conservatrices en très petits échantillons si la variance est estimée.
• Taille de l'ensemble de confiance :
  • Les méthodes basées sur la séparation (co-suffisance/ancillarité) produisent des ensembles de modèles beaucoup plus grands que le sample splitting.
  • Interprétation : Ce n'est pas un défaut, mais une propriété souhaitable. Un ensemble plus grand reflète honnêtement l'incertitude des données. Le sample splitting tend à rejeter à tort des modèles valides simplement parce qu'il utilise moins de données pour l'évaluation.
• Efficacité : Dans les cas où la réduction est difficile (faible rapport signal/bruit, forte corrélation), les méthodes proposées surpassent le sample splitting car elles n'abandonnent aucune information pour l'étape d'évaluation.

5. Signification et Conclusion

Cet article propose un changement de paradigme pour l'analyse de données à haute dimension :

• Rejet du modèle unique : Il démontre qu'il est scientifiquement plus rigoureux de rapporter un ensemble de modèles compatibles plutôt qu'un seul modèle sélectionné.
• Optimisation de l'information : Contrairement au sample splitting qui sacrifie de la puissance statistique, les séparations inférentielles permettent d'utiliser toutes les données à la fois pour la réduction et pour l'évaluation, tout en évitant le biais de sélection.
• Robustesse : La méthode est particulièrement pertinente lorsque la taille de l'échantillon est petite par rapport à la dimension, une situation courante en génomique.

En conclusion, bien que les ensembles de confiance générés puissent être vastes, ils offrent une représentation honnête de l'information contenue dans les données. Les auteurs suggèrent que pour l'interprétation, il faut extraire des messages compacts (par exemple, la fréquence d'apparition de certaines variables dans l'ensemble) plutôt que de chercher à isoler un modèle unique.