Résumé technique : Intervalles de confiance plus étroits pour les quantiles de données hétérogènes

Énoncé du problème

L'inférence de quantiles non paramétrique standard suppose généralement des données indépendantes et identiquement distribuées (i.i.d.). Cependant, dans de nombreuses applications modernes, les observations sont indépendantes mais proviennent de distributions distinctes (données hétérogènes). Bien que des résultats classiques (par exemple, Shorack, 1973 ; van Zuijlen, 1976) établissent que la variance asymptotique de la fonction de répartition empirique est maximisée sous un échantillonnage i.i.d. et peut être considérablement réduite sous l'effet de l'hétérogénéité, cet avantage théorique n'a pas été utilisé en pratique pour l'inférence.

Actuellement, aucune méthode non paramétrique asymptotiquement correcte n'existe pour quantifier cette réduction de variance dans des contextes hétérogènes généraux. Par conséquent, les statisticiens sont contraints de soit :

1. Utiliser des intervalles de confiance basés sur l'hypothèse i.i.d., qui sont excessivement conservateurs (trop larges) lorsque l'hétérogénéité est présente.
2. Restreindre l'analyse à des scénarios irréalistes où l'hétérogénéité est négligeable, revenant ainsi de fait à la limite i.i.d.

La cible inférentielle spécifique de ce travail est le quantile $\bar{Q}_n(\tau)$ correspondant à la distribution moyenne $\bar{F}_n = n^{-1}\sum_{i=1}^n F_{n,i}$ où $X_i \sim F_{n,i}$ sont indépendantes mais non identiquement distribuées.

Méthodologie

Cadre et hypothèses

Les auteurs considèrent un tableau triangulaire de données univariées indépendantes $X_i \sim F_{n,i}$ pour $1 \le i \le n$. Les données sont partitionnées en $g$ groupes, notés par les ensembles d'indices $I_{n,j}$, de sorte que les observations au sein d'un groupe partagent une distribution commune, bien que les distributions puissent différer arbitrairement entre les groupes.

• Hypothèse 1 : Pour tout $n \ge 2$, il existe une partition d'indices telle que $F_i = F_{i'}$ pour tout $i, i'$ appartenant au même groupe, et chaque groupe contient au moins deux indices.
• Hypothèse 2 : Une condition de type Lindeberg est satisfaite : $n V_n(\tau) \to \infty$ quand $n \to \infty$, où $V_n(\tau)$ est la variance asymptotique.

Réduction de la variance et estimation

La variance d'estimation de la fonction de répartition empirique $\hat{F}$ au quantile cible est donnée par :
$$V_n(\tau) = n^{-1} \sum_{i=1}^n F_i(\bar{Q}_n(\tau)) [1 - F_i(\bar{Q}_n(\tau))]$$
Sous les conditions i.i.d., $V_n(\tau) \equiv \tau(1-\tau)$. Sous l'effet de l'hétérogénéité, $V_n(\tau) \le \tau(1-\tau)$, avec une inégalité stricte qui prévaut généralement.

La principale contribution méthodologique est la construction d'un estimateur de cohérence de rapport (ratio-consistent estimator) $\hat{V}(\tau)$ pour cette variance hétérogène. L'estimateur exploite la structure de groupe :
$$\hat{V}(\tau) = n^{-1} \sum_{j=1}^g \frac{1}{m_j - 1} \left( \sum_{\ell \in I_{n,j}} \mathbb{1}\{X_\ell \le \hat{Q}(\tau)\} \right) \left( \sum_{\ell \in I_{n,j}} \mathbb{1}\{X_\ell > \hat{Q}(\tau)\} \right)$$
où $m_j$ est la taille du groupe $j$ et $\hat{Q}(\tau)$ est le quantile empirique. Cet estimateur est basé sur les rangs et est invariant par les transformations strictement croissantes.

Résultats théoriques

1. Cohérence : Sous les Hypothèses 1 et 2, l'estimateur $\hat{V}(\tau)$ est un estimateur de cohérence de rapport, ce qui signifie que $\hat{V}(\tau)/V_n(\tau) \xrightarrow{p} 1$.
2. Normalité asymptotique : En combinant la cohérence de l'estimateur de variance avec le théorème central limite pour la fonction de répartition empirique, les auteurs établissent que :
   $$\left( \frac{n}{\hat{V}(\tau)} \right)^{1/2} (\hat{F}(\bar{Q}_n(\tau)) - \tau) \xrightarrow{d} N(0, 1)$$
3. Intervalles de confiance : En inversant le résultat asymptotique en utilisant les inégalités de Galois (reliant les fonctions de distribution et de quantile), l'article dérive un intervalle de confiance à $100(1-\alpha)\%$ asymptotiquement correct pour $\bar{Q}_n(\tau)$ :
   $$(\hat{Q}(\tau - \hat{c}(\alpha)), \hat{Q}(\tau + \hat{c}(\alpha)))$$
   où $\hat{c}(\alpha) = \hat{V}(\tau)/n^{1/2} \Phi^{-1}(1-\alpha/2)$. Notamment, cette procédure ne nécessite pas l'existence d'une densité de quantile.

Résultats de simulation

Les auteurs ont mené une étude de simulation avec $n=350$ et 10 000 réplications de Monte Carlo pour évaluer la performance de la méthode.

• Mécanismes de génération de données : Trois types de données hétérogènes ont été testés (Normale, Exponentielle, Uniforme) avec des degrés d'hétérogénéité variables contrôlés par un paramètre $\gamma \in \{1, 2, 3, 4\}$.
• Conceptions de groupement : Deux stratégies de groupement ont été comparées : "Groupes jumeaux" ($m_j=2$, $g=175$) et "Groupes triangulaires" ($m_j=j+1$, $g=25$).
• Résultats :
  • Réduction de la variance : L'erreur d'estimation pour les données hétérogènes était sensiblement plus faible que pour les échantillons i.i.d. tirés de la distribution moyenne. La conception des "Groupes jumeaux", présentant une plus grande hétérogénéité, a montré la plus grande réduction de la variabilité.
  • Couverture : Les intervalles de confiance proposés ont atteint des probabilités de couverture très proches du niveau nominal de 95 % dans tous les scénarios (allant environ de 93,0 % à 9,2 %).
  • Largeur de l'intervalle : Les intervalles résultants étaient sensiblement plus courts que ceux dérivés des hypothèses i.i.d. standards, qui se sont révélés être trop conservateurs.

Signification et revendications

L'article prétend fournir la première méthode non paramétrique générale et asymptotiquement correcte pour construire des intervalles de confiance pour les quantiles dans des contextes hétérogènes. En modélisant explicitement la structure de groupe et en estimant la variance réduite, la méthode permet aux statisticiens de :

1. Éviter l'excès de conservatisme des intervalles basés sur l'hypothèse i.i.d. lorsque les données sont hétérogènes.
2. Obtenir une inférence valide sans nécessiter de conditions de lissage (telles que l'existence d'une densité de quantile) sur les distributions sous-jacentes.
3. Obtenir des intervalles de confiance nettement plus étroits qui maintiennent des taux de couverture corrects, améliorant ainsi la précision de l'estimation des quantiles dans les applications modernes où l'hypothèse i.i.d. est violée.