Technische Samenvatting: Nauwere Betrouwbaarheidsintervallen voor Kwantielen van Heterogene Data

Probleemstelling

Standaard niet-parametrische kwantielinferentie gaat doorgaans uit van onafhankelijke en identiek verdeelde (i.i.d.) gegevens. Echter, in veel moderne toepassingen zijn waarnemingen wel onafhankelijk, maar komen ze voort uit verschillende verdelingen (heterogene data). Hoewel klassieke resultaten (bijv. Shorack, 1973; van Zuijlen, 1976) vaststellen dat de asymptotische variantie van de empirische distributiefunctie wordt gemaximaliseerd onder i.i.d.-steekproeven en aanzienlijk kan worden verminderd onder heterogeniteit, is dit theoretische voordeel tot nu toe niet praktisch benut voor inferentie.

Momenteel bestaat er geen asymptotisch correcte niet-parametrische methode om deze variantiereductie te kwantificeren voor algemene heterogene settings. Gevolgelijk worden statistici gedwongen om ofwel:

1. i.i.d.-gebaseerde betrouwbaarheidsintervallen te gebruiken, die te conservatief (te breed) zijn wanneer heterogeniteit aanwezig is.
2. De analyse te beperken tot onrealistische scenario's waar heterogeniteit verwaarloosbaar is, wat effectief terugkeert naar de i.i.d.-limiet.

Het specifieke inferentiële doel in dit werk is het kwantiel $\bar{Q}_n(\tau)$ dat overeenkomt met de gemiddelde verdeling $\bar{F}_n = n^{-1}\sum_{i=1}^n F_{n,i}$, waarbij $X_i \sim F_{n,i}$ onafhankelijk maar niet identiek verdeeld zijn.

Methodologie

Raamwerk en Aannames

De auteurs beschouwen een driehoeksarray van onafhankelijke univariate gegevens $X_i \sim F_{n,i}$ voor $1 \le i \le n$. De gegevens zijn verdeeld in $g$ groepen, aangeduid met indexverzamelingen $I_{n,j}$, waarbij waarnemingen binnen een groep een gemeenschappelijke verdeling delen, hoewel de verdelingen willekeurig kunnen verschillen tussen groepen.

• Aanname 1: Voor alle $n \ge 2$ bestaat er een partitie van indices zodanig dat $F_i = F_{i'}$ voor alle $i, i'$ in dezelfde groep, en elke groep bevat ten minste twee indices.
• Aanname 2: Er geldt een Lindeberg-type conditie: $n V_n(\tau) \to \infty$ als $n \to \infty$, waarbij $V_n(\tau)$ de asymptotische variantie is.

Variantiereductie en Schatting

De schattingsvariantie van de empirische distributiefunctie $\hat{F}$ bij het doelkwantiel wordt gegeven door:
$$V_n(\tau) = n^{-1} \sum_{i=1}^n F_i(\bar{Q}_n(\tau)) [1 - F_i(\bar{Q}_n(\tau))]$$
Onder i.i.d.-condities geldt $V_n(\tau) \equiv \tau(1-\tau)$. Onder heterogeniteit geldt $V_n(\tau) \le \tau(1-\tau)$, waarbij strikte ongelijkheid over het algemeen standhoudt.

De kern van de methodologische bijdrage is de constructie van een ratio-consistente schatter $\hat{V}(\tau)$ voor deze heterogene variantie. De schatter maakt gebruik van de groepsstructuur:
$$\hat{V}(\tau) = n^{-1} \sum_{j=1}^g \frac{1}{m_j - 1} \left( \sum_{\ell \in I_{n,j}} \mathbb{1}\{X_\ell \le \hat{Q}(\tau)\} \right) \left( \sum_{\ell \in I_{n,j}} \mathbb{1}\{X_\ell > \hat{Q}(\tau)\} \right)$$
waarbij $m_j$ de grootte van groep $j$ is en $\hat{Q}(\tau)$ het empirische kwantiel. Deze schatter is ranggebaseerd en invariant onder strikt toenemende transformaties.

Theoretische Resultaten

1. Consistentie: Onder Aannames 1 en 2 is de schatter $\hat{V}(\tau)$ ratio-consistent, wat betekent dat $\hat{V}(\tau)/V_n(\tau) \xrightarrow{p} 1$.
2. Asymptotische Normaliteit: Door de consistentie van de variantieschatter te combineren met de Centrale Limietstelling voor de empirische distributiefunctie, stellen de auteurs vast dat:
   $$\left( \frac{n}{\hat{V}(\tau)} \right)^{1/2} (\hat{F}(\bar{Q}_n(\tau)) - \tau) \xrightarrow{d} N(0, 1)$$
3. Betrouwbaarheidsintervallen: Door de asymptotische resultaten te inverteren met behulp van Galois-ongelijkheden (die de distributie- en kwantielfuncties relateren), leidt het artikel een asymptotisch correct $100(1-\alpha)\%$ betrouwbaarheidsinterval af voor $\bar{Q}_n(\tau)$:
   $$(\hat{Q}(\tau - \hat{c}(\alpha)), \hat{Q}(\tau + \hat{c}(\alpha)))$$
   waarbij $\hat{c}(\alpha) = \hat{V}(\tau)/n^{1/2} \Phi^{-1}(1-\alpha/2)$. Opvallend genoeg vereist deze procedure niet de existentie van een kwantieldichtheidsfunctie.

Simulatie-resultaten

De auteurs hebben een simulatiestudie uitgevoerd met $n=350$ en 10.000 Monte Carlo-replicaties om de prestaties van de methode te evalueren.

• Data-genererende mechanismen: Drie typen heterogene data werden getest (Normaal, Exponentieel, Uniform) met variërende graden van heterogeniteit, gecontroleerd door een parameter $\gamma \in \{1, 2, 3, 4\}$.
• Groeperingsontwerpen: Twee groeperingsstrategieën werden vergeleken: "Twin groups" ($m_j=2$, $g=175$) en "Triangular groups" ($m_j=j+1$, $g=25$).
• Bevindingen:
  • Variantiereductie: De schattingsfout voor heterogene data was aanzienlijk kleiner dan voor i.i.d.-steekproeven getrokken uit de gemiddelde verdeling. Het "Twin groups"-ontwerp, dat een hogere heterogeniteit vertoonde, liet de grootste reductie in variabiliteit zien.
  • Dekking: De voorgestelde betrouwbaarheidsintervallen bereikten dekking waarschijnlijkheden die zeer dicht bij het nominale niveau van 95% lagen in alle scenario's (variërend van ongeveer 93,0% tot 95,2%).
  • Intervalbreedte: De resulterende intervallen waren aanzienlijk korter dan die afgeleid van standaard i.i.d.-aannames, die te conservatief bleken te zijn.

Betekenis en Claims

Het artikel claimt de eerste algemene, asymptotisch correcte niet-parametrische methode te bieden voor het construeren van betrouwbaarheidsintervallen voor kwantielen in heterogene settings. Door de groepsstructuur expliciet te modelleren en de verminderde variantie te schatten, stelt de methode statistici in staat om:

1. De excessieve conservativiteit van i.i.d.-gebaseerde intervallen te vermijden wanneer de data heterogeen is.
2. Geldige inferentie te verkrijgen zonder dat er gladheidsvoorwaarden (zoals de existentie van een kwantieldichtheid) op de onderliggende verdelingen vereist zijn.
3. Aanzienlijk nauwere betrouwbaarheidsintervallen te verkrijgen die correcte dekkingspercentages behouden, wat de precisie van kwantielschattingen in moderne toepassingen waar de i.i.d.-aanname wordt geschonden, verbetert.