Finite Population Sampling as n to N: Empirical Evidence for the Transition from Inference to Accuracy

Résumé technique : Échantillonnage de population finie lorsque $n \to N$

Énoncé du problème
L'article traite d'une rupture fondamentale entre les statistiques inférentielles classiques et la réalité des systèmes de données modernes à grande échelle. Le théorème central limite (TCL) et les cadres inférentiels standards reposent sur l'hypothèse que les échantillons sont tirés de populations effectivement infinies ou que la fraction d'échantillonnage ($f = n/N$) est faible. Dans ces conditions, la variabilité d'échantillonnage constitue la principale source d'incertitude, et les distributions de randomisation approchent la normalité.

Cependant, les flux de données modernes (registres administratifs, journaux de transactions, données de capteurs) capturent souvent de grandes fractions de populations finies, approchant le dénombrement complet ($n/N \to 1$). Dans ce régime de « quasi-dénombrement », le facteur de correction de population finie (FPC) $(1 - n/N)$ fait tendre la variance théorique des estimateurs vers zéro. L'article examine le comportement des estimateurs lorsque la fraction d'échantillonnage s'approche de l'unité, en questionnant la pertinence des outils inférentiels classiques (erreurs standards, intervalles de confiance, approximations normales) lorsque la variabilité d'échantillonnage s'effondre mécaniquement en raison de l'épuisement de la population plutôt que d'un gain d'information amélioré.

Méthodologie
L'étude adopte une approche de simulation computationnelle utilisant une plateforme basée sur GPU pour observer empiriquement la transition de l'échantillonnage classique au quasi-dénombrement. La méthodologie est structurée en quatre phases :

1. Construction de la population : Deux populations finies explicites ($N = 10^7$) avec des paramètres connus (moyenne $\mu$ et variance $\sigma^2$) ont été générées. L'une suivait une distribution uniforme discrète, l'autre une distribution empirique synthétique. Ces paramètres ont servi de vérité terrain fixe, éliminant le besoin d'inférence sur des paramètres inconnus.
2. Plan d'échantillonnage : Les chercheurs ont effectué des échantillonnages répétés sans remise sur une large gamme de fractions d'échantillonnage ($f$), allant de faibles ($0,01$) à un dénombrement complet ($1,00$).
3. Analyse de la distribution de randomisation (Phases 1–3) : Pour des fractions d'échantillonnage fixes, l'équipe a généré des distributions de randomisation empiriques de la moyenne de l'échantillon. Ils ont comparé la variance observée aux prédictions théoriques dérivées de la théorie de l'échantillonnage en population finie (spécifiquement la formule FPC).
4. Analyse de la précision numérique (Phase 4) : Une fois la variabilité d'échantillonnage effectivement éliminée (près de $n=N$), l'étude a isolé l'écart restant de la moyenne de l'échantillon par rapport à la moyenne de population connue. Cette phase a testé divers chemins computationnels, notamment :
   • Matériel : Implémentations CPU vs GPU.
   • Précision : Arithmétique double précision (FP64) vs simple précision (FP32).
   • Algorithmes : Somme naïve, somme compensée, réductions arborescentes et somme d'ordre aléatoire.

Résultats clés
Les expériences ont identifié trois régimes distincts de comportement des estimateurs :

1. Régime d'échantillonnage classique ($n/N \ll 1$) : La variance empirique correspondait étroitement à l'approximation de population infinie ($\sigma^2/n$).
2. Régime de population finie ($n/N$ modéré à élevé) : À mesure que la fraction d'échantillonnage augmentait, la variance empirique déclinait rapidement, s'alignant précisément sur la théorie de la correction de population finie. La distribution de randomisation se rétrécissait considérablement avant que le dénombrement complet ne soit atteint.
3. Régime de quasi-dénombrement ($n/N \to 1$) :
   • Effondrement de la variabilité d'échantillonnage : À mesure que $n$ approchait $N$, la variabilité d'échantillonnage disparaissait. À $n=N$, la moyenne de l'échantillon était égale à la moyenne de population exactement, et la distribution de randomisation s'effondrait en un point unique.
   • Émergence de la dominance numérique : En l'absence d'aléa d'échantillonnage, l'écart restant de l'estimateur était entièrement piloté par des effets numériques.
   • Sensibilité à la précision : Sous dénombrement complet, la variance observée n'était non nulle qu'en raison d'erreurs d'accumulation en virgule flottante. La somme compensée en FP64 réduisait la variance à près de zéro ($< 10^{-15}$), tandis que la somme naïve en FP32 présentait une variance résiduelle ($\approx 10^{-7}$).

Contributions clés

• Validation empirique de l'effondrement de la variance : L'étude fournit des preuves empiriques haute résolution que la variabilité d'échantillonnage diminue structurellement à mesure que la population est épuisée, confirmant que la « courbe en cloche » de la distribution de randomisation se rétrécit en une ligne verticale bien avant $n=N$.
• Distinction entre inférence et précision : L'article délimite le point où l'analyse statistique bascule de l'inférence probabiliste (incertitude sur des paramètres inconnus) à l'analyse de précision (erreur déterministe due au calcul).
• Identification des sources d'erreur : Il démontre que dans les contextes de quasi-dénombrement, la source dominante d'erreur n'est pas l'aléa d'échantillonnage, mais plutôt l'interaction entre la représentation en virgule flottante, l'ordre de sommation et l'architecture computationnelle.

Signification et affirmations
L'article soutient que le raisonnement inférentiel classique est structurellement inadapté aux contextes de données à forte couverture. Lorsque la fraction d'échantillonnage est élevée, l'hypothèse d'observations indépendantes et identiquement distribuées (i.i.d.) s'effondre, et la distribution de randomisation ne représente plus l'incertitude sur une vérité inconnue, mais plutôt la réduction mécanique de la population restante à échantillonner.

Les auteurs affirment que dans ces régimes :

• Les erreurs standards et les intervalles de confiance perdent leur valeur interprétative car l'incertitude qu'ils quantifient (variabilité d'échantillonnage) a effectivement disparu.
• La pratique statistique doit déplacer son focus de la quantification de l'incertitude basée sur le rééchantillonnage vers la validation de la stabilité numérique, des choix de précision et de l'architecture computationnelle.
• La transition de l'inférence à la précision est une conséquence naturelle de la théorie de la population finie, et non un échec pathologique des statistiques.

L'étude conclut que, bien que de grandes tailles d'échantillon améliorent généralement l'inférence dans les contextes classiques, elles sont insuffisantes pour garantir une inférence fiable dans les contextes de quasi-dénombrement. Au contraire, une pratique statistique responsable dans ces contextes exige une évaluation rigoureuse de la précision numérique et du biais algorithmique, car ceux-ci deviennent les facteurs limitants de la précision des estimateurs.