Résumé technique : Sur la correction de Bessel, la Bariance et un nouvel estimateur optimisé pour l'exécution

Énoncé du problème

L'estimation de la variance de la population à partir d'un échantillon est une tâche fondamentale en statistique et en économétrie. L'approche standard utilise la correction de Bessel, divisant la somme des carrés des écarts par rapport à la moyenne de l'échantillon par $n-1$ plutôt que par $n$ pour garantir l'impartialité de l'estimateur. Bien que théoriquement fondé, cet article identifie deux domaines principaux d'amélioration :

1. Compromis pédagogiques et pratiques : Dans les petits échantillons ou certains contextes appliqués, l'estimateur sans biais peut présenter une variance élevée, conduisant à une erreur quadratique moyenne (EMC) sous-optimale. Comme le note Rosenthal [8], un estimateur biaisé (divisant par $n$) ou un estimateur de contraction pourrait produire une erreur globale moindre, remettant en question l'insistance dogmatique sur l'absence de biais.
2. Efficacité computationnelle : L'estimation traditionnelle de la variance repose sur les écarts par rapport à la moyenne. Bien que cette approche soit linéairement complexe ($O(n)$), les approches alternatives basées sur les différences par paires (souvent associées aux U-statistiques ou au coefficient de Gini) souffrent généralement d'une complexité quadratique ($O(n^2)$) en raison de la nécessité d'évaluer toutes les paires. Il existe un besoin pour un estimateur qui exploite les structures par paires pour la robustesse ou la clarté conceptuelle sans encourir de coûts de calcul quadratiques.

Méthodologie

L'article emploie une approche multidimensionnelle combinant dérivation algébrique, interprétation géométrique et simulation empirique :

• Dérivation algébrique : L'auteur dérive rigoureusement le biais de la variance à dénominateur $n$ et la nécessité de la correction de Bessel. Il introduit ensuite la Bariance, définie comme la moyenne de tous les carrés des différences par paires entre les observations :
  $$\text{Bariance} = \frac{1}{n(n-1)} \sum_{i \neq j} (X_i - X_j)^2$$
• Optimisation : Par manipulation algébrique, l'article dérive une formule de complexité linéaire ($O(n)$) pour la Bariance qui évite l'itération explicite par paires. Cette forme optimisée repose sur les sommes scalaires des données et de leurs carrés :
  $$\text{Bariance}_{opt} = \frac{2n}{n(n-1)} \sum X_i^2 - \frac{2}{n(n-1)} \left(\sum X_i\right)^2$$
  L'article prouve que pour des données centrées sur la moyenne, la Bariance est exactement égale à deux fois la variance de l'échantillon sans biais ($2\hat{S}^2$).
• Interprétation géométrique : L'article visualise l'estimation de la variance à travers des projections orthogonales dans $\mathbb{R}^n$, illustrant la perte d'un degré de liberté lors de la projection sur le sous-espace orthogonal au vecteur composé de uns. Il présente également la Bariance comme la moyenne des poids des arêtes au carré d'un graphe complet où les nœuds sont les observations.
• Études de simulation : Des simulations approfondies ont été menées à l'aide de distributions Normales et Gamma (incluant des cas à forte dispersion) pour évaluer :
  • Le biais, la variance et l'EMC à travers différentes valeurs de dénominateur ($a$ dans $\hat{\sigma}^2_a$).
  • Les temps d'exécution empiriques de quatre estimateurs : la Variance biaisée ($n$), la Variance sans biais ($n-1$), la Bariance naïve ($O(n^2)$) et la Bariance optimisée ($O(n)$).
  • Des tests de robustesse à travers différents environnements matériels et implémentations de programmation (Python et Java).

Principales contributions

1. Formalisation de la « Bariance » : L'article définit et analyse formellement la Bariance comme une mesure de dispersion distincte basée sur les carrés des différences par paires plutôt que sur les écarts par rapport à une moyenne centrale.
2. Optimisation en temps linéaire : La principale contribution technique est la dérivation d'une formule algébriquement optimisée pour la Bariance. Cela permet le calcul d'un estimateur de variance sans biais (via la relation $\hat{S}^2 = \text{Bariance}/2$ pour les données centrées) en temps linéaire, égalant la complexité du calcul de la variance standard tout en évitant le coût quadratique des méthodes par paires naïves.
3. Validation empirique du temps d'exécution : L'étude fournit des preuves empiriques que l'estimateur de Bariance optimisé est plus rapide en termes de calcul que les estimateurs de variance standard sans biais dans diverses configurations de simulation, incluant les distributions Normales et Gamma.
4. Réévaluation du choix du dénominateur : L'article renforce la discussion sur le compromis biais-variance, présentant des données de simulation qui confirment que le dénominateur minimisant l'EMC est souvent proche de $n+1$ plutôt que de $n-1$ ou $n$, particulièrement pour les petits échantillons.

Résultats

• Propriétés statistiques : Les simulations confirment que la Bariance est un estimateur biaisé de la variance de la population (spécifiquement, $E[\text{Bariance}] = 2\sigma^2$), mais elle est directement proportionnelle à la variance de l'échantillon sans biais. La relation $\text{Bariance} = 2\hat{S}^2$ est vérifiée pour les données centrées sur la moyenne.
• Analyse de l'EMC : L'étude de simulation à travers des dénominateurs $a \in [3.5, 8.5]$ (pour $n=5$) démontre que l'erreur quadratique moyenne minimale (EMC) est atteinte avec un dénominateur légèrement supérieur à $n-1$ (spécifiquement entre 5,5 et 6,5), soutenant l'argument selon lequel l'absence stricète de biais n'est pas toujours optimale pour minimiser l'erreur totale.
• Performance computationnelle :
  • La Bariance naïve présente la croissance quadratique attendue du temps d'exécution ($O(n^2)$).
  • La Bariance optimisée surpasse systématiquement les estimateurs de variance standard biaisés et sans biais en termes de temps d'exécution réel (wall-clock time) pour toutes les tailles d'échantillons et distributions testées (Normales et Gamma).
  • Les estimations de densité de noyau des différences de temps d'exécution confirment que la Bariance optimisée est statistiquement plus rapide que l'estimateur de variance sans biais standard.

Signification et affirmations

L'article affirme que le cadre de la Bariance fait le pont entre l'estimation théorique de la variance et l'efficacité algorithmique. Sa signification réside dans trois domaines :

1. Scalabilité computationnelle : En réduisant la complexité de l'estimation de la variance par paires au temps linéaire, la Bariance offre une alternative viable pour les contextes de Big Data, les systèmes en temps réel et l'analyse de flux (streaming), où la vitesse de calcul est critique.
2. Flexibilité conceptuelle : La Bariance fournit une mesure de dispersion qui ne dépend pas d'une moyenne centrale. Cela est présenté comme potentiellement précieux dans des domaines où la moyenne est instable, mal définie ou trompeuse (ex: analyse de réseaux, génomique, recherche sur les enquêtes ordinales et clustering), offrant une perspective de dispersion indépendante des coordonnées.
3. Aperçu pédagogique et pratique : Ce travail soutient une vision nuancée de l'estimation de la variance, suggérant que bien que la correction de Bessel soit mathématiquement nécessaire pour l'absence de biais, les praticiens devraient considérer le compromis biais-variance et les coûts de calcul. L'article pose que l'estimateur de Bariance optimisé est une découverte « fortuite mais significative » qui offre une méthode plus rapide et statistiquement valide pour l'estimation de la variance sans biais.

L'auteur conclut que, bien que de nombreux estimateurs existent pour échanger le biais contre des gains de calcul, la formule de la Bariance optimisée constitue une alternative prometteuse pour les applications multivariées en temps réel, notamment en prévision, en biologie computationnelle et en finance, où l'estimation de la variance sans biais et scalable est essentielle.