Second order asymptotics for the number of times an estimator is more than epsilon from its target value

Cet article étudie les asymptotiques du second ordre pour le nombre de fois où un estimateur s'écarte de sa valeur cible, introduisant une notion de « déficience relative asymptotique » permettant de distinguer des estimateurs ayant la même efficacité asymptotique, comme le démontre l'optimalité de la formule de variance avec dénominateur $n-1/3$.

L'essentiel

Voici une explication de ce papier de recherche, traduite en langage simple et imagé, comme si nous discutions autour d'un café.

Le Titre : Compter les erreurs, pas juste les éviter

Imaginez que vous êtes un archer qui tire sur une cible. Votre but est de toucher le centre (la vraie valeur du paramètre $\theta$). Vous tirez des flèches une par une, au fur et à mesure que vous apprenez et que vous ajustez votre viseur.

Dans le monde des statistiques, on a souvent deux façons de juger si un archer est bon :

1. La précision moyenne : À la fin du tour, quelle est la distance moyenne entre vos flèches et le centre ? (C'est ce que font la plupart des gens).
2. Le nombre de ratés : Combien de fois votre flèche a-t-elle atterri à plus de 10 cm du centre ?

Ce papier, écrit par Nils Lid Hjort et Grete Fenstad, s'intéresse à la deuxième question. Ils ne veulent pas seulement savoir si vous êtes bon, ils veulent savoir combien de fois vous allez rater la cible de manière significative (appelons cette marge d'erreur $\epsilon$) sur une longue période d'observations.

Le Problème : Quand deux archers semblent identiques

Jusqu'à présent, les statisticiens avaient une règle d'or : si deux méthodes d'estimation (deux archers) ont la même "précision asymptotique" (c'est-à-dire que quand on tire un nombre infini de flèches, ils finissent par être aussi précis l'un que l'autre), on les considérait comme égaux.

C'est comme dire : "Ah, l'archer A et l'archer B ont tous les deux une moyenne de 9,5 sur 10. C'est pareil."

Mais les auteurs disent : "Attendez une minute !"
Même si leur moyenne est la même, il se peut que l'archer A fasse 100 petits ratés, tandis que l'archer B en fait 90, mais avec quelques gros ratés. Ou pire, ils peuvent avoir exactement la même distribution de précision, mais l'un est légèrement plus "régulier" que l'autre.

Le papier demande : Comment distinguer le "meilleur" des deux quand les mesures classiques disent qu'ils sont égaux ?

La Solution : Regarder de plus près (La "Deuxième Ordre")

Pour résoudre ce mystère, les auteurs utilisent une loupe très puissante. Ils regardent non pas la distance moyenne, mais la différence exacte dans le nombre de fois où l'on rate la cible.

Imaginez que vous avez deux montres qui semblent parfaitement synchronisées. Si vous les regardez à la seconde près, elles semblent identiques. Mais si vous les écoutez avec un stéthoscope, vous entendez peut-être que l'une fait "tic-tac" un tout petit peu plus vite que l'autre. C'est ce que font les auteurs : ils écoutent le "tic-tac" des erreurs.

Ils introduisent un nouveau concept qu'ils appellent la "Déficience Asymptotique Relative".

• Traduction simple : "Combien de ratés en plus l'archer B fait-il par rapport à l'archer A, même s'ils sont censés être égaux ?"

Les Analogies et les Découvertes Surprenantes

Les auteurs appliquent cette méthode à des problèmes classiques de mathématiques et découvrent des choses contre-intuites.

1. Le cas de la moyenne (L'archer classique)

Quand on essaie de deviner la moyenne d'une série de nombres, on utilise souvent la formule classique (la moyenne arithmétique). Mais les auteurs montrent que si l'on ajuste légèrement la formule (en changeant un petit chiffre dans le dénominateur), on peut réduire le nombre de ratés.

• L'analogie : C'est comme ajuster le poids de votre arc. Un tout petit changement de poids peut faire que vous ratez moins souvent la cible, même si votre technique de base reste la même.

2. Le cas de la variance (Le calcul de la dispersion)

C'est ici que ça devient vraiment intéressant. Pour calculer la "variance" (la dispersion des données), il existe une formule célèbre où l'on divise la somme des carrés des écarts par un nombre.

• La méthode classique divise par $N$ (le nombre total de données).
• La méthode "sans biais" (très populaire) divise par $N-1$.
• Les auteurs découvrent qu'en divisant par $N - 1/3$, on obtient le moins grand nombre possible d'erreurs sur le long terme !

Pourquoi $N - 1/3$ ?
Imaginez que vous essayez de remplir un verre d'eau jusqu'au bord sans déborder.

• Diviser par $N$, c'est comme essayer de remplir le verre mais en laissant un peu d'espace vide (sous-estimation).
• Diviser par $N-1$, c'est comme essayer de le remplir à ras bord, mais vous avez tendance à déborder un peu (surestimation).
• Diviser par $N-1/3$, c'est le "juste milieu" mathématique qui permet de remplir le verre exactement à la bonne hauteur, minimisant le risque de déborder ou de ne pas être plein. C'est le "sweet spot" (le point idéal) pour éviter les erreurs.

3. Le mouvement Brownien (Le voyageur ivre)

Pour expliquer pourquoi ces formules fonctionnent, les auteurs utilisent une image très poétique : le Mouvement Brownien.
Imaginez une goutte de pollen dans l'eau, qui bouge de façon aléatoire (comme un voyageur ivre qui titube).

• Le nombre d'erreurs d'un estimateur est lié au temps que cette goutte passe à l'extérieur d'une zone de sécurité.
• Les auteurs montrent que la différence entre deux estimateurs est liée à la façon dont ce "voyageur ivre" passe du temps le long des bords de la zone de sécurité. C'est une connexion magnifique entre des erreurs de calcul et le mouvement chaotique de la nature.

En Résumé : Pourquoi c'est important ?

Ce papier nous apprend que l'égalité apparente n'est pas l'égalité réelle.

Même si deux méthodes statistiques semblent donner les mêmes résultats à grande échelle, l'une peut être subtilement meilleure que l'autre si l'on regarde le nombre total d'erreurs commises sur une longue période.

• Leçon pour la vie : Ne vous contentez pas de la moyenne. Regardez la régularité. Parfois, la solution "parfaite" n'est pas celle qui est la plus simple ou la plus célèbre, mais celle qui a un petit ajustement précis (comme $N-1/3$) qui évite le plus grand nombre de catastrophes à long terme.

Les auteurs nous donnent donc une nouvelle boussole pour choisir la meilleure méthode statistique, non pas en regardant la destination finale, mais en comptant les pas de travers faits en chemin.

Résumé technique

Voici un résumé technique détaillé de l'article « Second order asymptotics for the number of times an estimator is more than ε from its target value » de Nils Lid Hjort et Grete Fenstad.

1. Problématique et Contexte

L'article s'intéresse à la comparaison d'estimateurs statistiques $\hat{\theta}_n$ pour un paramètre $\theta$, basés sur une séquence d'observations indépendantes. Le critère d'évaluation central est $Q_\varepsilon$, défini comme le nombre de fois où l'estimateur s'écarte du paramètre vrai d'au moins une marge $\varepsilon$ :
$$Q_\varepsilon = \sum_{n \ge 1} \mathbb{I}(|\hat{\theta}_n - \theta| \ge \varepsilon)$$

Dans un travail antérieur (Hjort et Fenstad, 1992), il a été démontré que sous des conditions de régularité, la variable $\varepsilon^2 Q_\varepsilon$ converge en loi vers une variable aléatoire $Q$ liée au temps passé par un mouvement brownien $W(s)$ en dehors d'une zone définie par $\sigma$ (l'écart-type asymptotique de $\sqrt{n}(\hat{\theta}_n - \theta)$).

Le problème : La mesure d'efficacité relative asymptotique (a.r.e.) classique, basée sur le rapport des espérances $\lim_{\varepsilon \to 0} \frac{E Q_{1,\varepsilon}}{E Q_{2,\varepsilon}} = \frac{\sigma_1^2}{\sigma_2^2}$, est une mesure de « premier ordre ». Elle échoue à distinguer entre des estimateurs qui partagent la même distribution limite (c'est-à-dire le même $\sigma$), car dans ce cas, le rapport tend vers 1 et la différence tend vers 0.

L'objectif : Développer une théorie d'asymptotique de « second ordre » pour analyser la différence $E(Q_{1,\varepsilon} - Q_{2,\varepsilon})$ lorsque les estimateurs sont asymptotiquement équivalents au premier ordre. L'objectif est d'identifier l'estimateur « optimal » ayant le nombre minimal attendu d'erreurs $\varepsilon$ lorsque $\varepsilon \to 0$.

2. Méthodologie

Les auteurs utilisent une approche combinant des développements de probabilités et des approximations stochastiques :

• Développements d'Edgeworth : Pour approximer les fonctions de distribution cumulatives des statistiques d'estimation (comme la moyenne empirique $\bar{X}_n$) au-delà de l'approximation normale standard. Ces développements intègrent les moments d'ordre supérieur, notamment l'asymétrie (skewness) $\gamma$.
• Approximations de Taylor : Utilisées pour analyser les termes indicatrices dans la somme définissant $Q_\varepsilon$ lorsque les bornes de l'intégrale varient légèrement avec $n$.
• Limite de Riemann : La somme discrète sur $n$ est transformée en une intégrale continue sur une variable temporelle $s = n/m$ (où $m = 1/\varepsilon^2$) lorsque $\varepsilon \to 0$.
• Analyse de la Déficiency Relative Asymptotique (a.r.d.) : Les auteurs définissent une nouvelle mesure de comparaison :
  $$\text{a.r.d.} = \lim_{\varepsilon \to 0} E(Q_{1,\varepsilon} - Q_{2,\varepsilon})$$
  Cette mesure est comparée à la déficience de Hodges-Lehmann (basée sur la différence de tailles d'échantillon nécessaire pour atteindre la même précision).

3. Résultats Clés

A. Formules Générales pour l'Estimation d'une Moyenne

Pour une classe d'estimateurs de la forme $\hat{\xi}_n(c, d) = \frac{n}{n+c}\bar{X}_n + \frac{c}{n+c}d$, les auteurs dérivent une formule explicite pour la différence d'espérance des erreurs $\varepsilon$ :
$$\lambda_0(c, d) = \lim_{\varepsilon \to 0} E\{Q_\varepsilon(c, d) - Q_\varepsilon(0, 0)\} = \frac{(\xi - d)^2}{\sigma^2}c^2 - 2\left(1 - \frac{\gamma}{3}\frac{\xi - d}{\sigma}\right)c$$
où $\gamma$ est l'asymétrie de la distribution sous-jacente.

• Contribution majeure : Contrairement à la déficience de Hodges-Lehmann, cette formule dépend de l'asymétrie $\gamma$. Cela permet de distinguer des estimateurs que la théorie classique considère comme équivalents.

B. Applications Spécifiques et Optimalité de Second Ordre

1. Moyenne Normale (Normal Mean) :

   • Pour une distribution normale ($\gamma=0$), l'estimateur bayésien optimal sous une perte de type « nombre d'erreurs » correspond à un choix spécifique de $c$ et $d$ basé sur les moments a priori. Cela valide la formule de crédibilité actuarielle.

2. Moyenne Exponentielle (Exponential Mean) :

   • Pour une loi exponentielle ($\gamma=2$), l'estimateur de vraisemblance maximale (V.M.) correspond à $c=0$.
   • L'analyse montre que l'estimateur optimal pour minimiser les erreurs $\varepsilon$ utilise $c = 1/3$.
   • L'estimateur V.M. fait en moyenne $1/9$d'erreur$\varepsilon$de plus que l'optimal. L'estimateur sous perte quadratique ($c=1$) fait$4/9$ d'erreur de plus.

3. Variance Normale (Normal Variance) - Résultat Phare :

   • Pour l'estimation de la variance $\sigma^2$ avec le dénominateur $N-1+c$, l'analyse de second ordre révèle que le choix optimal est $c = -1/3$ (soit un dénominateur de $N - 1/3$).
   • Conclusion surprenante : L'estimateur $\hat{\sigma}^2 = \frac{\sum (Y_i - \bar{Y})^2}{N - 1/3}$ est supérieur à la fois à l'estimateur sans biais ($N-1$) et à l'estimateur du maximum de vraisemblance ($N$). Il minimise le nombre attendu d'erreurs $\varepsilon$.

4. Probabilité Binomiale :

   • L'estimateur $(Y_n + 2/3)/(n + 4/3)$ est identifié comme la séquence minimax de second ordre, réduisant le nombre d'erreurs par rapport à la fréquence empirique $Y_n/n$.

5. Estimation de la Moyenne au Carré (Squared Mean) :

   • Pour estimer $\xi^2$, l'estimateur $(\bar{X}_n)^2 + \sigma^2/n$ (avec un terme de correction positif) est optimal, surpassant à la fois la solution V.M. $(\bar{X}_n)^2$ et la solution UMV (non biaisée) $(\bar{X}_n)^2 - \sigma^2/n$.

C. Résultats Distributionnels de Second Ordre

La section 6 explore la distribution limite de la différence elle-même (pas seulement l'espérance).

• Alors que $\varepsilon^2(Q_{1,\varepsilon} - Q_{2,\varepsilon}) \to 0$ en probabilité, la variable $\varepsilon(Q_{1,\varepsilon} - Q_{2,\varepsilon})$ converge en loi vers une variable $A - B$.
• $A$ et $B$ sont liées au temps que le mouvement brownien passe le long des frontières $\pm s/\sigma$. Ces variables suivent des lois exponentielles ou des mélanges d'exponentielles et de masses de Dirac, reliant ainsi le problème à la théorie du mouvement brownien et aux travaux de Hjort et Khasminskii (1993).

4. Signification et Implications

• Distinction Fine entre Estimateurs : L'article fournit un outil puissant pour départager des estimateurs qui sont asymptotiquement équivalents au premier ordre (même variance asymptotique). Il montre que le « meilleur » estimateur dépend souvent de l'asymétrie de la distribution sous-jacente et du type de perte considéré.
• Optimalité Pratique : Les résultats suggèrent que des ajustements simples dans les dénominateurs des estimateurs classiques (comme passer de $N-1$ à $N-1/3$ pour la variance) peuvent réduire significativement le nombre d'erreurs d'estimation dans des séquences infinies, même si la différence semble minuscule asymptotiquement.
• Cadre Décisionnel : L'approche est interprétée dans un cadre décisionnel où la fonction de perte est le nombre total d'erreurs $\varepsilon$ sur une séquence. Cela offre une alternative aux critères classiques de risque quadratique moyen (MSE) ou de biais.
• Lien avec le Bayésien : Les auteurs montrent que leurs résultats de second ordre coïncident souvent avec des solutions bayésiennes optimales sous des priors spécifiques, offrant une justification fréquentiste aux choix bayésiens dans certains contextes.

En résumé, ce papier établit une théorie rigoureuse de l'asymptotique de second ordre pour le comptage d'erreurs d'estimation, démontrant que des corrections de faible ordre (comme $1/3$ou$2/3$ dans les dénominateurs) peuvent avoir un impact mesurable sur la performance globale d'un estimateur, là où les méthodes traditionnelles de premier ordre ne voient aucune différence.