A Beta-Based Heteroskedasticity-Consistent Covariance Matrix Estimator

Résumé technique : Un estimateur de matrice de covariance cohérent à l'hétéroscédasticité basé sur la loi Bêta

Énoncé du problème
Dans la régression par moindres carrés ordinaires (MCO), l'hypothèse d'homoscédasticité est fréquemment violée dans les applications transversales. Bien que l'estimateur MCO reste non biaisé et cohérent sous l'effet de l'hétéroscédasticité, l'estimateur conventionnel de la matrice de covariance devient biaisé et incohérent, rendant invalides les procédures d'inférence standard (tests d'hypothèses et intervalles de confiance). Pour remédier à cela, des estimateurs de matrice de covariance cohérents à l'hétéroscédasticité (HC) ont été développés afin de fournir des erreurs types asymptotiquement valides sans modéliser explicitement la fonction de variance.

Cependant, les estimateurs HC existants (par exemple, HC2, HC3, HC4, HC4m) reposent sur des ajustements basés sur le levier, qui mettent à l'échelle les résidus au carré en utilisant des puissances de $(1 - h_t)$, où $h_t$ est le levier de la $t$-ième observation. L'article identifie une faille critique dans ces méthodes, appelée « sur-ajustement » (overshooting). Dans les échantillons présentant des observations à fort levier, particulièrement dans les tailles d'échantillons modérées, les formes fonctionnelles agressives des estimateurs existants peuvent induire une croissance explosive des facteurs d'ajustement. Cela conduit à des erreurs types excessivement gonflées et à une inférence instable, où la correction pour le levier devient disproportionnée par rapport à la structure réelle des données.

Méthodologie : L'estimateur HC$\beta$
Les auteurs proposent un nouvel estimateur, dénommé HC$\beta$, qui remplace les ajustements de levier fixes ou définis par morceaux des estimateurs HC traditionnels par une correction pilotée par les données, dérivée d'une loi Bêta ajustée.

1. Cadre conceptuel : La méthode généralise l'interprétation de $(1 - h_t)$. Dans les estimateurs existants, ce terme agit comme la fonction de répartition (CDF) d'une distribution Uniforme(0,1). HC$\beta$ remplace cela par la fonction de répartition d'une loi Bêta, $F_{Beta}(1 - h_t; a, b)$, qui est estimée directement à partir des données.
2. Estimation des paramètres : Les paramètres de forme $a$ et $b$ de la loi Bêta sont estimés par la méthode des moments appliquée aux valeurs de levier transformées $w_t = \max\{0.01, \min\{1 - h_t, 0.99\}\}$. Une troncature est appliquée à $w_t$ pour éviter l'instabilité numérique causée par des valeurs de levier approchant 0 ou 1, ce qui entraînerait des estimations de paramètres dégénérées ou des facteurs d'ajustement extrêmes.
3. Régularisation : Pour garantir la stabilité dans les petits échantillons, les paramètres estimés sont contractés vers la distribution uniforme ($a=b=1$) en utilisant un facteur de contraction $\zeta = n/(n+50)$. Cela garantit que pour de petits $n$, l'estimateur emprunte de la force à la base uniforme stable, tandis que pour de grands $n$, il conserve une pleine flexibilité.
4. Facteur d'ajustement : Le facteur d'ajustement $g_t$ pour le résidu au carré de la $t$-ième observation est défini par :
   $$g_t = \frac{n}{n-p} \left( \frac{1}{F_{Beta}(w_t; \tilde{a}, \tilde{b})} \right)^{c_1/n^{c_2}}$$
   où $\tilde{a}$ et $\tilde{b}$ sont les estimations de paramètres régularisées. Les constantes $c_1=7$ et $c_2=0.75$ ont été déterminées via des simulations de Monte Carlo pour équilibrer l'intensité de la correction en échantillon fini et la convergence asymptotique. Lorsque $n \to \infty$, l'exposant $c_1/n^{c_2} \to 0$, provoquant $g_t \to 1$ et assurant que l'estimateur converge vers la structure HC0 standard asymptotiquement.

Principales contributions

• Mécanisme d'ajustement novateur : HC$\beta$ introduit un ajustement paramétrique flexible basé sur la loi Bêta, permettant à la correction de s'adapter à la distribution empirique spécifique des valeurs de levier dans un échantillon, plutôt que de dépendre de formes fonctionnelles rigides.
• Atténuation du sur-ajustement : En modélisant la distribution du levier, HC$\beta$ évite le phénomène de « sur-ajustement » où des corrections agressives entraînent des erreurs types instables et excessivement grandes en présence d'observations influentes.
• Propriétés asymptotiques et en échantillon fini : L'estimateur est conçu pour être asymptotiquement équivalent aux estimateurs HC traditionnels sous des conditions de régularité standard, tout en offrant des performances supérieures en échantillon fini.
• Implémentation logicielle : Les auteurs ont développé et publié le package R open-source hcinfer, qui implémente HC$\beta$ aux côtés des estimateurs HC classiques, fournissant un cadre unifié pour l'estimation de la covariance, les tests d'hypothèses et la visualisation diagnostique.

Résultats
La performance de HC$\beta$ a été évaluée par des simulations de Monte Carlo approfondies et des applications empiriques.

• Résultats de simulation :

  • Distorsion de taille : Dans des scénarios avec une forte hétéroscédasticité et un levier élevé, HC$\beta$ a démontré des distorsions de taille plus faibles (taux de rejet plus proches du niveau nominal de 5 %) par rapport à HC3, HC4 et HC4m. Alors que les estimateurs traditionnels présentaient souvent un comportement libéral (sur-rejet) ou une convergence erratique, HC$\beta$ a fourni une inférence plus contrôlée.
  • Convergence : L'estimateur a montré une convergence rapide vers les niveaux nominaux à mesure que la taille de l'échantillon augmentait.
  • Couverture : Les intervalles de confiance basés sur HC$\beta$ ont atteint des taux de couverture plus proches du niveau nominal de 95 % que les estimateurs concurrents, particulièrement dans les petits échantillons ($n=50$) avec une forte hétéroscédasticité, là où les méthodes traditionnelles souffraient d'un sous-recouvrement sévère.
  • Puissance : La puissance des tests quasi-t basés sur HC$\beta$ était comparable aux autres estimateurs HC, indiquant que l'amélioration du contrôle de la taille ne s'est pas faite au détriment d'une perte significative de puissance.

• Applications empiriques :

  • L'article a appliqué HC$\beta$ à quatre ensembles de données : les dépenses publiques d'enseignement, les prix des maisons à Boston, les données sur la criminalité de 2009, et l'orthorexie mentale/addiction à l'exercice.
  • Scénarios à fort levier : Dans des ensembles de données avec des points de levier extrêmes (par exemple, Washington D.C. dans les données sur la criminalité, des outliers spécifiques dans les données sur les prix de l'immobilier), les estimateurs traditionnels (HC3, HC4, HC4m) ont produit des facteurs d'ajustement massifs (par exemple, $g_t > 2000$), entraînant des erreurs types gonflées et l'échec du rejet d'hypothèses qui étaient autrement significatives. HC$\beta$ a produit des facteurs d'ajustement modérés et contrôlés (par exemple, $g_t < 7$), produisant des erreurs types stables et une inférence cohérente qui s'alignait sur les résultats obtenus après suppression des observations influentes.
  • Scénarios à levier modéré : Dans les ensembles de données sans outliers extrêmes, HC$\beta$ a fourni des erreurs types légèrement plus conservatrices (plus grandes) que HC0, reflétant son mécanisme adaptatif pour prévenir la sous-estimation de la variabilité, tout en maintenant la stabilité de l'inférence.

Signification
L'article soutient que le « sur-ajustement » des corrections basées sur les résidus sous un levier extrême est une source d'instabilité inférentielle importante et précédemment sous-estimée dans les procédures cohérentes à l'hétéroscédasticité. La signification de HC$\beta$ réside dans sa capacité à équilibrer flexibilité et stabilité. Il offre un mécanisme piloté par les données qui accommode des schémas de levier hétérogènes sans recourir aux corrections explosives observées dans les estimateurs HC d'ordre supérieur.

Les auteurs affirment que HC$\beta$ fournit un cadre plus robuste pour l'inférence dans la régression linéaire, particulièrement dans les contextes empiriques caractérisés par une hétéroscédasticité inconnue, des tailles d'échantillons modérées et la présence d'observations influentes. En évitant le recours à des méthodes de rééchantillonnage coûteuses en calcul (comme le bootstrap) tout en surpassant les estimateurs HC analytiques en échantillon fini, HC$\beta$ offre une alternative pratique et théoriquement fondée pour les chercheurs appliqués. La disponibilité du package hcinfer facilite l'adoption immédiate de cette méthodologie dans les flux de travail statistiques standards.