📈 economics

The purpose of an estimator is what it does: Misspecification, estimands, and over-identification

Cet article soutient que, dans les modèles sur-identifiés, la spécification erronée transforme les estimateurs en outils visant des paramètres différents plutôt qu'en simples variantes d'efficacité, et recommande d'élargir la communication de la statistique J de Hansen pour garantir une recherche empirique plus transparente et robuste.

Auteurs originaux : Isaiah Andrews, Jiafeng Chen, Otavio Tecchio

Publié 2026-02-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Isaiah Andrews, Jiafeng Chen, Otavio Tecchio

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le titre du papier : « L'objectif d'un estimateur, c'est ce qu'il fait »

Imaginez que vous êtes un chef cuisinier (l'économètre) qui essaie de deviner la recette secrète d'un plat (la réalité économique) en goûtant quelques échantillons (les données).

Le problème, c'est que toutes les recettes écrites dans les livres de cuisine sont fausses. Elles sont des approximations. La vraie recette n'existe peut-être même pas telle quelle. C'est ce qu'on appelle la mauvaise spécification (ou misspecification).

Ce papier, écrit par Isaiah Andrews et ses collègues, dit essentiellement : « Arrêtons de faire semblant que nos recettes sont parfaites. Admettons qu'elles sont fausses, et regardons ce que nos outils de mesure font réellement dans ce cas-là. »

1. Le problème : Deux outils, deux résultats différents

Dans le monde de l'économie, on utilise souvent une méthode appelée GMM (Méthode des Moments Généralisés). C'est un outil mathématique pour ajuster une recette à partir de données.

L'ancienne façon de voir les choses : Si la recette est parfaite, tous les outils de mesure (qu'ils soient "rapides", "lents" ou "optimisés") devraient donner le même résultat. Si l'un est plus rapide que l'autre, on choisit simplement le plus rapide.
La nouvelle façon de voir (celle du papier) : Comme la recette est toujours fausse (la réalité est plus complexe que le livre), les différents outils ne donnent plus le même résultat.
- L'analogie : Imaginez que vous essayez de mesurer la température d'un feu de camp avec un thermomètre à mercure, un thermomètre infrarouge et un thermomètre à alcool. Si le feu est "parfait", ils donnent tous 100°C. Mais si le feu est irrégulier et change tout le temps (la réalité imparfaite), chaque thermomètre va donner une température différente.
- Conclusion clé : Choisir un outil de mesure, ce n'est pas juste choisir la précision. C'est choisir quelle question vous posez à vos données. Chaque outil répond à une question légèrement différente.

2. Le danger : La liberté du chercheur (et la triche)

Le papier soulève un problème inquiétant : puisque les chercheurs savent que les modèles sont imparfaits, ils ont le droit de choisir comment ils pèsent leurs données (quels ingrédients ils privilégient).

Le risque : Un chercheur malhonnête (ou simplement trop optimiste) peut choisir une "poids" spécifique pour ses données afin d'obtenir exactement le résultat qu'il veut (par exemple, prouver qu'une politique fonctionne, alors que ce n'est pas le cas).
L'analogie : C'est comme si vous deviez peser des pommes et des oranges pour dire combien pèse le panier. Si vous choisissez de peser les pommes en kilogrammes et les oranges en grammes, vous obtiendrez un total différent que si vous inversez les unités. Un chercheur peut "tricher" avec ses unités pour faire ressortir un chiffre qui impressionne.

3. La solution magique : La statistique "J" (Le J-Stat)

C'est ici que l'article apporte sa contribution la plus brillante. Les auteurs disent : « Ne nous contentons pas de dire "le modèle est bon" ou "le modèle est mauvais". Utilisons un outil pour mesurer à quel point nos résultats peuvent varier selon la façon dont nous pesons les choses. »

Cet outil s'appelle la statistique J (J-statistic).

L'analogie du "Jauge de triche" : Imaginez que la statistique J soit un compteur de distance.
- Si le compteur est bas (proche de zéro), cela signifie que peu importe comment vous choisissez de peser vos pommes et oranges, vous obtiendrez toujours à peu près le même total. Vos résultats sont solides.
- Si le compteur est haut, cela signifie que selon comment vous jouez avec les poids, vous pouvez obtenir n'importe quel résultat. C'est un signal d'alarme : "Attention ! Si vous changez légèrement la méthode, le résultat change du tout au tout."

Les auteurs montrent mathématiquement que la racine carrée de ce nombre J (√J) indique la marge de manœuvre qu'un chercheur a pour "tricher" et faire passer n'importe quelle hypothèse pour vraie.

4. Les recommandations pour le futur

Pour rendre la science économique plus honnête et transparente, les auteurs proposent quatre règles simples :

Distinguer les problèmes : Demandez-vous : "Est-ce que mon modèle décrit bien la réalité ?" (Problème économique) et "Est-ce que mon modèle colle bien aux données ?" (Problème statistique). Ce sont deux choses différentes.
Être transparent : Si vous choisissez un outil de mesure qui n'est pas le "meilleur" théoriquement (parce que vous pensez qu'il résiste mieux aux erreurs de la recette), expliquez pourquoi. Dites clairement : "J'ai choisi cette méthode parce qu'elle me donne une réponse sur X, même si le modèle est imparfait."
Utiliser des "parachutes" (Erreurs robustes) : Utilisez des méthodes de calcul d'erreur qui fonctionnent même si la recette est fausse. Ne faites pas confiance aux calculs standards qui supposent que tout est parfait.
Publier le "J-Stat" : C'est le plus important. Même si vous ne faites pas de test formel pour rejeter votre modèle, publiez toujours la valeur de la statistique J.
- Pourquoi ? Parce que cela permet aux lecteurs de voir : "Tiens, le J est grand. Si je changeais un peu les poids dans cette étude, le résultat pourrait être totalement différent." Cela empêche les chercheurs de cacher la fragilité de leurs conclusions.

En résumé

Ce papier nous dit : Arrêtons de faire semblant que nos modèles économiques sont parfaits.

Au lieu de chercher la "vraie" réponse (qui n'existe peut-être pas dans le modèle), regardons ce que nos outils nous disent vraiment. Et surtout, utilisons la statistique J comme un indicateur de transparence : plus elle est élevée, plus il faut être prudent, car cela signifie que les résultats dépendent trop de la façon dont on a choisi de les calculer.

C'est un appel à l'honnêteté intellectuelle : admettez que votre carte est imparfaite, et montrez à quel point le chemin peut changer si vous la pliez différemment.

1. Problématique et Contexte

L'article s'attaque à un fossé majeur entre la théorie économétrique enseignée et la pratique empirique dans les modèles sur-identifiés (où le nombre de conditions de moment $k$ dépasse le nombre de paramètres $p$ ).

Le constat : La littérature standard (manuels d'économétrie) recommande de tester les restrictions de sur-identification (via le test de J de Hansen) et, si le modèle n'est pas rejeté, d'utiliser l'estimateur GMM (Generalized Method of Moments) efficace (avec une matrice de pondération optimale).
La réalité empirique : Une revue des articles publiés dans l'American Economic Review (2020-2024) révèle que les chercheurs ignorent souvent ces prescriptions. Ils utilisent fréquemment des estimateurs inefficaces (pondérations non optimales, sélection manuelle de moments, matrices de pondération diagonales) et négligent les tests formels de sur-identification.
L'hypothèse centrale : Les auteurs postulent que les modèles économiques sont presque systématiquement spécifiés de manière erronée (misspecified). Dans ce contexte, l'objectif d'un estimateur n'est pas d'estimer un paramètre « vrai » (qui n'existe pas si le modèle est faux), mais de définir ce que l'estimateur fait réellement.
Le problème de la liberté de recherche : Le choix arbitraire de matrices de pondération sous l'excuse de la spécification erronée crée des degrés de liberté pour les chercheurs, permettant potentiellement de « tricher » (weight hacking) pour obtenir des résultats statistiquement significatifs ou rejeter des hypothèses nulles indésirables.

2. Cadre Méthodologique et Concepts Clés

Les auteurs formalisent la distinction entre deux types de spécification et analysent le comportement asymptotique des estimateurs sous l'hypothèse de spécification locale.

A. Distinction entre Spécification Économétrique et Statistique

Modèle Économétrique ( $M$ ) : Ensemble des paires $(\theta, P)$ où $\theta$ est le paramètre d'intérêt économique et $P$ la distribution des données. Le modèle est économétriquement correct si $(\theta, P) \in M$ .
Modèle Statistique ( $\mathcal{P}$ ) : Ensemble des distributions $P$ qui peuvent être générées par le modèle. Le modèle est statistiquement correct si $P \in \mathcal{P}$ .
Spécification erronée :
- Statistique : $P \notin \mathcal{P}$ (les moments théoriques ne peuvent pas être nuls).
- Économétrique : $(\theta, P) \notin M$ (même si les moments sont nuls, la relation entre le paramètre $\psi$ et le paramètre d'intérêt $\theta$ est fausse).
Conséquence : Sous spécification statistique, différents estimateurs (différentes matrices de pondération $\Omega$ ) convergent vers des limites différentes (différents estimands pseudo-vrais). L'efficacité relative n'a plus de sens ; le choix de l'estimateur est un choix de paramètre à estimer.

B. Erreurs Standards Robustes à la Spécification Erronée

Les auteurs rappellent que les erreurs standards conventionnelles du GMM (formule de sandwich standard) sont invalides sous spécification erronée car elles ignorent la variance supplémentaire introduite par le biais de spécification.

Recommandation : Utilisation d'erreurs standards robustes (type White/Hall-Inoue) ou du bootstrap non paramétrique.
Mise en garde : Le recentering des moments dans le bootstrap (forcer les moments à zéro dans le monde du bootstrap) est déconseillé car il réintroduit une hypothèse de spécification correcte, rendant l'inférence invalide sous spécification erronée.

C. Cadre de Spécification Locale (Local Misspecification)

Pour analyser le comportement des estimateurs, les auteurs adoptent le cadre de Newey (1985) :

La distribution des données $P_n$ dépend de la taille de l'échantillon $n$ de telle sorte que le biais de spécification diminue à la vitesse $1/\sqrt{n}$ : $E_{P_n}[g(X_i, \psi)] = \eta / \sqrt{n}$ .
Dans ce régime, le biais de spécification est du même ordre de grandeur que l'incertitude d'échantillonnage.
Cela permet d'utiliser des approximations linéaires et de montrer que les statistiques de test (comme le J-statistic) capturent la variabilité des résultats due au choix de la pondération.

3. Contributions Théoriques et Résultats Principaux

La contribution majeure de l'article est un nouveau résultat théorique reliant la statistique de J de Hansen à la plage de résultats obtenables par un chercheur.

A. La Statistique de J comme Mesure de la « Triche » (Weight Hacking)

Sous l'hypothèse de spécification locale, les auteurs démontrent que l'ensemble des estimateurs GMM obtenus en variant la matrice de pondération (tout en maintenant une erreur standard raisonnable) forme un intervalle centré sur l'estimateur GMM efficace.

Proposition 5.2 : La largeur de cet intervalle est proportionnelle à $\sqrt{J} \cdot \hat{\sigma}_{\Sigma^{-1}}$ .
Corollaire 5.3 (Résultat Clé) : Pour toute hypothèse nulle $H_0: \theta = \theta_0$ , un chercheur malveillant peut choisir une matrice de pondération pour obtenir une statistique $t$ d'au moins $\sqrt{J}$ .
$\sup_{\Omega} |t_\Omega(\theta_0)| \approx \sqrt{J}$
Implication : Si $\sqrt{J} > 1.96$ , un chercheur peut rejeter n'importe quelle hypothèse nulle au seuil de 5% simplement en manipulant les poids, même si le modèle est globalement « acceptable » selon un test de J classique (qui a peu de puissance).

B. Analyse Empirique (Échantillon AER)

Sur 36 articles utilisant le GMM (22 sur-identifiés), seulement 3 rapportent des statistiques de J.
La majorité utilise des pondérations non optimales (matrice identité, pondération manuelle, inverse de la diagonale).
Pour les 6 articles où les auteurs ont pu recalculer les statistiques de J, ils constatent que dans 4 cas sur 10 (3 sur 6 articles), $\sqrt{J} > 1.96$ . Cela signifie que, bien que les modèles ne soient pas rejetés formellement par le test de J (p-value > 0.05), la marge de manœuvre pour obtenir des résultats significatifs par manipulation des poids est très large.

4. Recommandations pour la Recherche Empirique

Les auteurs proposent quatre directives pour une recherche plus transparente et robuste :

Distinction des spécifications : Les chercheurs doivent distinguer clairement la spécification économétrique (validité théorique) de la spécification statistique (adéquation aux données).
Transparence sur l'estimand : Si un estimateur inefficace est utilisé (pondération non optimale), le chercheur doit explicitement justifier pourquoi ce choix conduit à un estimand préférable (plus proche du paramètre d'intérêt économique) sous l'hypothèse de spécification erronée.
Erreurs standards robustes : L'utilisation d'erreurs standards robustes à la spécification erronée est impérative pour l'inférence valide sur les estimands pseudo-vrais.
Rapport systématique des statistiques de J : Même sans effectuer de test formel de rejet, les chercheurs doivent rapporter la valeur de la statistique de J. Elle sert d'indicateur de la sensibilité des résultats aux choix de pondération. Une valeur élevée de $\sqrt{J}$ signale un risque élevé de manipulation des résultats.

5. Signification et Impact

Cet article est significatif car il :

Légitime la pratique empirique tout en la régulant : Il reconnaît que les modèles sont faux et que les chercheurs choisissent des estimateurs pour cibler des estimands spécifiques, mais il exige que ces choix soient justifiés théoriquement.
Réinterprète la statistique de J : Il transforme la statistique de J d'un simple outil de test d'hypothèse (rejeter ou non le modèle) en une mesure de la robustesse des résultats face à la liberté de choix du chercheur.
Alerte sur les degrés de liberté : Il met en lumière un mécanisme subtil de p-hacking dans les modèles sur-identifiés, où la manipulation des poids peut générer de la significativité statistique sans violer formellement les restrictions du modèle.
Offre un cadre unifié : Il synthétise la littérature sur les valeurs pseudo-vraies, les erreurs robustes et l'inférence sous spécification erronée, fournissant des outils pratiques (comme le bootstrap sans recentering) pour les économistes appliqués.

En résumé, l'article plaide pour une économie empirique où l'on accepte l'incertitude de la spécification, où l'on cesse de chercher la « vérité » absolue d'un modèle, et où l'on se concentre sur la transparence des choix d'estimation et la robustesse des conclusions face à ces choix.