The purpose of an estimator is what it does: Misspecification, estimands, and over-identification

Resumen Técnico: Misspecification, estimands, and over-identification

1. Planteamiento del Problema

El artículo aborda la brecha crítica entre la teoría econométrica estándar y la práctica empírica en el uso de modelos sobreidentificados (donde el número de condiciones de momento $k$ excede el número de parámetros $p$).

• El problema de la especificación: La premisa central es que los modelos económicos son, casi por definición, especificaciones incorrectas (misspecified). Sin embargo, la literatura de texto y las recomendaciones formales a menudo asumen que el modelo es correcto, sugiriendo pruebas de restricciones de sobreidentificación (como la prueba $J$ de Hansen) y el uso de estimadores eficientes (GMM óptimo) solo si no se rechaza el modelo.
• La realidad empírica: Un análisis de 36 artículos publicados en el American Economic Review (2020-2024) revela que los investigadores rara vez prueban formalmente la especificación correcta. En su lugar, utilizan frecuentemente:
  • Subconjuntos de momentos (estimadores justos-identificados).
  • Matrices de ponderación subóptimas (identidad, diagonales o seleccionadas "a mano" por conocimiento de dominio).
  • Pruebas informales ("eyeball tests") en lugar de estadísticas formales.
• La paradoja: Bajo especificación correcta, estas prácticas generan estimadores ineficientes. Sin embargo, bajo especificación incorrecta, diferentes estimadores convergen a diferentes parámetros poblacionales (estimandos). Por lo tanto, la elección del estimador no es solo una cuestión de eficiencia, sino una elección implícita sobre qué se está estimando.

2. Metodología y Marco Teórico

Los autores desarrollan un marco unificado que distingue entre dos tipos de modelos y especificación:

1. Modelo Econométrico ($M$): Define la relación entre el parámetro de interés económico $\theta$ y la distribución de los datos $P$. Incluye supuestos teóricos (ej. causalidad, estructura funcional).
2. Modelo Estadístico ($\mathcal{P}$): El conjunto de distribuciones de datos que satisfacen las restricciones del modelo.

Tipos de Especificación Incorrecta:

• Especificación Econométrica Incorrecta: El parámetro verdadero $\theta$ y la distribución $P$ no pertenecen a $M$. Esto puede ocurrir incluso si el modelo estadístico es correcto (ej. si la relación entre los parámetros estructurales y $\theta$ es errónea).
• Especificación Estadística Incorrecta: La distribución de datos verdadera $P$ no pertenece a $\mathcal{P}$ (las condiciones de momento no se satisfacen para ningún parámetro).

Análisis de Estimadores bajo Misspecification:
El artículo formaliza que, bajo especificación estadística incorrecta, el límite en probabilidad de un estimador GMM $\hat{\theta}_\Omega$ depende de la matriz de ponderación $\Omega$:
$$\text{plim}(\hat{\theta}_\Omega, P) = \arg\min_{\psi} g_P(\psi)' \Omega_P g_P(\psi)$$
Donde $g_P$ son las condiciones de momento poblacionales. Diferentes $\Omega$ minimizan diferentes funciones objetivo, resultando en estimandos distintos ($\theta^*_\Omega(P)$).

3. Contribuciones Clave y Resultados Principales

A. Reinterpretación de la Elección del Estimador
Los autores argumentan que, dado que la misspecification es la norma, la elección de un estimador (y su matriz de ponderación) debe justificarse explícitamente en función de qué estimando se desea recuperar bajo un modelo de anidamiento (nesting model) más amplio. No existe un "estimador eficiente" universal cuando el modelo es incorrecto; solo existen estimadores que recuperan diferentes cantidades de interés.

B. Errores Estándar Robustos a Misspecification
El artículo enfatiza que los errores estándar convencionales de GMM (basados en la fórmula de sándwich estándar) son inválidos bajo especificación estadística incorrecta.

• Recomendación: Los investigadores deben utilizar errores estándar robustos a misspecification (fórmulas de White/Hall-Inoue) o el bootstrap no paramétrico.
• Advertencia: Se desaconseja el uso de bootstrap con re-centrado de momentos, ya que este impone la especificación correcta en el mundo de bootstrap, invalidando la inferencia bajo misspecification.

C. Nuevo Resultado Teórico: La Estadística $J$ y el "Weight Hacking"
Esta es la contribución teórica más novedosa del artículo. Bajo un régimen de misspecification local (donde el grado de error del modelo es del mismo orden que la incertidumbre de muestreo, $O(1/\sqrt{n})$), los autores demuestran una relación fundamental entre la estadística $J$ de Hansen y la variabilidad de los resultados debido a la elección de pesos.

• Teorema Principal: El conjunto de estimaciones que un investigador puede obtener manteniendo un error estándar dado (o un costo de varianza limitado) forma un intervalo centrado en el estimador GMM eficiente. El radio de este intervalo es proporcional a $\sqrt{J}$.
• Corolario para la Inferencia: Un investigador con intenciones dudosas ("nefarious researcher") puede elegir una matriz de ponderación para maximizar el estadístico $t$ para cualquier hipótesis nula.
  • El valor absoluto máximo del estadístico $t$ alcanzable es aproximadamente $\sqrt{J}$.
  • Si $\sqrt{J} > 1.96$, un investigador puede rechazar cualquier hipótesis nula al nivel del 5% simplemente manipulando la matriz de ponderación, incluso si el modelo no pasa la prueba $J$ formal.

D. Evidencia Empírica
Al calcular estadísticas $J$ para los artículos del AER que no las reportaban, los autores encuentran que:

• Muchos modelos no son rechazados formalmente (p-valores altos), pero sus $\sqrt{J}$ son significativamente mayores que 1.96.
• Esto indica que, aunque el modelo no sea "incorrecto" en un sentido estadístico estricto, existe un amplio margen para manipular los resultados mediante la selección de pesos ("weight hacking").

4. Recomendaciones Prácticas

Basados en sus hallazgos, los autores proponen cuatro directrices para la investigación empírica robusta:

1. Distinción Conceptual: Separar claramente la preocupación por la especificación econométrica (¿describe el modelo la relación causal?) de la especificación estadística (¿ajusta el modelo a la distribución de los datos?).
2. Transparencia en el Estimando: Los investigadores deben declarar explícitamente qué estimando implica su elección de estimador (especialmente si usan pesos no óptimos) y justificar por qué ese estimando es preferible para su pregunta de investigación.
3. Inferencia Robusta: Siempre utilizar errores estándar robustos a misspecification (o bootstrap sin re-centrado) en modelos sobreidentificados.
4. Reporte de la Estadística $J$: Reportar sistemáticamente la estadística $J$ (y sus grados de libertad), no como una prueba de rechazo, sino como una medida de la sensibilidad de los resultados. La magnitud de $\sqrt{J}$ informa a los lectores sobre el rango de resultados posibles que podrían obtenerse mediante diferentes elecciones de ponderación.

5. Significado e Impacto

Este artículo cambia el paradigma de la evaluación de modelos econométricos. En lugar de buscar un "modelo verdadero" que pase pruebas de especificación, reconoce que todos los modelos son aproximaciones.

• Cambio de Enfoque: Pasa de la pregunta "¿Es el modelo correcto?" a "¿Qué está estimando realmente mi estimador bajo misspecification?".
• Control de la Libertad del Investigador: Al cuantificar el rango de manipulación posible a través de la estadística $J$, el artículo proporciona una herramienta para detectar y disuadir la p-hacking (específicamente "weight hacking").
• Rigor Metodológico: Establece que la reportabilidad de la estadística $J$ es tan crucial como la estimación misma, ya que resume la incertidumbre estructural inherente a la elección de pesos en modelos sobreidentificados.

En resumen, el paper aboga por una práctica empírica más honesta y transparente, donde la misspecification se trata como un hecho inevitable que debe ser cuantificado y gestionado, en lugar de ignorado o negado mediante pruebas de especificación binarias.