The purpose of an estimator is what it does: Misspecification, estimands, and over-identification

1. Il Problema: Il Divario tra Teoria e Pratica Econometrica

Il paper affronta una discrepanza fondamentale tra le raccomandazioni della teoria econometrica e la pratica empirica corrente, in particolare nei modelli sovra-identificati (over-identified models) stimati con il Metodo dei Momenti Generalizzato (GMM).

• Il Contesto: La teoria standard (es. Hayashi, Stock & Watson) prescrive di testare le restrizioni di sovra-identificazione (tramite il test J di Hansen) e, se non rifiutate, di utilizzare l'estimatore efficiente (con matrice di pesi ottimale).
• La Realtà Empirica: Un'analisi di 36 articoli pubblicati sull'American Economic Review (2020-2024) rivela che la pratica comune ignora queste prescrizioni. I ricercatori spesso:
  1. Utilizzano solo un sottoinsieme dei momenti o pesi non ottimali (es. matrici identità o pesi "selezionati a mano").
  2. Evitano i test formali di sovra-identificazione (solo 3 su 22 modelli sovra-identificati riportano statistiche J).
  3. Si affidano a "test visivi" (eye-balling) dei momenti.
• L'Ipotesi di Lavoro: Gli autori sostengono che queste pratiche non siano necessariamente errori, ma risposte razionali alla mancata specificazione (misspecification) del modello. Poiché i modelli economici sono quasi certamente approssimazioni imperfette della realtà, l'obiettivo non è trovare l'estimatore più efficiente per un modello "vero" (che non esiste), ma capire cosa stiano effettivamente stimando i diversi estimatori in presenza di errori di specificazione.

2. Metodologia e Quadro Teorico

Il paper si basa su un quadro teorico che distingue tra specificazione econometrica e statistica e analizza il comportamento degli stimatori sotto misspecificazione.

• Distinzione Chiave:
  • Specificazione Econometrica: Il vero parametro di interesse $\theta$ e la distribuzione dei dati $P$ sono coerenti con il modello strutturale $M$.
  • Specificazione Statistica: La distribuzione dei dati $P$ appartiene allo spazio statistico $\mathcal{P}$ definito dal modello.
  • Misspecificazione: Se il modello è statisticamente misspecificato ($P \notin \mathcal{P}$), ma econometricamente corretto, o viceversa. In presenza di misspecificazione statistica, diversi estimatori convergono verso limiti diversi (diversi estimand).
• Approccio "Cosa fa l'estimatore": Invece di chiedersi quale sia il "vero" parametro, gli autori adottano la prospettiva che "lo scopo di un stimatore è ciò che fa". Sotto misspecificazione, la scelta della matrice di pesi nel GMM determina quale parametro (estimand) viene stimato.
• Misspecificazione Locale: Per derivare risultati asintotici nuovi, gli autori utilizzano il framework della misspecificazione locale (Newey, 1985). Si assume che la deviazione del modello dalla verità sia dell'ordine di $1/\sqrt{n}$, rendendo l'entità della misspecificazione comparabile all'incertezza campionaria. Questo permette di studiare i compromessi tra la scelta dell'estimand e la precisione.

3. Contributi Chiave e Risultati Principali

A. La Scelta dell'Estimatore Definisce l'Estimand

Il paper dimostra che, sotto misspecificazione, non esiste un "estimatore efficiente" universale.

• Diversi pesi nel GMM portano a diversi limiti in probabilità ($plim$).
• Esempi (OLS vs WLS, GMM con pesi diversi) mostrano che stimatori inefficienti sotto il modello corretto possono essere preferiti se stimano un parametro che è più vicino all'interesse economico del ricercatore (es. un effetto causale medio pesato in modo specifico) rispetto all'estimatore efficiente.
• Implicazione: I ricercatori devono essere espliciti su quale estimand stanno stimando e perché la loro scelta di pesi è preferibile data la potenziale misspecificazione.

B. Errore Standard Robusto alla Misspecificazione

Gli autori evidenziano che gli errori standard convenzionali del GMM (basati sulla formula "sandwich" standard) sono invalidi sotto misspecificazione statistica.

• Raccomandazione: È necessario utilizzare errori standard robusti alla misspecificazione (simili agli errori di White per la ML).
• Bootstrap: Viene sconsigliato il "recentering" dei momenti nel bootstrap (che impone la specificazione corretta nel processo generativo di dati bootstrap), poiché invalida l'inferenza sotto misspecificazione. Si raccomanda il bootstrap non parametrico standard.

C. Il Risultato Teorico Innovativo: La Statistica J e la "Hacking"

Il contributo teorico più significativo è la caratterizzazione del ruolo della statistica J di Hansen in assenza di test formali.

• Teorema: Sotto misspecificazione locale, l'insieme degli stimatori ottenibili variando la matrice di pesi (mantenendo l'errore standard entro un certo fattore rispetto all'estimatore efficiente) forma un intervallo centrato sull'estimatore efficiente.
• La Dimensione dell'Intervallo: La larghezza di questo intervallo è proporzionale alla radice quadrata della statistica J ($\sqrt{J}$).
• Conseguenza per i T-stat: Un ricercatore "disonesto" (o semplicemente con eccessiva libertà di scelta) può scegliere pesi per manipolare il risultato. Il paper dimostra che è possibile ottenere un valore assoluto del t-statistic di almeno $\sqrt{J}$ per qualsiasi ipotesi nulla.
  • Se $\sqrt{J} > 1.96$, un ricercatore può rifiutare qualsiasi ipotesi nulla al 5% semplicemente scegliendo pesi opportuni ("weight hacking").
  • La statistica J misura quindi il grado di libertà del ricercatore per manipolare i risultati attraverso la scelta dei pesi.

4. Evidenza Empirica

Gli autori hanno calcolato le statistiche J per i paper del loro campione che non le riportavano.

• Risultato: Sebbene pochi paper rifiutino il modello al 5% (test J classico), molti hanno $\sqrt{J} > 1.96$.
• Significato: Questo indica che, anche se il modello non viene "rifiutato" formalmente, esiste un ampio margine per ottenere risultati significativi diversi semplicemente cambiando i pesi, rendendo i risultati instabili e potenzialmente manipolabili.

5. Significato e Raccomandazioni

Il paper conclude con quattro raccomandazioni pratiche per la ricerca empirica robusta e trasparente:

1. Distinzione dei Diagnosi: Separare chiaramente i test di specificazione econometrica (il modello descrive la relazione causale?) da quelli statistici (il modello si adatta alla distribuzione dei dati?).
2. Trasparenza sull'Estimand: I ricercatori devono esplicitare quale estimand sta stimando la loro scelta di pesi (specialmente se inefficiente) e motivare perché questo sia preferibile.
3. Errori Standard Robusti: Utilizzare sempre errori standard robusti alla misspecificazione (o bootstrap non recentered) per garantire la validità dell'inferenza.
4. Report della Statistica J: Anche se si rinuncia al test J formale (rifiuto/non rifiuto), è fondamentale riportare il valore della statistica J. Questo valore informa il lettore sulla gamma di risultati possibili ottenuti variando i pesi, fungendo da misura della sensibilità e della manipolabilità dei risultati ("scope for researcher degrees of freedom").

In sintesi: Il paper sposta il paradigma dalla ricerca di un modello "vero" e di un estimatore "ottimale" alla comprensione del comportamento degli stimatori in un mondo imperfetto. La statistica J non è solo un test di bontà di adattamento, ma una misura cruciale della stabilità dei risultati rispetto alle scelte arbitrarie del ricercatore.