Diagnostics-guided variance-inflated Fay-Herriot estimation from non-probability samples

Sintesi Tecnica: Stima di Fay–Herriot con inflazione della varianza guidata da diagnostica da campioni non probabilistici

Definizione del problema
Il documento affronta la sfida della stima di piccole aree (Small Area Estimation - SAE) utilizzando fonti di dati non probabilistici, come i registri amministrativi o i dati delle piattaforme. Sebbene l'inverse probability weighting (IPW) e la calibrazione siano tecniche standard per ridurre il bias di selezione in questi contesti, l'affidabilità dei stimatori di dominio risultanti varia significativamente tra le diverse piccole aree. Un limite critico del modello standard di Fay–Herriot (FH) in questo contesto è la sua dipendenza dalle stime di varianza a livello di dominio ($\hat{V}_d$) fornite come unico parametro di incertezza. Gli autori sostengono che $\hat{V}_d$ spesso non riesce a catturare i rischi associati a una debole copertura del dominio, a pesi instabili o a un scarso bilanciamento ausiliario. Di conseguenza, lo smoothing FH standard può affidarsi in modo inappropriato a input inaffidabili, portando a stime fuorvianti.

Metodologia
L'approccio proposto introduce uno stimatore FH con inflazione della varianza guidato da diagnostica per i totali di popolazione finita nei domini. Il metodo procede in tre fasi:

1. Stima IPW Calibrata:
   I totali di dominio vengono stimati innanzitutto tramite IPW calibrata. Viene applicato un modello di partecipazione logistica per stimare le probabilità di inclusione ($\hat{\pi}_i$), generando i pesi IPW grezzi. Questi pesi vengono poi calibrati all'interno di ogni dominio rispetto a totali di popolazione noti (ad esempio, dimensione del dominio o totali ausiliari) utilizzando un approccio di minimizzazione della distanza quadratica. La varianza degli stimatori calibrati viene stimata tramite un bootstrap a moltiplicatore generalizzato che ri-applica il modello di partecipazione e ricalibra i pesi in ogni replica.

2. Diagnostica di Dominio e Punteggio di Affidabilità:
   Per valutare la qualità dell'input IPW, il metodo calcola tre diagnostiche a livello di dominio:

   • Tasso di Copertura ($c_d$): La proporzione della popolazione del dominio rappresentata nel campione.
   • Variabilità dei Pesi ($CV_{w,d}$): Il coefficiente di variazione dei pesi calibrati, che indica la stabilità dello stimatore (un'elevata variabilità suggerisce la dipendenza da pochi elementi).
   • Bilanciamento Ausiliario ($B_d$): La distanza euclidea tra le medie campionarie ponderate e le medie della popolazione nota di variabili ausiliarie standardizzate.

   Queste diagnostiche vengono normalizzate e combinate in un singolo punteggio di affidabilità ($Q_d$) per ogni dominio idoneo. I domini con punteggi bassi vengono segnalati come caratterizzati da informazioni più deboli.

3. Modello FH a Miscela con Inflazione della Varianza:
   L'innovazione principale è un modello a miscela applicato all'equazione di osservazione FH. Un indicatore latente $\xi_d \in \{0, 1\}$ determina se un dominio segue una componente "ordinaria" o una componente "con inflazione della varianza".

   • La probabilità della componente ordinaria ($\pi_d$) è impostata uguale al punteggio di affidabilità normalizzato $Q_d$.
   • L'equazione di osservazione è definita come:
     $$\hat{Y}^{IPW}_d | \theta_d, \xi_d \sim N\{\theta_d, \hat{V}_d + (1-\xi_d)\tau\}$$
     dove $\tau \geq 0$ è un parametro di inflazione.
   • I domini con bassi punteggi di affidabilità (basso $\pi_d$) vengono assegnati alla componente con inflazione, aumentando efficacemente la varianza di osservazione. Ciò causa uno shrinkage FH più forte verso la media di regressione ($\theta_d$), riducendo l'influenza di input potenzialmente distorti o instabili.

   I parametri del modello ($\beta, A, \tau$) e le probabilità a posteriori sono stimati tramite un algoritmo iterativo.

Contributi Chiave
Il documento presenta tre contributi specifici:

1. Costruzione di Diagnostiche Compatte: Propone un punteggio di affidabilità unificato basato su copertura, stabilità dei pesi e bilanciamento ausiliario per quantificare la qualità degli input IPW non probabilistici.
2. Inflazione della Varianza a Miscela: Incorpora questo punteggio di affidabilità in un modello FH a miscela, consentendo l'inflazione data-driven della varianza di osservazione per i domini inaffidabili, invece di trattare tutti gli input come ugualmente affidabili.
3. Validazione con Verità Conosciuta: Valida il metodo utilizzando una popolazione pseudo-reale di imprese lituane dove i totali reali di dominio sono noti, permettendo una valutazione diretta dell'errore di stima.

Risultati
La validazione è stata condotta su una popolazione di 2.839 imprese lituane suddivise in 23 domini economici, utilizzando il fatturato mensile come variabile di studio. Lo stimatore proposto è stato confrontato con:

1. Stimatori IPW calibrati.
2. Stimatori FH standard (senza inflazione della varianza).

I risultati hanno dimostrato una riduzione sostanziale dell'errore di stima per il metodo proposto:

• Errore Relativo Aggregato: Ridotto dal 14,56% (IPW calibrato) e dal 12,83% (FH standard) al 2,67% (VI-FH proposto) sotto calibrazione della dimensione del dominio.
• RMSE di Dominio: Ridotto da 7,87 milioni (IPW) e 7,59 milioni (FH standard) a 1,31 milioni (Proposto).
• MAPE: Ridotto dal 61,22% (IPW) e dal 57,68% (FH standard) al 13,39% (Proposto).

Inoltre, lo studio ha confermato che i punteggi diagnostici erano empiricamente correlati agli effettivi errori relativi assoluti degli stimatori IPW, validando la loro utilità come indicatori di affidabilità pre-smoothing. Gli autori hanno inoltre osservato che l'aggiunta di informazioni ausiliarie di calibrazione più ricche (oltre alla dimensione del dominio) non ha migliorato automaticamente le prestazioni, suggerendo che i set di calibrazione debbano essere trattati come specifiche statistiche piuttosto che come miglioramenti monotoni.

Significatività e Rivendicazioni
Il documento sostiene che il proprio metodo fornisce un meccanismo trasparente per propagare l'evidenza diagnostica riguardante il debole supporto non probabilistico nell'analisi FH a livello di area. Esso afferma esplicitamente che il metodo non identifica un bias di selezione arbitrario non misurato senza benchmark esterni. La sua significatività risiede nel prevenire che il modello a livello di area tratti tutti gli input IPW non probabilistici come ugualmente affidabili quando le loro stime di varianza da sole sono insufficienti a descrivere l'incertezza. Gli autori presentano questo come una prova mirata dell'efficacia del meccanismo di inflazione della varianza, piuttosto che come una valutazione esaustiva di tutti i meccanismi di selezione non probabilistica.