Direct domain estimation via regression-tree-assisted estimators in the production of official statistics

Sintesi Tecnica: Stima Diretta dei Domini tramite Stimatori Assistiti da Alberi di Regressione

Enunciato del Problema
Gli Uffici Nazionali di Statistica (ONS) operano tipicamente secondo un approccio a "peso unico" (uni-weight), utilizzando un unico set di pesi per stimare molteplici parametri e sottopopolazioni (domini). Sebbene questa strategia offra vantaggi operativi — come la semplicità computazionale, le economie di scala e la coerenza interna (additività/benchmarking) — non è sempre ottimale per specifiche sottopopolazioni. L'efficienza degli stimatori assistiti da modelli dipende dal potere predittivo del modello assistente per la variabile di interesse all'interno di un dominio specifico. Un singolo modello adattato all'intera popolazione spesso non riesce a catturare le relazioni specifiche tra le variabili ausiliarie e le variabili di studio all'interno di domini non pianificati (sottopopolazioni non definite dal disegno di campionamento). Ciò crea una tensione tra la convenienza operativa di un sistema di pesatura unificato e la necessità di efficienza di stima locale.

Metodologia e Framework
Il documento opera all'interno di un framework basato sul disegno per la stima diretta, estendendo la famiglia di stimatori assistiti da modelli per includere gli alberi di regressione. Lo studio si concentra sulla stima dei totali ($Y_d$) per domini non pianificati ($U_d$) utilizzando una popolazione finita $U$.

Sono formulate due distinte strategie per l'applicazione degli alberi di regressione come modelli assistenti:

1. RTU (Regression Tree - Uni-weight): Un singolo albero di regressione viene adattato all'intero campione ($s$) a livello di popolazione. Le predizioni risultanti vengono utilizzate per derivare un unico set di pesi applicabile a qualsiasi dominio.
2. RTD (Regression Tree - Domain-specific): Un albero di regressione separato viene adattato specificamente ai dati all'interno di ciascun dominio ($s_d$).

Il documento dimostra che entrambi gli stimatori possono essere espressi come somme pesate di osservazioni campionarie ($\sum w^*_i y_i$), dove i pesi $w^*_i$ sono indipendenti dalla variabile di studio $y$. Ciò preserva la proprietà del "peso unico" e garantisce l'additività (benchmarking) rispetto al totale della popolazione.

Contributi Teorici Chiave

• Formulazione di RTD: Il documento formula lo stimatore ad albero specifico per dominio, dimostrando che può essere scritto come una combinazione lineare di osservazioni campionarie con pesi che stimano la dimensione della popolazione del dominio senza errore.
• Caratterizzazione di RTU: Il documento caratterizza lo stimatore ad albero a livello di popolazione ed estende l'argomento di Estevao e Särndal (1999) ai modelli basati su alberi. Gli autori dimostrano che, quando un modello è adattato a livello di popolazione, lo stimatore di dominio risultante tende a comportarsi asintoticamente come lo stimatore di Horvitz-Thompson (HT) all'interno di tali domini. Ciò accade perché il fit globale è "attratto" verso il modello nullo per le unità al di fuori del dominio (dove la variabile estesa è zero), fallendo nel ridurre la varianza residua all'interno del dominio.
• Meccanismo di Riduzione della Varianza: Al contrario, il modello specifico per dominio (RTD) ottiene riduzioni sostanziali della varianza proporzionali al potere predittivo entro il dominio ($R^2_d$). La varianza dello stimatore RTD è mostrata essere approssimativamente $(1 - R^2_d)$ volte la varianza dello stimatore HT.
• Consistenza del Disegno: La Proposizione 1 stabilisce la consistenza del disegno dello stimatore assistito da alberi sotto standard condizioni asintotiche, a condizione che la dimensione dell'albero sia limitata o cresca lentamente rispetto alla dimensione del campione per controllare l'effetto Kish (variabilità dei pesi).

Risultati Empirici
Uno studio di simulazione che utilizza i microdati della Encuesta Continua de Hogares (ECH) uruguaiana illustra il comportamento di questi stimatori:

• Livello di Popolazione: Lo stimatore assistito da albero (RT) riduce significativamente la varianza rispetto allo stimatore HT per la variabile modellata (stato di occupazione), con effetti di design (deff) compresi tra 0,55 e 0,73. Tuttavia, per una variabile non modellata (disoccupazione), il miglioramento è trascurabile (deff $\approx$ 1), evidenziando un limite dell'approccio a peso unico quando il modello è personalizzato su una specifica variabile. Lo stimatore RT ha superato la post-stratificazione (PS) tradizionale evitando il bias derivante da celle vuote e mantenendo la coerenza.
• Livello di Dominio: Stimando i totali per dipartimento, lo stimatore RTU non ha mostrato guadagni di efficienza rispetto all'HT (deff $\approx$ 1). Al contrario, lo stimatore RTD ha ottenuto sostanziali riduzioni della varianza (deff $\approx$ 0,3) nella maggior parte dei dipartimenti, confermando la previsione teorica secondo cui l'adattamento del modello locale è necessario per la precisione a livello di dominio.

Significatività e Limitazioni
Il documento sostiene che lo stimatore RTD offre una via attraente per migliorare la precisione nei domini non pianificati pur mantenendo i benefici operativi di un sistema di pesatura unificato. Esso consente agli ONS di produrre stime di dominio più accurate senza ricorrere a metodi indiretti di stima nelle piccole aree (SAE), a condizione che le dimensioni del campione dei domini siano sufficientemente grandi.

Gli autori notano esplicitamente alcune limitazioni:

1. Specificità della Variabile: I miglioramenti sono concentrati nella variabile utilizzata per costruire il modello; le stime per altre variabili potrebbero non beneficiare di essi.
2. Dimensione dell'Albero: La crescita eccessiva degli alberi aumenta l'effetto Kish, potenzialmente gonfiando la varianza.
3. Requisiti di Dimensione del Campione: Il metodo richiede dimensioni campionarie attese per il dominio ($E(n_d)$) sufficientemente grandi per garantire un adattamento stabile all'interno del dominio. In domini molto piccoli, rimane necessaria la stima indiretta basata sul modello.
4. Compromesso (Trade-off): Ottenere precisione locale tramite RTD comporta il costo di non avere lo stimatore "ottimale" a livello di popolazione, sebbene tale costo sia considerato minore in sondaggi su larga scala.

Il documento conclude suggerendo che la scelta tra RTU, RTD e SAE indiretta debba essere guidata dalla dimensione campionaria attesa del dominio, con RTD che rappresenta la strategia preferibile per i domini con dati sufficienti dove la stima diretta è fattibile.