Analysis of Linked Files: A Missing Data Perspective

1. Il Problema: Errori di Collegamento e Bias Statistico

In molte applicazioni (sanità, scienze sociali, statistica ufficiale), le informazioni su una stessa entità sono disperse su file diversi. Quando non sono disponibili identificatori univoci (es. codice fiscale), i ricercatori devono utilizzare tecniche di record linkage (collegamento di record) basate su variabili semi-identificanti (nomi, indirizzi, date di nascita).

Il problema centrale affrontato è che gli algoritmi di linkage probabilistico commettono inevitabilmente due tipi di errori:

1. Falsi collegamenti (False links): Unire record che appartengono a entità diverse.
2. Falsi non-collegamenti (False non-links): Non unire record che appartengono alla stessa entità.

L'analisi statistica standard dei file collegati spesso ignora questi errori, trattando il file risultante come "completo" e privo di errori. Questo approccio porta a:

• Bias di attenuazione: Le stime delle associazioni (es. coefficienti di regressione) sono spinte verso lo zero.
• Perdita di efficienza: A causa della ridotta dimensione del campione (falsi non-collegamenti).
• Bias di selezione: Se la probabilità di errore dipende dalle variabili di interesse.
• Intervalli di confidenza errati: Che non coprono il vero parametro con la frequenza nominale.

2. Metodologia: Il Quadro dei Dati Mancanti

Gli autori propongono di riformulare il problema del record linkage all'interno del paradigma dei dati mancanti di Rubin (1976).

• Formulazione: Lo stato di collegamento ($\Delta_{ij}$, che indica se il record $i$ del file A e il record $j$ del file B sono la stessa entità) è trattato come una variabile latente discreta non osservata.
• Dati: I dati osservati sono le variabili di collegamento ($L_A, L_B$) e le variabili di analisi ($Y_A, X_B$). I dati mancanti sono la struttura di collegamento $\Delta$.

Classificazione dei Meccanismi di Collegamento

Analogamente ai meccanismi di mancata osservazione (MCAR, MAR, MNAR), gli autori definiscono quattro meccanismi di collegamento che descrivono la distribuzione condizionata di $\Delta$ dato le variabili osservate:

1. SNL (Strongly Non-Informative): Il collegamento dipende solo dalle variabili di collegamento ($L_A, L_B$), non dalle variabili di analisi. Equivale a MAR.
2. NL (Non-Informative): Il collegamento dipende da $L_A, L_B$ e dalle covariate $X_B$, ma non dall'outcome $Y_A$. Equivale a MAR.
3. WNL (Weakly Non-Informative): Il collegamento dipende da tutte le variabili osservate ($L_A, L_B, Y_A, X_B$). Equivale a MAR.
4. IL (Informative): Il collegamento dipende da variabili non osservate o da relazioni non catturate dai dati. Equivale a MNAR (Missing Not At Random) e può causare bias significativi.

Categorizzazione dei Metodi di Inferenza

Il paper classifica i metodi esistenti in tre categorie principali, basandosi su come gestiscono l'incertezza del collegamento:

A. Metodi di Verosimiglianza e Bayesiani (Primary Analysis)
Utilizzano la verosimiglianza completa dei dati $L_c(L_A, L_B, Y_A, X_B, \Delta | \beta, \theta)$.

• Approccio: Stima congiunta o iterativa dei parametri di collegamento ($\theta$) e dei parametri di interesse ($\beta$).
• Tecniche: Algoritmi EM, Data Augmentation (DA), Metropolis-within-Gibbs.
• Vantaggi: Possono sfruttare il "feedback" delle relazioni sostanziali ($Y_A, X_B$) per migliorare il collegamento (sotto l'ipotesi WNL).
• Svantaggi: Computazionalmente intensivi; richiedono modelli specifici per il collegamento e l'analisi.

B. Metodi di Imputazione (Multiple Imputation - MI)

• Approccio: Generano $M$ imputazioni della struttura di collegamento $\Delta^{(m)}$ dalla sua distribuzione posteriore. Ogni file imputato viene analizzato separatamente e i risultati sono combinati secondo le regole di Rubin.
• Vantaggi: Separa il processo di collegamento da quello di analisi; più flessibile per modelli complessi (es. clustering).
• Svantaggi: Rischio di "incongruenza" (uncongeniality) tra il modello di imputazione e il modello di analisi, che può portare a bias.

C. Metodi di Ponderazione (Weighting Methods)

• Approccio: Correggono le equazioni di stima (estimating equations) utilizzando le probabilità di collegamento stimate ($Q$).
• Ipotesi: Richiedono spesso che il collegamento sia completo (ogni record di A ha un match in B) e che il meccanismo sia NL.
• Esempi: Stimatori di Lahiri-Larsen, correzioni di bias di Scheuren-Winkler.
• Vantaggi: Meno complessi computazionalmente rispetto ai metodi Bayesiani.
• Svantaggi: Difficoltà nella stima della varianza; sensibili alla violazione delle ipotesi di completezza e di meccanismo.

3. Contributi Chiave

1. Unificazione Teorica: Fornisce un quadro coerente che collega la letteratura sul record linkage a quella sui dati mancanti, definendo formalmente i meccanismi di collegamento (SNL, NL, WNL, IL).
2. Analisi Comparativa Estensiva: Valuta le prestazioni di diversi metodi (Bayesiani, MI, Ponderazione) attraverso simulazioni dettagliate che variano:
   • Il grado di sovrapposizione tra i file (overlap).
   • La potenza discriminatoria delle variabili di collegamento.
   • Il livello e il meccanismo degli errori di misura.
   • Il rapporto segnale-rumore (SNR) dell'analisi di regressione.
3. Estensione a Modelli Complessi: Dimostra l'applicabilità dell'Imputazione Multipla (MI) per l'analisi di modelli complessi sui dati collegati, come l'analisi di clustering (Gaussian Mixture Models), un'area spesso trascurata.
4. Distinzione tra Analisi Primaria e Secondaria:
   • Analisi Primaria: L'analista ha accesso ai file originali e alle probabilità di collegamento.
   • Analisi Secondaria: L'analista riceve solo il file già collegato senza accesso ai dati grezzi o alle probabilità. Il paper analizza come gestire l'incertezza in questo scenario più restrittivo.

4. Risultati delle Simulazioni

Le simulazioni rivelano che le prestazioni dei metodi dipendono fortemente dal meccanismo di collegamento e dal grado di sovrapposizione:

• Meccanismi SNL, NL, LCAR (Random):

  • I metodi Bayesiani (es. Steorts 2015, Sadinle 2017) e le tecniche di ponderazione (Lahiri-Larsen) offrono generalmente stime con basso bias e copertura degli intervalli vicina al nominale (95%).
  • I metodi Bayesiani tendono ad essere più efficienti (minore errore standard).
  • Il metodo di Fellegi-Sunter (FS) standard, che ignora l'incertezza, mostra un forte bias negativo e copertura insufficiente.

• Meccanismo WNL (Dipendente dalle variabili di analisi):

  • I metodi che permettono un feedback tra il modello di analisi e il collegamento (es. Gutman et al. 2013, Kamat et al. 2023) mostrano vantaggi, riducendo il bias rispetto ai metodi che trattano il collegamento come indipendente.
  • I metodi di ponderazione e i modelli puri di linkage tendono a sottostimare la copertura.

• Meccanismo IL (Informative/MNAR):

  • Tutte le metodologie soffrono di un aumento significativo del bias e di una copertura degli intervalli molto inferiore al nominale. Questo sottolinea che se il collegamento dipende da variabili non osservate correlate all'outcome, l'inferenza è fortemente compromessa senza assunzioni aggiuntive.

• Analisi Secondaria:

  • In assenza di dati grezzi, i metodi basati su modelli di miscela (Mixture Models) e imputazione (Gutman et al., Slawski et al.) tendono a performare meglio dei metodi di ponderazione quando il meccanismo di errore non è puramente casuale (ELE), sebbene la copertura possa scendere sotto il nominale in scenari complessi.

• Impatto dell'Overlap:

  • Con overlap incompleto (es. 50% o 20%), le prestazioni di tutti i metodi peggiorano, ma i metodi Bayesiani che modellano esplicitamente la struttura di popolazione (es. Steorts) mantengono una buona copertura.

5. Significato e Conclusioni

Questo lavoro è fondamentale perché sposta il focus dal semplice "come collegare i record" al "come analizzare i dati collegati tenendo conto dell'incertezza".

• Implicazioni Pratiche: Gli analisti non dovrebbero più trattare i file collegati come dati certi. La scelta del metodo di inferenza deve essere guidata dalla plausibilità del meccanismo di collegamento (es. è plausibile che l'errore dipenda dall'outcome?).
• Sviluppi Futuri: Il paper evidenzia la necessità di sviluppare metodi per analisi multivariate complesse (oltre la regressione lineare) e di integrare analisi di sensibilità per valutare quanto le conclusioni siano robuste rispetto a diverse ipotesi sui meccanismi di collegamento.
• Raccomandazione: L'Imputazione Multipla (MI) emerge come un'alternativa promettente e flessibile all'inferenza bayesiana completa, specialmente quando si devono applicare modelli di analisi complessi o quando l'analista non ha accesso ai dati grezzi (analisi secondaria), purché si presti attenzione alla congruenza tra i modelli.

In sintesi, l'articolo fornisce una guida rigorosa e basata su evidenze empiriche per gestire l'incertezza intrinseca nel collegamento dei dati, trasformando un problema di ingegneria dei dati in un problema statistico formale di inferenza con dati mancanti.