Handling onset age inconsistencies in longitudinal healthcare survey data

Questo studio propone due metodi, basati su punteggi di affidabilità e su un aggiustamento bayesiano, per gestire le incongruenze nelle età di esordio riportate nei sondaggi sanitari longitudinali, dimostrando che entrambi migliorano significativamente la coerenza dei dati, le prestazioni predittive e l'interpretabilità delle reti di malattie utilizzando i dati di CanPath.

L'essenziale

🕵️‍♂️ Il Mistero delle "Date Sballate" nella Salute

Immagina di avere un grande archivio di diari di salute di quasi 100.000 persone. Queste persone hanno scritto due volte: una volta all'inizio dello studio e una volta qualche anno dopo. Hanno risposto a domande come: "A che età hai scoperto di avere il diabete?" o "Quando ti è venuta l'asma?".

Il problema? Le persone non sono macchine.
Molti hanno scritto date diverse nelle due risposte.

• Prima volta: "Ho avuto il diabete a 45 anni."
• Seconda volta: "Aspetta, ripensandoci, era a 52 anni."

Questo crea un caos per gli scienziati. Se usano i dati così come sono, le loro scoperte sulla salute saranno confuse e poco affidabili. È come se qualcuno cercasse di capire il meteo chiedendo a 100 persone "Che ore sono?" e ognuno rispondesse un orario diverso.

Gli autori di questo studio hanno inventato due metodi magici per sistemare questo disordine.

---

🔍 Metodo 1: Il "Filtro della Fiducia" (Stratificazione)

Immagina di essere un detective che deve scegliere quali testimoni interrogare per risolvere un caso. Non tutti i testimoni sono ugualmente affidabili. Alcuni ricordano tutto perfettamente, altri confondono i dettagli.

1. La Calcolatrice della Coerenza: Gli scienziati hanno creato un "punteggio di affidabilità" per ogni persona. Hanno guardato tutte le risposte di una persona: quante volte ha cambiato le date? Se una persona ha cambiato le date per 10 malattie diverse, il suo punteggio di affidabilità è basso (è un "testimone distratto"). Se ha mantenuto le stesse date per tutto, il punteggio è alto (è un "testimone preciso").
2. Il Filtro: Invece di buttare via tutti i dati "sbagliati" (che sarebbe stato un disastro perché avremmo perso metà delle informazioni), hanno diviso le persone in due gruppi:
   • Il Gruppo "Super Affidabile": Le persone che ricordano bene le date.
   • Il Gruppo "Un po' Distratto": Le persone che hanno fatto confusione.
3. Il Risultato: Quando gli scienziati hanno studiato solo il gruppo "Super Affidabile", le cose sono diventate chiarissime! Hanno visto connessioni tra malattie che prima erano invisibili. È come se avessero pulito una finestra sporca: prima vedevano solo macchie, ora vedono il paesaggio intero.

Analogia: È come se avessi un gruppo di 100 persone che devono indovinare il peso di un elefante. Alcuni dicono "1 tonnellata", altri "100 kg", altri "10 tonnellate". Invece di usare tutte le risposte, guardi chi ha indovinato meglio le cose semplici (come il peso di una mela) e ti fidi di più delle loro stime sull'elefante.

---

🧮 Metodo 2: Il "Ricostruttore Matematico" (Bayesiano)

Questo metodo è più sofisticato. Immagina di avere due foto sbiadite e sgranate dello stesso oggetto, scattate a distanza di anni. Nessuna delle due è perfetta, ma insieme possono rivelare la verità.

1. L'Ipotesi: Gli scienziati dicono: "La vera età in cui è nata la malattia esiste davvero, ma noi la vediamo attraverso un vetro appannato (la memoria umana)."
2. La Magia Matematica: Usano un modello matematico (Bayesiano) che funziona così:
   • Sa che la memoria peggiora con l'età (più sei vecchio, più è difficile ricordare esattamente quando è successo qualcosa).
   • Sa che più passa il tempo tra la prima e la seconda domanda, più è probabile che ci siano errori.
3. La Soluzione: Invece di scegliere una delle due date o scartare la persona, il modello crea una nuova data "aggiustata". È una media intelligente che pesa di più la risposta più recente o quella più coerente con la biologia, tenendo conto di quanto è probabile che la persona si sia sbagliata.

Analogia: È come se due amici ti dicessero: "Ricordi che abbiamo mangiato la pizza il 12 giugno?" e "No, era il 14 giugno!". Invece di litigare o cancellare la cena, un "ricostruttore" guarda il calendario, sa che uno dei due è un po' confuso quel giorno, e calcola che probabilmente era il 13 giugno, con una certezza del 90%.

---

🏆 Cosa hanno scoperto?

Hanno provato questi metodi su dati reali del Canada (CanPath) e i risultati sono stati fantastici:

• Connessioni più forti: Quando hanno usato i dati "puliti" (con il filtro o con la correzione), le malattie collegate tra loro (come il diabete e l'obesità, o l'ansia e la depressione) sembravano molto più legate di prima.
• Previsioni migliori: I computer che imparano dai dati (l'Intelligenza Artificiale) sono diventati molto più bravi a prevedere chi si ammalerà o quando, se usano questi dati corretti.
• Il consiglio finale:
  • Se hai tantissimi dati, usa il Metodo 1 (Filtro): è veloce e ti permette di lavorare solo con le persone più precise.
  • Se hai pochi dati o non puoi permetterti di escludere nessuno, usa il Metodo 2 (Ricostruttore): ti salva salvando le informazioni "imperfette" e trasformandole in dati utili.

In sintesi

Questo studio ci insegna che gli errori umani nei questionari non sono un disastro, ma un segnale. Se sappiamo come analizzarli, possiamo trasformare la confusione in chiarezza, salvando dati preziosi e aiutando la medicina a capire meglio come funzionano le malattie nel tempo.

Sommario tecnico

1. Il Problema

Le indagini sanitarie longitudinali sono fondamentali per comprendere l'eziologia delle malattie e sviluppare modelli predittivi. Tuttavia, questi dataset contengono frequentemente inconsistenze nell'età di esordio (onset age) riportate dai partecipanti.

• Definizione: Si verifica un'inconsistenza quando un partecipante riporta età diverse per la stessa condizione tra l'indagine di arruolamento (baseline) e i follow-up successivi (es. dichiarare il diabete a 45 anni all'arruolamento e a 52 anni nel follow-up).
• Cause: Errori di misurazione dovuti a lapsus di memoria, bias di richiamo (recall bias) e risposte disattente.
• Sfida: Eliminare tutti i record inconsistenti comporta una perdita significativa di dati, mentre mantenerli introduce errori di misurazione che attenuano le stime degli effetti e riducono la potenza statistica. Le soluzioni esistenti (regole deterministiche o interviste strutturate) non quantificano l'affidabilità a livello di partecipante né offrono aggiustamenti statistici rigorosi per errori dipendenti dall'età.

2. Metodologia

Gli autori propongono due metodi distinti per gestire queste inconsistenze, utilizzando i dati del Canadian Partnership for Tomorrow's Health (CanPath), che include oltre 97.000 partecipanti.

A. Stratificazione basata su Punteggi di Affidabilità (Reliability Score-based Stratification)

Questo metodo mira a identificare e separare i partecipanti in base alla coerenza delle loro risposte.

1. Costruzione della Matrice delle Differenze: Si calcola la differenza tra le età di esordio riportate al follow-up e all'arruolamento per ogni variabile.
2. Completamento della Matrice: Si utilizza l'algoritmo SoftImpute per imputare i valori mancanti nella matrice delle differenze, assumendo che l'affidabilità dipenda dalla magnitudine della discrepanza e non dalla sua direzione (sovrastima o sottostima).
3. Riduzione della Dimensionalità: Si applica l'Analisi delle Componenti Principali (PCA) alla matrice delle differenze assolute per catturare i pattern di inconsistenza.
4. Costruzione del Punteggio: Si calcola un punteggio di affidabilità grezzo per ogni partecipante come somma pesata dei valori assoluti dei punteggi delle componenti principali.
5. Normalizzazione e Stratificazione: I punteggi vengono normalizzati su una distribuzione uniforme [0, 1] (dove valori più alti indicano maggiore affidabilità). I partecipanti vengono quindi suddivisi in coorti ad alta e bassa affidabilità (es. usando la mediana come soglia) per analizzare separatamente i risultati.

B. Aggiustamento Bayesiano (Bayesian Adjustment)

Questo metodo corregge direttamente i dati inconsistenti modellando l'errore di misurazione.

1. Modello Latente: Si assume che esista un'età di esordio vera latente ($X^*$) non osservata. Le osservazioni all'arruolamento ($X^{(e)}$) e al follow-up ($X^{(f)}$) sono viste come osservazioni rumorose di questo valore latente.
2. Parametrizzazione della Varianza: I modelli di errore sono normalizzati, ma le varianze sono parametriche per riflettere due ipotesi chiave:
   • L'accuratezza del richiamo diminuisce con l'età ($\alpha_{j1} \geq 0$).
   • L'errore aumenta nel tempo tra le due indagini ($\delta_{j0}, \delta_{j1} \geq 0$).
3. Stima dei Parametri: I parametri di varianza sono stimati massimizzando la verosimiglianza logaritmica delle differenze osservate tra le due ondate.
4. Imputazione Posteriore: Si calcola la distribuzione a posteriori del valore latente vero. Il valore aggiustato è una media pesata per la precisione delle due osservazioni, dove l'osservazione con varianza stimata più bassa (solitamente l'arruolamento) riceve un peso maggiore.

3. Risultati Chiave

Gli autori hanno valutato entrambi i metodi su compiti di scoperta di associazioni e modellazione predittiva.

• Stratificazione per Affidabilità:

  • Correlazioni Biologiche: Le coorti ad alta affidabilità mostrano correlazioni significativamente più forti tra condizioni biologicamente correlate (es. asma, colesterolo, ipertensione) rispetto alle coorti a bassa affidabilità.
  • Rete di Malattie: L'analisi di clustering delle malattie nelle coorti ad alta affidabilità rivela strutture più coerenti e interpretabili (es. le condizioni gastrointestinali e cardiovascolari si raggruppano in cluster distinti e omogenei), riducendo l'entropia dei cluster.
  • Performance Predittiva: In generale, i modelli addestrati su coorti ad alta affidabilità ottengono errori di previsione (MAE, RMSE) inferiori nei compiti di regressione. Tuttavia, per alcune variabili di salute mentale (es. depressione), la coorta a bassa affidabilità ha talvolta performato meglio, suggerendo pattern di variabilità diversi.

• Aggiustamento Bayesiano:

  • Rafforzamento delle Associazioni: L'aggiustamento bayesiano ha prodotto coefficienti di correlazione più alti per coppie di variabili biologicamente associate rispetto ai dati grezzi (arruolamento o follow-up).
  • Miglioramento Predittivo: L'uso dei valori aggiustati ha migliorato consistentemente le prestazioni nei compiti di classificazione e regressione.
  • Effetto Cumulativo: I benefici sono stati particolarmente notevoli quando più variabili inconsistenti sono state aggiustate simultaneamente (es. nella previsione dell'età di esordio del diabete, l'aggiustamento di ipertensione e colesterolo ha ridotto l'errore MAE del 18%).

4. Contributi Principali

1. Quantificazione dell'Affidabilità a Livello di Partecipante: A differenza degli studi precedenti che analizzavano l'affidabilità a livello di malattia, questo lavoro introduce un punteggio sintetico per ogni individuo basato su tutti i pattern di inconsistenza.
2. Metodo di Correzione Statistica: Sviluppo di un modello bayesiano che incorpora specificamente la dipendenza dall'età e l'effetto del tempo intercorrente tra le indagini, fornendo stime aggiustate invece di semplici regole deterministiche.
3. Guida Pratica: Fornisce indicazioni chiare su quale metodo scegliere:
   • Usare la stratificazione se il dataset è grande, l'obiettivo è l'interpretabilità e si può escludere una parte dei partecipanti.
   • Usare l'aggiustamento bayesiano se il campione è limitato, è necessario propagare l'incertezza nelle inferenze successive, o si lavora con variabili di salute mentale dove l'esclusione potrebbe introdurre bias.

5. Significato e Implicazioni

Questo studio offre strumenti cruciali per la ricerca epidemiologica e la scienza dei dati sanitari. Dimostra che le inconsistenze nei dati longitudinali non sono semplici "rumore" da scartare, ma contengono informazioni sulla qualità del dato che possono essere sfruttate per migliorare la qualità delle analisi.

• Impatto Clinico e di Ricerca: Migliorare la qualità dei dati di esordio delle malattie porta a modelli predittivi più accurati e a una migliore comprensione delle relazioni causali tra fattori di rischio e patologie.
• Flessibilità: La proposta di due approcci complementari permette ai ricercatori di adattare la metodologia alle specifiche limitazioni del loro studio (dimensione del campione, tipo di variabili, risorse computazionali).

In sintesi, il lavoro trasforma un problema comune di qualità dei dati (inconsistenze temporali) in un'opportunità per raffinare le analisi epidemiologiche attraverso metodi statistici avanzati e scalabili.