Inference conditional on selection: a review

Questo articolo esamina l'inferenza selettiva, un insieme di tecniche necessarie per garantire la validità statistica quando le domande di ricerca dipendono dai dati stessi, illustrando diversi approcci e le loro applicazioni attraverso esempi simulati e dati reali di sequenziamento dell'RNA a singola cellula.

L'essenziale

🕵️‍♂️ Il Problema: "Guardare la risposta prima di fare la domanda"

Immagina di essere un detective che deve risolvere un caso. Nella statistica classica, il detective decide prima di guardare le prove: "Credo che il colpevole sia il maggiordomo, quindi controllerò solo le sue impronte". Se trova le impronte, ha una prova solida.

Tuttavia, nella scienza moderna (come nella genetica o nell'intelligenza artificiale), spesso funziona così: il detective guarda tutte le prove, vede che il maggiordomo ha le impronte più evidenti, e poi dice: "Ok, il mio caso è: 'Il maggiordomo è colpevole'".

Questo è il problema del "Double Dipping" (doppio tuffo). Usi gli stessi dati due volte: una volta per scoprire cosa cercare, e una volta per confermare che hai ragione.
Il risultato? Ti fidi troppo dei tuoi risultati. È come se un giocatore di dadi guardasse il risultato del tiro, e poi dicesse: "Vedi? Ho fatto 6! La mia probabilità di fare 6 era del 100%!". In realtà, se avesse tirato un 2, avrebbe cambiato la domanda in "Vedi? Ho fatto 2!".

Il paper spiega che quando scegli i dati per fare una domanda, le regole matematiche normali (come i "p-value" o gli intervalli di confidenza) smettono di funzionare. Ti danno una falsa sicurezza.

🏆 Tre Esempi Reali (Dove succede questo?)

Gli autori usano tre esempi per mostrare quanto sia comune questo problema:

1. La Maledizione del Vincitore (Winner's Curse):
   Immagina di avere 100 farmaci sperimentali. Li provi tutti e vedi che il Farmaco #42 ha l'effetto migliore. Se ora calcoli quanto è efficace il Farmaco #42 usando gli stessi dati, esagererai il suo successo. Hai scelto il "vincitore" perché è apparso fortunato, non necessariamente perché è il migliore in assoluto. È come scegliere il corridore più veloce di una gara guardando solo chi ha corso meglio quel giorno specifico, ignorando che potrebbe essere stato solo un caso di fortuna.

2. L'Albero della Decisione (Regression Tree):
   Immagina di voler dividere una classe di studenti in gruppi basati sui loro voti per capire chi studia meglio. L'algoritmo guarda i dati e dice: "Dividiamo i ragazzi che hanno più di 8 in matematica da quelli che ne hanno meno". Se poi usi gli stessi dati per dire "Guardate quanto sono bravi i ragazzi con più di 8!", stai contando due volte la stessa cosa. Il gruppo è stato creato perché avevano quei voti alti, quindi è ovvio che li abbiano.

3. Il DNA e le Cellule (Clustering):
   Nella ricerca medica, si analizzano migliaia di cellule per trovare nuovi tipi di cellule. Si usano i dati per raggruppare le cellule simili (es. "Cellule A" e "Cellule B"). Poi si chiede: "Le Cellule A hanno più geni X rispetto alle Cellule B?". Se usi gli stessi dati per creare i gruppi e per misurare la differenza, la differenza sembrerà sempre enorme, anche se non esiste davvero.

🛡️ La Soluzione: "Condizionare la Selezione"

Come si risolve? Gli statistici hanno due strade principali, ma il paper sostiene che la strada migliore è la "Copertura Condizionata".

Immagina di dover giudicare un atleta.

• Approccio Sbagliato (Copertura Unconditional): Guardi tutti gli atleti, scegli il migliore, e poi dici "È il migliore al mondo". Ma non sai se lo hai scelto perché è davvero il migliore o perché è stato fortunato quel giorno.
• Approccio Giusto (Copertura Condizionata): Dichiari: "Ok, ammettiamo che tu abbia scelto questo atleta perché era il migliore in questa specifica gara. Ora, dato che lo hai scelto così, quanto siamo sicuri che sia davvero forte?".

In pratica, la statistica "condizionata" dice: "Non ti chiedo se il vincitore è il migliore in assoluto. Ti chiedo: se avessimo scelto questo vincitore, quanto è affidabile la nostra stima?".

🧪 Le Strumenti per Risolvere il Problema

Il paper confronta diverse "tecniche" per ottenere questa certezza:

1. Dividere la torta (Sample Splitting):
   Prendi i dati e li dividi in due metà: una metà per trovare il vincitore (Selezione), l'altra metà per misurare quanto è bravo (Inferenza).

   • Pro: Semplice, non serve matematica complessa.
   • Contro: Sprechi metà dei dati. È come usare metà degli ingredienti per cucinare e l'altra metà per assaggiare. Se hai pochi dati, la ricetta viene male.

2. Tagliare i dati (Data Thinning):
   Invece di dividere i dati in due gruppi separati, "assottigli" ogni singolo dato. Immagina di avere un bicchiere d'acqua (il dato). Ne versi un po' in un bicchiere per la selezione e un po' in un altro per l'inferenza, ma in modo matematicamente perfetto.

   • Pro: Non sprechi dati.
   • Contro: Funziona solo con certi tipi di "liquidi" (distribuzioni matematiche specifiche).

3. L'approccio Completo (Full Conditional Selective Inference):
   Usi tutti i dati per tutto, ma cambi la matematica per tenere conto del fatto che hai scelto quel dato. È come se il detective dicesse: "So che ho scelto il maggiordomo guardando le prove, quindi devo ricalcolare la probabilità tenendo conto che ho guardato tutte le prove prima di scegliere".

   • Pro: Usa tutti i dati.
   • Contro: Matematicamente molto difficile. A volte, se la scelta è stata "troppo fortunata" (il vincitore era appena sopra gli altri per caso), la matematica ti dice: "Non posso dirti nulla con certezza", e il risultato diventa un intervallo infinito (es. "Il farmaco è efficace tra 0 e infinito").

4. Il metodo "Casuale" (Randomized CSI):
   Una via di mezzo intelligente. Aggiungi un po' di "rumore" (casualità) ai dati prima di scegliere il vincitore. Questo impedisce di scegliere qualcuno solo perché è stato fortunato.

   • Pro: Evita gli intervalli infiniti e usa bene i dati.
   • Contro: Richiede calcoli complessi per ogni nuovo tipo di analisi.

📊 Cosa dicono i risultati?

Gli autori hanno fatto due cose:

1. Simulazioni al computer: Hanno creato dati finti per vedere quale metodo funziona meglio. Hanno scoperto che i metodi "condizionati" (specialmente quelli casuali o di "taglio") funzionano molto meglio dei metodi classici, che spesso ingannano gli scienziati facendogli credere di aver scoperto cose che non esistono.
2. Dati Reali (RNA delle cellule): Hanno applicato questi metodi a dati reali di biologia. Hanno scoperto che i metodi classici trovano centinaia di "geni diversi" che in realtà non lo sono (falsi positivi). I metodi corretti ne trovano meno, ma quelli che trovano sono veri.

💡 La Conclusione in Pillole

La scienza moderna è piena di "scoperte" che sono in realtà solo illusioni create dal modo in cui guardiamo i dati.

• Il messaggio chiave: Non puoi usare gli stessi dati per scegliere la domanda e per rispondere.
• La soluzione: Dobbiamo usare metodi statistici che tengano conto del fatto che abbiamo "scelto" la domanda guardando i dati.
• Il futuro: Serve creare software facile da usare per gli scienziati, in modo che non debbano essere matematici esperti per evitare di ingannare se stessi e il pubblico.

In sintesi: Non guardare il risultato prima di scrivere la domanda, o se lo fai, usa gli occhiali speciali della "statistica condizionata" per non vedere cose che non ci sono.

Sommario tecnico

Titolo: Inferenza condizionata alla selezione: una rassegna

Autori: Anna Neufeld, Ronan Perry, Daniela Witten.

---

1. Il Problema: L'Inferenza su Parametri Scelti dai Dati

Il documento affronta una sfida fondamentale nella statistica moderna: l'inferenza su parametri, ipotesi o modelli che non sono specificati a priori, ma sono selezionati in base all'esplorazione dei dati.

• Il problema del "Double Dipping": Nella pratica scientifica contemporanea (es. neuroscienze, genomica, ecologia), è comune utilizzare gli stessi dati sia per formulare un'ipotesi (selezione) sia per testarla (inferenza). Questo fenomeno, noto come "double dipping", viola le assunzioni dei metodi inferenziali classici (come i test t o gli intervalli di Wald).
• Conseguenze: Quando si ignorano i processi di selezione, gli intervalli di confidenza classici non raggiungono la copertura nominale (es. un intervallo al 90% copre il vero parametro con probabilità molto inferiore al 90% quando il segnale è debole) e il controllo dell'errore di Tipo I viene meno. Questo contribuisce alla "crisi della riproducibilità" scientifica.
• Esempi motivanti:
  1. Inferenza sul "vincitore": Stimare il parametro medio di un gruppo che ha mostrato il valore osservato più alto (es. effetto trattamento di un programma selezionato tra molti).
  2. Inferenza su alberi di regressione: Stimare la media di una regione specifica generata da un algoritmo come CART.
  3. Inferenza dopo il clustering: Testare l'espressione differenziale di geni tra cluster di cellule identificati dai dati (es. RNA-seq a cellula singola), dove i cluster non sono noti a priori.

2. Metodologia: Copertura Condizionata vs. Incondizionata

L'autrice distingue tra due tipi di garanzie inferenziali:

• Copertura Incondizionata: La probabilità che l'intervallo copra il parametro selezionato è $\ge 1-\alpha$ su tutte le possibili selezioni. Sebbene esistano metodi per ottenerla (es. correzioni multiple come Bonferroni), queste garanzie sono spesso troppo deboli per la pratica scientifica: possono portare a una sovrastima della certezza quando la selezione è "sbagliata" (es. si seleziona un vincitore spurio).
• Copertura Condizionata (Obiettivo del lavoro): L'intervallo deve garantire la copertura $\ge 1-\alpha$ condizionatamente all'evento di selezione specifico che si è verificato.
  • Definizione: $P(\theta_{S(Y)} \in CI_{S(Y)}(Y) \mid S(Y) = k) \ge 1 - \alpha$.
  • Significato: Garantisce che, dato che abbiamo selezionato un particolare parametro (es. il cluster A e B), la nostra inferenza su di esso sia valida. Questo evita il "double dipping" poiché l'inferenza non riutilizza le informazioni usate per la selezione.

Approcci per Ottenere Copertura Condizionata

Il paper presenta un "ricettario unificante" (Box 1) che divide i dati in un set di selezione ($Y_{sel}$) e un set di inferenza ($Y_{inf}$), selezionando il target su $Y_{sel}$ e inferendo su $Y_{inf}$ condizionando all'evento di selezione. Le principali strategie discusse sono:

1. Full Conditional Selective Inference (Full CSI):

   • Usa tutti i dati sia per selezione che per inferenza ($Y_{sel} = Y_{inf} = Y$).
   • Condiziona sull'evento esatto di selezione (o su un evento più grande per renderlo trattabile).
   • Vantaggio: Non spreca informazioni.
   • Svantaggio: Richiede la caratterizzazione analitica o Monte Carlo della distribuzione condizionata, che è complessa. Può produrre intervalli di confidenza infinitamente ampi se l'evento di selezione è "al limite" (poca informazione residua).

2. Sample Splitting (Divisione del Campione):

   • Divide i dati in due sottoinsiemi disgiunti: uno per la selezione e uno per l'inferenza.
   • Vantaggio: Semplice, non richiede metodi specifici per l'inferenza (basta usare software standard sul set di test).
   • Svantaggio: Spreca informazioni (i dati usati per la selezione non servono per l'inferenza). Può portare a intervalli infiniti se il set di test non contiene osservazioni nella regione selezionata.

3. Data Carving:

   • Usa un sottoinsieme per la selezione ma tutti i dati per l'inferenza, condizionando sull'evento di selezione.
   • Vantaggio: Usa più informazioni per l'inferenza rispetto allo sample splitting.
   • Svantaggio: Computazionalmente complesso; richiede di derivare distribuzioni condizionate specifiche.

4. Data Thinning (Assottigliamento dei Dati):

   • Decomposizione di variabili (es. Gaussiane, Poisson) in due componenti indipendenti ($Y_{sel}$ e $Y_{inf}$) tramite l'aggiunta di rumore controllato.
   • Vantaggio: Permette di applicare metodi classici su $Y_{inf}$ mantenendo l'indipendenza. Risolve il problema del "vincitore" dove lo sample splitting fallirebbe.
   • Svantaggio: Limitato a famiglie di distribuzioni specifiche.

5. Randomized CSI:

   • Introduce rumore casuale nell'algoritmo di selezione (es. CART randomizzato) per rendere la distribuzione condizionata trattabile, usando poi tutti i dati per l'inferenza.
   • Vantaggio: Evita intervalli infiniti e usa tutte le informazioni.

6. Data Fission:

   • Decomposizione di $Y$ in $Y_{sel}$ e $Y_{inf}$ che non sono necessariamente indipendenti, ma per cui la distribuzione condizionata è trattabile.
   • Vantaggio: Applicabile a dati binari o dove il thinning non è possibile.

3. Risultati Chiave

Studio di Simulazione (Esempio 2: Alberi di Regressione)

• Setup: Inferenza sulla media di regioni identificate da un albero CART.
• Risultati:
  • I metodi classici falliscono nella copertura quando il segnale è debole.
  • Full CSI offre la migliore qualità di selezione (identifica le regioni corrette) ma produce intervalli molto ampi (o infiniti) quando il segnale è debole.
  • Sample Splitting e Data Thinning producono intervalli più stretti ma sacrificano la qualità della selezione (meno dati per decidere la struttura dell'albero).
  • Randomized CSI emerge come il miglior compromesso: mantiene una buona qualità di selezione e produce intervalli più stretti rispetto a Full CSI, adattandosi alla forza del segnale (più segnale = meno informazione usata per la selezione = più informazione per l'inferenza).

Applicazione a Dati RNA-seq a Cellula Singola (Esempio 3)

• Setup: Identificazione di tipi cellulari tramite clustering e test di espressione differenziale.
• Risultati:
  • I metodi classici generano p-value non uniformi (falsi positivi) anche su dati di controllo negativo.
  • Data Thinning (Poisson e Negativo Binomiale) e Data Fission migliorano il controllo dell'errore, ma le assunzioni distribuzionali sono critiche.
  • Full CSI (basato su normalità multivariata dopo trasformazione log) mostra risultati promettenti ma è molto sensibile alle scelte di pre-processing e agli algoritmi di clustering (es. funziona con k-means, ma non facilmente con algoritmi basati su grafi come Louvain usati in Seurat).
  • Tutti i metodi avanzati identificano un numero simile di geni differenzialmente espressi rispetto al metodo classico quando il segnale è forte, ma con un controllo dell'errore corretto.

4. Contributi Principali

1. Quadro Unificante: Il paper dimostra che Full CSI, Sample Splitting, Data Thinning, Data Fission e Randomized CSI sono tutti istanze della stessa "ricetta" generale basata sulla divisione dei dati e sulla condizionamento.
2. Analisi del Trade-off: Fornisce una formalizzazione teorica (tramite l'informazione di Fisher) del compromesso tra la quantità di informazione usata per la selezione e quella lasciata per l'inferenza.
3. Valutazione Empirica: Confronta sistematicamente le diverse metodologie su scenari reali e simulati, evidenziando i compromessi pratici (ampiezza dell'intervallo vs. qualità della selezione vs. complessità computazionale).
4. Focus sull'Inferenza Condizionata: Argomenta fortemente a favore della copertura condizionata come obiettivo scientificamente più rilevante rispetto a quella incondizionata per l'analisi esplorativa.

5. Significato e Implicazioni

• Risoluzione della Crisi di Riproducibilità: Il lavoro offre strumenti rigorosi per validare le scoperte scientifiche derivate da analisi esplorative, riducendo i falsi positivi.
• Flessibilità vs. Rigore: Evidenzia che non esiste un metodo "migliore" in assoluto. La scelta dipende dal contesto:
  • Se la flessibilità e la semplicità sono prioritarie, lo Sample Splitting o il Data Thinning sono adatti.
  • Se la massima potenza e l'uso di tutti i dati sono cruciali, Full CSI o Randomized CSI sono preferibili, a patto di accettare la complessità computazionale e le assunzioni distribuzionali.
• Sfide Future: Il paper sottolinea la necessità di sviluppare software general-purpose e metodi "assumption-lean" (con poche assunzioni) per rendere queste tecniche accessibili ai ricercatori non statistici, specialmente in campi complessi come la biologia computazionale.

In sintesi, il documento è una guida completa che sposta il paradigma dall'evitare l'esplorazione dei dati (per paura del bias) all'utilizzo di metodi statistici corretti che permettono di trarre conclusioni valide proprio dall'esplorazione stessa.