Null-Calibrated Conformal Selection via Target-Membership Scores

Sintesi Tecnica: Selezione Conforme con Calibrazione Nulla tramite Punteggi di Appartenenza al Target

1. Definizione del Problema

La selezione conforme mira a identificare candidati di test da un pool le cui risposte ignote rientrano in una regione target $I \subseteq \mathcal{Y}$ specificata dall'utente, controllando il Tasso di False Scoperte (FDR - False Discovery Rate). La sfida risiede nel bilanciare due obiettivi: minimizzare le false scoperte (candidati selezionati dove $Y \notin I$) e massimizzare la potenza (selezionare quanti più veri target possibile).

Le metodologie esistenti ereditano tipicamente punteggi di non conformità dalla previsione conforme, come residui con segno, residui troncati o punteggi di quantile condizionale. Questi punteggi sono progettati per compiti di previsione (stimare $Y$) piuttosto che per compiti di selezione (determinare se $Y \in I$). Gli autori sostengono che tali punteggi orientati alla previsione possano essere strutturalmente disallineati con l'obiettivo di selezione, in particolare quando la regione target è un intervallo, guidata dalla varianza, multimodale o definita da molteplici condizioni. In tali casi, un alto punteggio di previsione (ad esempio, una media condizionata elevata) non implica necessariamente un'alta probabilità di appartenenza al target.

2. Metodologia

Il Principio di Appartenenza al Target
Il documento propone uno spostamento fondamentale nella selezione del punteggio: il punteggio naturale per la selezione conforme è la probabilità di appartenenza al target:
$$\eta_I(x) = P(Y \in I \mid X = x)$$
Questo punteggio tratta il problema di selezione come un compito di classificazione binaria in cui l'etichetta è $Z = \mathbb{I}\{Y \in I\}$. Per il lemma di Neyman–Pearson, la soglia di qualsiasi trasformazione monotona di $\eta_I(x)$ produce la classificazione oracle per massimizzare la probabilità di selezione del target a un livello di selezione nulla fissato.

Caratterizzazione dell'Allineamento tra Punteggio e Target
Il documento caratterizza rigorosamente quando i punteggi convenzionali sono sufficienti e quando falliscono:

• Target Monotoni rispetto alla Media: Per target monodirezionali (ad esempio, $I = [c, \infty)$) dove l'appartenenza al target è monotona rispetto alla media condizionata, i punteggi convenzionali (residui, rapporti di verosimiglianza) inducono la stessa classificazione di $\eta_I(x)$. In questi regimi, il nuovo principio recupera la pratica esistente senza offrire un vantaggio in termini di potenza.
• Target Disallineati: Per target a intervallo, target guidati dalla varianza, distribuzioni multimodali o target a molteplici condizioni, i punteggi convenzionali spesso falliscono nell'allinearsi con $\eta_I(x)$. Ad esempio, in un target a intervallo guidato dalla varianza, la media condizionata può non contenere alcuna informazione sull'appartenenza, mentre $\eta_I(x)$ cattura il segnale rilevante.

Selezione Conforme con Calibrazione Nulla (NCCS)
Per operazionalizzare il punteggio di appartenenza, il documento introduce la NCCS, una specifica via di calibrazione che converte la classifica in p-value validi per campioni finiti:

1. Apprendimento del Punteggio: Un punteggio di appartenenza al target $g(x)$ viene appreso su un set di split dedicato ($D_{sc}$) utilizzando etichette binarie $Z_i = \mathbb{I}\{Y_i \in I\}$. Il documento suggerisce l'uso di regressione logistica cost-sensitive o alberi decisionali potenziati dal gradiente (gradient-boosted trees).
2. Calibrazione Nulla: A differenza della selezione conforme standard che confronta i punteggi di test contro tutti gli esempi di calibrazione, la NCCS confronta i punteggi di test solo contro gli esempi di calibrazione confermati come non-target ($C_0 = \{i \in D_{cal} : Y_i \notin I\}$).
3. Costruzione del P-Value: Per un candidato di test $j$, il p-value calibrato rispetto al nulla è:
   $$p_j(g) = \frac{1 + \#\{i \in C_0 : g(X_i) \ge g(X_{N+j})\}}{|C_0| + 1}$$
4. Selezione: Questi p-value vengono inseriti in una procedura di test multipli (ad esempio, Benjamini–Hochberg o Benjamini–Yekutieli) per selezionare l'insieme finale.

3. Contributi Chiave

1. Principio di Appartenenza al Target: Il documento stabilisce che la selezione conforme deve essere vista come un problema di classificazione per l'evento $Y \in I$. Identifica $\eta_I(x)$ come il punteggio di classifica oracle della popolazione, fornendo una base teorica per la selezione del punteggio che è distinta dai punteggi orientati alla previsione.
2. Caratterizzazione dell'Allineamento: Delinea precisamente il confine in cui i punteggi convenzionali funzionano (target monotoni rispetto alla media) rispetto a dove falliscono (target a intervallo, guidati dalla varianza, multimodali), spiegando perché il punteggio di appartenenza è la "riparazione canonica" per questi ultimi.
3. Validità per Campioni Finiti tramite NCCS: Il documento isola una specifica via di calibrazione (NCCS) che garantisce la validità dei p-value nulli per campioni finiti sotto l'ipotesi di scambiabilità nulla. Ciò la distingue dalla diretta soglia empirica dell'FDP (ad esempio, Qin et al., 2025), che controlla l'FDR solo asintoticamente e può essere anti-conservativa quando i target sono rari.
4. Validazione Empirica: Gli esperimenti confermano le previsioni teoriche:
   • Sui target monotoni rispetto alla media, i punteggi di appartenenza si comportano in modo simile ai punteggi convenzionali.
   • Sui target a intervallo guidati dalla varianza, i punteggi di appartenenza superano sostanzialmente la selezione basata sulla media (che collassa).
   • La NCCS mantiene un controllo rigoroso dell'FDR nei campioni finiti, mentre la soglia diretta può eccedere il livello nominale di FDR, specialmente nei regimi di target rari.

4. Risultati e Limitazioni

Risultati Sperimentali

• Regime di Monotonia rispetto alla Media: In un setting di target a coda superiore, NCCS-BH (utilizzando Benjamini-Hochberg) è stato più conservativo rispetto al clipping cfBH o alla soglia diretta di Neyman-Pearson (Qin-NP), risultando in una minore potenza ma in un controllo simile dell'FDR. Questo conferma che il principio non gonfia artificialmente la potenza dove i metodi convenzionali già funzionano.
• Regime Guidato dalla Varianza: In un setting di target a intervallo guidato dalla varianza condizionale, i metodi basati sulla media (Mean-Null-BH) sono falliti completamente (potenza $\approx 0$). NCCS-BH ha mantenuto una potenza sostanziale ($0.288$) rispetto all'oracle ($0.354$), superando significativamente gli approcci basati sulla media.
• Target Rari: Quando la frequenza del target era bassa, la soglia diretta dell'FDP empirico (Qin-NP) ha mostrato un FDR gonfiato (ad esempio, 0.170 rispetto al nominale 0.10), mentre NCCS-BH è rimasto rigorosamente al di sotto del livello nominale, dimostrando la sua robustezza negli scenari di eventi rari in campioni finiti.

Affermazioni Modeste e Limitazioni
Gli autori dichiarano esplicitamente che la NCCS non viene presentata come un vincitore universale di potenza.

• Compromesso sulla Potenza: La NCCS è spesso più conservativa della soglia diretta di Neyman-Pearson perché si basa sulla validità dei p-value per campioni finiti piuttosto che sulla stima asintotica dell'FDP.
• Target Rari: L'apprendimento del punteggio di appartenenza stesso può essere difficile quando l'evento target è raro, richiedendo potenzialmente modelli distribuzionali o bayesiani per l'efficienza.
• Scambiabilità: La validità per campioni finiti della NCCS si basa sull'assunto di scambiabilità nulla. In presenza di shift delle covariate o shift delle etichette, il set di calibrazione nulla potrebbe non rappresentare più i candidati di test nulli, rendendo necessaria una calibrazione pesata (una direzione lasciata a lavori futuri).
• Ambito: Il documento si concentra sul principio e sulla sua caratterizzazione piuttosto che promuovere un singolo metodo come superiore in tutti i contesti. Il contributo è l'identificazione del punteggio corretto per target generali e di una via di calibrazione con una specifica garanzia di validità.

5. Significato

Il significato del documento risiede nel riformulare la selezione conforme come un problema di classificazione, identificando così la probabilità di appartenenza al target come il punteggio teoricamente ottimale. Esso fornisce un confine chiaro e testabile per determinare quando questo nuovo approccio è necessario (target non monotoni) e quando è ridondante. Inoltre, introduce la NCCS come un metodo pratico che privilegia la validità per campioni finiti rispetto alla potenza asintotica, offrendo una soluzione robusta per i problemi di selezione in cui il controllo delle false scoperte in piccoli campioni o regimi di eventi rari è critico.