Sintesi Tecnica: Test Multipli Conformalizzati Unificati con Massima Efficienza dei Dati

1. Enunciato del Problema

Il testing multipli conformalizzato fornisce un framework privo di modello per il controllo del Tasso di Falsi Positivi (FDR) nell'identificazione di campioni di test con etichette di interesse non osservate (ad esempio, rilevamento di outlier, selezione di campioni). La procedura standard prevede la costruzione di un punteggio di non conformità, la sua calibrazione rispetto a un insieme di campioni nulli (negativi) per generare valori p conformalizzati, e l'applicazione di una regola di test multiplo (ad esempio, Benjamini-Hochberg).

I metodi esistenti presentano due limitazioni principali riguardo all'utilizzo dei dati:

1. Utilizzo Parziale dei Dati: Molti approcci dividono i dati nulli disponibili ($D_0$) in insiemi di addestramento e di calibrazione, scartando informazioni preziose. Altri non sfruttano i dati etichettati non nulli (positivi) disponibili ($D_1$) o i dati di test non etichettati ($D_u$) durante la costruzione del punteggio.
2. Framework Frammentati: Metodi diversi (ad esempio, conformalizzato split, conformalizzato integrativo, conformalizzato localizzato) sono sviluppati in contesti specifici e secondo schemi di utilizzo dei dati. Non esiste un framework teorico unificato che inglobi questi metodi o fornisca un principio sistematico per progettarne di nuovi che sfruttino appieno tutti i dati disponibili ($D_0, D_1, D_u$) controllando rigorosamente l'FDR.

La sfida centrale è sviluppare un approccio unificato che massimizzi la potenza statistica utilizzando tutti i dati disponibili sia per la costruzione del punteggio che per la calibrazione, senza violare le ipotesi di scambiabilità richieste per il controllo dell'FDR in campioni finiti.

2. Metodologia: Il Framework ECOT

Gli autori propongono il Testing Conformalizzato Potenziato (ECOT), un framework unificato basato su una strategia di permutazione completa. L'idea fondamentale è considerare il testing multipli conformalizzato attraverso la lente del test di permutazione, dove il valore p per un campione di test $j$ è calcolato confrontando il suo punteggio con i punteggi ottenuti da tutte le possibili permutazioni dei dati.

2.1 Componenti Principali

La procedura ECOT consta di tre passaggi:

1. Costruzione del Punteggio: Per ogni campione di test $j \in U$, viene costruita una funzione di punteggio individualizzata $S^{(j)}$ utilizzando tutti i dati disponibili ($D_0, D_1, D_u$). Un punteggio più alto indica prove più forti contro l'ipotesi nulla.
2. Calcolo del Valore p: Un valore p conformalizzato è calcolato tramite permutazione completa:
   $$p_j = \frac{1}{|\Omega_j|} \sum_{\sigma \in \Omega_j} \mathbb{I}\{S^{(j)}(X_j) \le S^{(j)}_\sigma(X_{\sigma(j)})\}$$
   Qui, $\Omega_j$ è l'insieme delle permutazioni dell'insieme di calibrazione $C \subseteq L_0$ e del campione di test $j$, fissando gli indici al di fuori di questo insieme. $S^{(j)}_\sigma$ denota la funzione di punteggio costruita sul dataset permutato.
3. Procedura di Test: Per gestire la dipendenza tra i valori p indotta dal riutilizzo dei dati e dai punteggi individualizzati, ECOT impiega un passaggio di calibrazione condizionata (ispirato a Fithian e Lei, 2022). Questo implica la definizione di valori p modificati $\tilde{p}^{(j)}_\ell$ utilizzando un riassunto invariante per permutazione (ad esempio, la mediana) dei punteggi, seguito da una procedura di rifiuto che garantisce il controllo dell'FDR in campioni finiti.

2.2 Semplificazioni Computazionali

La permutazione completa è computazionalmente onerosa ($O((|C|+1)!)$). Il framework identifica due condizioni di simmetria sotto le quali la procedura si semplifica significativamente:

• Punteggi Simmetrici per Calibrazione: Se $S^{(j)}$ è invariante rispetto alle permutazioni dell'insieme di calibrazione e di $j$, il valore p si riduce a un semplice calcolo basato sul rango su $C \cup \{j\}$, eliminando la necessità di un riaddestramento ripetuto del modello.
• Punteggi Simmetrici Congiunti: Se una singola funzione di punteggio $S$ è utilizzata per tutti i campioni ed è simmetrica rispetto a tutti i campioni nulli e di test, il passaggio di calibrazione condizionata diventa superfluo, e la procedura standard Benjamini-Hochberg (BH) applicata ai valori p semplificati è sufficiente.

2.3 Approcci Potenziati

Sfruttando il framework unificato, gli autori propongono due specifici metodi potenziati:

• ECOT-bi (Classificazione Binaria): Utilizza $D_0, D_1$, e $D_u$ congiuntamente per addestrare un classificatore binario. Il classificatore distingue tra campioni non nulli ($D_1$) e l'insieme raggruppato di campioni nulli/non etichettati ($D_0 \cup D_u$). Questo approssima il rapporto di densità ottimale senza dividere $D_0$.
• ECOT-oc (Classificazione One-Class): Progettato per scenari in cui i classificatori binari sono inefficienti (ad esempio, differenze di varianza). Addestra classificatori one-class su $D_0 \cup D_u$ (per il nullo) e su $D_1$ (per l'alternativa), integrandoli per formare il punteggio.

2.4 Selezione Adattiva

Il framework abilita la Selezione Adattiva dell'Approccio (ECOT-as). Invece di fissare un singolo metodo, l'algoritmo valuta molteplici approcci candidati (ad esempio, ECOT-bi, ECOT-oc, FullND) e seleziona quello che produce la potenza più alta (numero di rifiuti) per ogni campione. Crucialmente, il passaggio di selezione è incorporato nella costruzione del punteggio tramite la strategia di permutazione completa. Questo tratta la selezione come parte della generazione del punteggio, preservando la scambiabilità ed evitando il problema del "doppio tuffo" (double dipping) che tipicamente gonfia l'FDR nell'inferenza post-selezione.

3. Contributi Chiave

1. Framework Unificato: Il documento introduce ECOT, un framework generale che ingloba i metodi esistenti di testing multipli conformalizzati (ad esempio, conformalizzato split, integrativo, localizzato) come casi speciali sotto specifiche strutture di simmetria.
2. Massima Efficienza dei Dati: Il framework fornisce una strategia di progettazione basata su principi per utilizzare tutti i dati disponibili ($D_0, D_1, D_u$) per la costruzione del punteggio, mantenendo l'intero insieme nullo per la calibrazione. Ciò è dimostrato migliorare la potenza statistica potenziando la qualità del punteggio e massimizzando la dimensione dell'insieme di calibrazione.
3. Selezione Adattiva con Controllo dell'FDR: Gli autori sviluppano una strategia guidata dai dati per selezionare automaticamente il miglior approccio di testing conformalizzato da un insieme di candidati. Integrando la selezione nella costruzione del punteggio basata sulla permutazione, raggiungono il controllo dell'FDR in campioni finiti senza richiedere una divisione aggiuntiva dei dati.
4. Garanzie Teoriche: Il documento dimostra che, sotto le standard ipotesi di scambiabilità dei dati, la procedura ECOT controlla l'FDR al livello desiderato $\alpha$ in campioni finiti, indipendentemente dalla complessità delle funzioni di punteggio utilizzate.

4. Risultati Sperimentali

Sono stati condotti estesi esperimenti numerici su dati sintetici e dataset reali di rilevamento di outlier (Carta di Credito, Satellite, Shuttle, CovType, Mammografia).

• Miglioramento della Potenza: In scenari in cui la classificazione binaria è ottimale, ECOT-bi e ECOT-as hanno costantemente superato le baseline esistenti (ad esempio, AdaDetect, CP-bi, Integ) raggiungendo una potenza superiore mantenendo il controllo dell'FDR. Ciò è stato attribuito al pieno utilizzo di $D_1$ e all'evitamento della divisione dei dati.
• Robustezza allo Scenario: In impostazioni in cui la classificazione one-class è superiore (ad esempio, shift di varianza), ECOT-oc ha superato significativamente i metodi integrativi sfruttando $D_u$ nella costruzione del punteggio.
• Selezione Adattiva: ECOT-as ha tracciato con successo il metodo dalle prestazioni migliori attraverso scenari diversificati, raggiungendo in molti casi una potenza vicina all'oracolo teorico.
• Prestazioni su Dati Reali: Sui dataset reali, i metodi ECOT (in particolare ECOT-bi e ECOT-as) hanno dimostrato una potenza superiore rispetto alle baseline, che spesso soffrivano di bassa potenza a causa di dati etichettati limitati o costruzioni di punteggio inappropriate.
• Costo Computazionale: Sebbene l'approccio a permutazione completa sia computazionalmente più pesante dei metodi split, la selezione adattiva aggiustata (Algoritmo 3) e le riduzioni di simmetria mantengono i tempi di esecuzione entro limiti pratici (circa 1 minuto per dimensioni campionarie moderate), significativamente più veloci delle implementazioni conformali complete di framework concorrenti come OptCS.

5. Significato e Affermazioni

Il documento afferma che ECOT rappresenta un avanzamento significativo unificando il panorama frammentato del testing multipli conformalizzato. Il suo significato principale risiede in:

• Progettazione Sistematica: Fornire un percorso chiaro e basato su principi per progettare nuove procedure conformalizzate che massimizzino l'efficienza dei dati.
• Adattamento Automatico: Risolvere il problema della selezione della strategia di test ottimale senza compromettere il controllo dell'FDR, una trappola comune nell'inferenza post-selezione.
• Efficienza Pratica: Dimostrare che il pieno utilizzo dei dati porta a guadagni tangibili nella potenza attraverso scenari reali e sintetici diversificati, rendendo il testing conformalizzato più efficace per applicazioni come il rilevamento di outlier e la selezione di campioni.

Gli autori riconoscono che il framework si basa sulla scambiabilità dei dati e che la permutazione completa può essere computazionalmente onerosa, suggerendo lavori futuri per rilassare le ipotesi (ad esempio, dati non scambiabili) e accelerare l'inferenza basata sulla permutazione.