Riepilogo Tecnico: Quando il Troncamento Aiuta la Predizione Conformale?

Enunciato del Problema

La predizione conformale si basa sulla scambiabilità dei punteggi di calibrazione e di test per fornire garanzie di copertura per campioni finiti. Tuttavia, tale scambiabilità fallisce in caso di contaminazione della calibrazione, dove il campione di calibrazione è estratto da una distribuzione mista $P^\star = (1-\epsilon)P + \epsilon Q$ (con $P$ che rappresenta la legge target pulita e $Q$ una legge contaminante sconosciuta), mentre il punto di test rimane estratto da $P$.

Una risposta comune da parte della pratica è troncare i punti di calibrazione con punteggi di anomalia elevati prima di calcolare il quantile conformale. Sebbene intuitivo, l'articolo sostiene che questa procedura non "pulisce" semplicemente i dati. Al contrario, trasforma la legge di calibrazione in una legge trattenuta $R$. La validità dell'insieme di previsione risultante per il target pulito $P$ diventa un problema di trasferimento da $R$ a $P$. La domanda centrale è: In quali condizioni il troncamento migliora effettivamente la copertura del target pulito e quando fallisce o addirittura peggiora le prestazioni?

Metodologia

Il Framework della Legge Trattenuta

Gli autori riformulano il troncamento a soglia fissa non come purificazione dei dati ma come condizionamento. Dato un punteggio di anomalia $S$ e una soglia $t^\star$, i punti di calibrazione sono trattenuti se $S(Z) \le t^\star$. L'insieme di calibrazione trattenuto risultante è i.i.d. dalla legge trattenuta:
$$R = P^\star(\cdot \mid S \le t^\star)$$
Questa legge è generalmente né la legge contaminata originale $P^\star$ né la legge pulita $P$.

Diagnosi Teoriche

L'articolo deriva un'identità esatta per campioni finiti per la copertura marginale pulita, che dipende dalla distribuzione del conteggio trattenuto e dalla relazione tra la legge trattenuta $R$ e la legge pulita $P$.

Per rendere ciò trattabile, gli autori introducono un divario di trasferimento scalare $d_{R \to P, +} = \sup_t (F^A_R(t) - F^A_P(t))_+$, dove $F^A$ denota la funzione di distribuzione cumulativa (CDF) del punteggio di non conformità $A$. La garanzia di copertura è limitata da:
$$\text{Copertura} \ge [1 - \alpha - d_{R \to P, +}]_+$$

Utilizzando la decomposizione in miscela di $R$, gli autori derivano un limite superiore componente per componente su questo divario:
$$d_{R \to P, +} \le (1 - \tilde{\epsilon}^\star) \Delta^A_{\text{trim}, +} + \tilde{\epsilon}^\star D_{Q, +}$$
dove:

1. $\Delta^A_{\text{trim}, +}$ (Costo lato pulito): La distorsione della distribuzione del punteggio di non conformità pulito causata dal condizionamento sulla ritenzione. L'articolo dimostra che questo è esattamente una covarianza unilaterale tra l'indicatore di ritenzione e il punteggio di non conformità sotto la legge pulita $P$.
2. $\tilde{\epsilon}^\star$ (Coefficiente di miscela trattenuto): Il livello di contaminazione effettivo nell'insieme trattenuto, dato da $\tilde{\epsilon}^\star = \frac{\epsilon p_d}{(1-\epsilon)p_c + \epsilon p_d}$, dove $p_c$ e $p_d$ sono le probabilità di ritenzione per i punti puliti e sporchi, rispettivamente.
3. $D_{Q, +}$ (Discrepanza sporca trattenuta): La discrepanza tra il componente sporco trattenuto e il target pulito.

Principali Intuizioni Teoriche

• Identità di Covarianza: Il costo del troncamento dei dati puliti è guidato dalla dipendenza tra il punteggio di anomalia $S$ e il punteggio di non conformità $A$ sotto $P$. Se $S$ e $A$ sono indipendenti sotto $P$ (ad esempio, punteggi basati solo sulle covariate nella regressione omoschedastica), il costo lato pulito è zero.
• Dicotomia di Separazione a Livello di Coefficiente: Il troncamento riduce la contaminazione solo se il punteggio di anomalia separa i punti puliti e sporchi ($p_d \ll p_c$). Se $p_d \approx p_c$, allora $\tilde{\epsilon}^\star \approx \epsilon$, e il troncamento non può ridurre il coefficiente di miscela. In questo regime "senza separazione", il troncamento può peggiorare rigorosamente la copertura introducendo distorsione lato pulito senza ridurre la contaminazione.
• Affilatura per Campioni Finiti: Il limite inferiore scalare è dimostrato essere ottimo minimax all'interno della classe di problemi definiti esclusivamente dal vincolo di discrepanza scalare. Nessun limite inferiore uniforme che utilizzi solo il divario scalare può superare questo valore.

Modelli di Certificazione

Poiché le quantità della popolazione sono sconosciute nella pratica, l'articolo fornisce modelli di certificazione per garanzie numeriche:

1. Audit Componente per Componente: Limitare gli ingredienti ($p_c, p_d, \Delta^A_{\text{trim}, +}, D_{Q, +}$) utilizzando informazioni indipendenti (ad esempio, campioni di audit puliti o conoscenza del dominio).
2. Audit Diretto: Utilizzare un campione di audit pulito indipendente per certificare l'insieme selezionato finale tramite inversione binomiale esatta o limiti di Kolmogorov-Smirnov.
3. Selezione sullo Stesso Campione: Viene fornito un limite empirico-CDF su una griglia finita per i casi in cui la soglia è selezionata dallo stesso campione di calibrazione, comportando una penalità di $\sqrt{\log K / N}$.

Risultati Sperimentali

Gli autori valutano la teoria su un compito di regressione eteroschedastica con contaminazione geometrica delle covariate.

• Regime Score-Visibile: Quando il punteggio di anomalia (norma del punteggio di Stein) separa efficacemente le distribuzioni delle covariate dei dati puliti e sporchi, il troncamento migliora significativamente la copertura. Il miglioramento è guidato da una riduzione del coefficiente di miscela trattenuto $\tilde{\epsilon}^\star$ (che scende vicino allo zero) e da un costo lato pulito gestibile.
• Regime Senza Separazione: Quando i punti puliti e sporchi hanno probabilità di ritenzione simili, il troncamento non riesce a ridurre $\tilde{\epsilon}^\star$. La copertura rimane bassa, confermando che il troncamento non può aiutare senza separazione.
• Contaminazione Solo sull'Etichetta: Quando solo la risposta $Y$ è corrotta (e $X$ è pulito), il troncamento basato sulle covariate non ha leva. Il metodo identifica correttamente che il troncamento non può migliorare la copertura in questo contesto.
• Dimensione del Campione Grande: Aumentare la dimensione della calibrazione $m$ riduce l'inerzia per campioni finiti ma non elimina il deficit di copertura a livello di popolazione causato dal divario di trasferimento della legge trattenuta. La copertura limite è governata dalle diagnosi di popolazione, non dalla dimensione del campione.

Significato e Affermazioni

L'articolo afferma di fornire una diagnosi a livello di popolazione che spiega quando e perché il troncamento aiuta, andando oltre la convinzione euristica che "rimuovere gli outlier aiuti sempre".

1. Riformulazione del Troncamento: Stabilisce che il troncamento è una trasformazione della legge di calibrazione, non un ripristino della legge originale. La validità è esatta solo per la legge trattenuta, richiedendo un trasferimento al target pulito.
2. Principi di Progettazione: Formalizza che un buon punteggio di anomalia per il troncamento deve essere neutrale rispetto al punteggio sulla popolazione pulita (minimizzando la covarianza con il punteggio di non conformità) pur essendo separativo tra le popolazioni pulite e sporche.
3. Limitazioni: Dimostra che il troncamento non può ridurre la contaminazione attraverso il coefficiente di miscela se il punteggio non riesce a separare le probabilità di ritenzione. In tali casi, il troncamento può degradare rigorosamente le prestazioni.
4. Sicurezza Operativa: L'articolo distingue tra diagnosi di popolazione (spiegazioni meccanicistiche che utilizzano leggi di simulazione note) e certificati numerici (garanzie che richiedono dati di audit indipendenti), assicurando che i praticanti non confondano i limiti teorici con certificati guidati dai dati senza un'adeguata audit.

Il lavoro conclude che il troncamento non è una soluzione universale per la contaminazione; la sua efficacia è rigorosamente governata dall'interazione tra la capacità del punteggio di anomalia di separare la contaminazione e la sua neutralità verso la distribuzione del target pulito.