Riassunto Tecnico: Conformal C2ST

Problema

Il paper affronta il problema del test a due campioni (two-sample testing problem), un compito fondamentale nella statistica e nel machine learning volto a determinare se due insiemi di campioni, estratti dalle distribuzioni sottostanti $p$ e $q$, siano identicamente distribuiti ($p=q$). Un'applicazione primaria è la valutazione dei modelli generativi e dei modelli di Neural Posterior Estimation (NPE), dove $p$ rappresenta il vero processo generatore di dati (o la vera distribuzione a posteriori) e $q$ è un'approssimazione appresa.

L'approccio standard, il Classifier Two-Sample Test (C2ST), addestra un classificatore per distinguere tra i campioni di $p$ e $q$. Se il classificatore raggiunge un'elevata accuratezza, le distribuzioni sono considerate diverse. Tuttavia, il paper identifica un limite critico: l'affidabilità e la potenza del C2ST dipendono dalla disponibilità di un classificatore vicino all'ottimo di Bayes. Nella pratica, i classificatori sono spesso deboli, distorti (biased), in overfitting o scarsamente calibrati a causa di dati limitati o capacità del modello ridotta. Ciò crea un'ambiguità: se un modello "supera" un C2ST, non è chiaro se le distribuzioni siano realmente identiche o se il classificatore semplicemente manchi della potenza necessaria per rilevare la differenza. Le garanzie teoriche esistenti per il C2ST spesso assumono l'accesso a un classificatore ottimale o asintoticamente consistente, una condizione raramente soddisfatta in scenari reali come l'NPE.

Metodologia

Gli autori propongono il Conformal C2ST, un framework che converte i punteggi di qualsiasi classificatore addestrato — indipendentemente dalla sua debolezza o distorsione — in $p$-value esatti per campioni finiti. Il metodo si basa sul framework di previsione conforme di Hu & Lei (2024), ma lo adatta al regime specifico di valutazione di modelli generativi accessibili in cui le distribuzioni marginali possono essere uguali.

Il meccanismo centrale prevede la calibrazione conforme piuttosto che la sogliatura rigida:

1. Scoring: Un classificatore $f$ viene addestrato per distinguere $p$ da $q$, producendo un punteggio $s(x)$ (ad esempio, log-odds) per ogni input $x$.
2. $p$-value Conforme: Per un punto di test $\tilde{X} \sim q$, un $p$-value conforme $U$ viene calcolato confrontando il suo punteggio con un insieme di punteggi di calibrazione estratti da $p$. Il $p$-value rappresenta il rango relativo del punteggio del punto di test rispetto al set di calibrazione.
3. Aggregazione: Per testare l'ipotesi globale $H_0: p=q$, questa procedura viene ripetuta per molteplici punti di test indipendenti da $q$. La collezione risultante di $p$-value viene aggregata (ad esempio, utilizzando un test di Kolmogorov–Smirnov) per valutare la deviazione dall'uniformità.

Il paper introduce due varianti specifiche:

• Conformal Uniform Test: Utilizza un nuovo set di calibrazione per ogni punto di test. Questo offre una validità esatta per campioni finiti e massimizza la potenza, ma richiede un campionamento aggiuntivo da $p$.
• Conformal Multiple Test: Utilizza un unico set di calibrazione condiviso per tutti i punti di test. Questo si adatta al budget computazionale del C2ST standard (un campione da $p$ e uno da $q$ per ogni coppia) pur mantenendo la robustezza.

Contributi Chiave

1. Validità Teorica: Gli autori stabiliscono che il Conformal C2ST fornisce un controllo esatto dell'errore di Tipo I per campioni finiti sotto l'ipotesi nulla ($p=q$) per qualsiasi funzione di punteggio deterministica. Questa validità è indipendente dalla qualità del classificatore, scindendo efficacemente il controllo dell'errore dalla capacità discriminativa.
2. Robustezza ai Classificatori Deboli: Il paper dimostra che il test mantiene una potenza non banale sotto l'ipotesi alternativa ($p \neq q$) anche quando il classificatore è debole o mal specificato. I risultati teorici mostrano che la potenza degrada gradualmente (come $O(\epsilon^{2/3})$) con l'errore di stima del rapporto di densità, a condizione che il classificatore preservi un segnale di ranking ragionevole (misurato tramite AUC).
3. Ranking rispetto all'Accuratezza: La metodologia sposta il focus dall'accuratezza della classificazione (soglia a 0.5) alla qualità del ranking. Il test si basa sull'ordinamento relativo dei punteggi (AUC), che è più robusto alla calibrazione errata e ai confini decisionali deboli rispetto alle stime assolute di probabilità.
4. Varianti Pratiche: L'introduzione del test "Multiple" permette un test a due campioni robusto senza aumentare il budget di simulazione rispetto al C2ST standard, rendendolo fattibile per simulatori costosi.

Risultati Sperimentali

Gli autori valutano il Conformal C2ST contro diversi baseline, tra cui il C2ST standard, la Simulation-Based Calibration (SBC), il Test of Accuracy with Random Points (TARP), la Discriminative Calibration (DC) e i test basati su kernel (MMDFuse) attraverso diversi benchmark:

• Perturbazioni Controllate: In esperimenti con posteri gaussiani perturbati (spostamenti di media, scalatura della covarianza, code pesanti), le varianti del Conformal C2ST hanno superato costantemente il C2ST standard e altri baseline nel rilevare discrepanze sottili. Notevolmente, il DC ha fallito nel controllare l'errore di Tipo I in questi setting.
• Degradazione del Classificatore: Gli autori hanno degradato sistematicamente la qualità del classificatore interpolando i parametri addestrati con un'inizializzazione casuale. I risultati hanno mostrato che la potenza del C2ST standard crollava rapidamente man mano che il classificatore si indeboliva. Al contrario, il Conformal C2ST ha mantenuto un'alta potenza, dimostrando resilienza a classificatori distorti o scarsamente addestrati.
• Immagini ad Alta Dimensionalità: Su CIFAR-10 con varie corruzioni (blur, swirl, rumore), il Conformal C2ST ha raggiunto prestazioni allo stato dell'arte in termini di potenza e ha mantenuto la robustezza quando il classificatore sottostante era debole.
• Problema Inverso Scientifico Reale: In un benchmark di lenti gravitazionali, il Conformal C2ST ha rilevato bias a livelli inferiori rispetto ai competitor ed è rimasto valido sotto degradazione del classificatore, mentre altri metodi (come il DC) risultavano invalidi a causa di un errore di Tipo I gonfiato.

Significato e Rivendicazioni

Il paper sostiene che il Conformal C2ST stabilisce uno strumento diagnostico pratico e teoricamente fondato per la validazione dei modelli. Il suo significato primario risiede nella risoluzione dell'ambiguità del "classificatore debole": un modello che supera il test Conformal C2ST è un indicatore più affidabile di uguaglianza distributiva rispetto a un modello che supera un C2ST standard, poiché la validità del primo non dipende dal fatto che il classificatore sia vicino all'ottimo.

Gli autori sottolineano che un classificatore vicino all'ottimo di Bayes non è strettamente richiesto per una validazione affidabile del modello; un ranking debole ma informativo è sufficiente. Ciò rende il metodo particolarmente prezioso per l'NPE e la valutazione di modelli generativi, dove ottenere classificatori perfetti è spesso impraticabile. Il lavoro è di portata modesta, concentrandosi sulla validazione della distribuzione a posteriori appresa $q$ rispetto alla vera distribuzione a posteriori $p$ (il setting $M$-closed), piuttosto che sul problema più ampio $M$-open di validare il simulatore stesso rispetto ai dati reali. Gli autori notano inoltre alcuni limiti, come la natura globale del test (non localizza i mismatch) e il costo computazionale della variante Uniform quando il campionamento da $p$ è costoso.