Decoupled Conformal Optimisation: Efficient Prediction Sets via Independent Tuning and Calibration

Riepilogo Tecnico: Ottimizzazione Conformale Disaccoppiata

Enunciato del Problema
La previsione conformale (CP) moderna mira a costruire insiemi di previsione che siano sia validi (fornendo una copertura marginale su campioni finiti) sia efficienti (con dimensioni degli insiemi ridotte o intervalli stretti). Nell'ottimizzazione conformale bayesiana, i praticanti spesso cercano di migliorare l'efficienza esplorando scelte strutturali, come punteggi di non conformità, iperparametri a priori o architetture di modello.

Sorge una tensione metodologica critica su come i dati vengono allocati per questo processo. Gli approcci standard "accoppiati" (ad esempio, Controllo del Rischio Conformale (CRC) e metodi basati su Quadratura Bayesiana (BQ)) utilizzano la stessa suddivisione di calibrazione tenuta da parte sia per cercare una struttura/soglia efficiente sia per certificare il rischio o la copertura finale. Sebbene tale accoppiamento sia necessario per garanzie di controllo del rischio ad alta probabilità (stile PAC), gli autori sostengono che non sia necessario quando l'obiettivo è la copertura conformale marginale standard su campioni finiti. Riutilizzare i dati di calibrazione sia per la ricerca sia per la certificazione rompe l'argomento di scambiabilità richiesto per le garanzie conformali standard a suddivisione, portando spesso a soglie eccessivamente conservative per mantenere la validità.

Metodologia: Ottimizzazione Conformale Disaccoppiata (DCO)
Il documento propone l'Ottimizzazione Conformale Disaccoppiata (DCO), in particolare il protocollo DCO-Warmstart, che adotta un principio di progettazione "addestra-ottimizza-calibra". Questo approccio separa esplicitamente i ruoli dei dati:

1. Suddivisione di Addestramento ($D_{train}$): Utilizzata per adattare il modello bayesiano e definire la distribuzione predittiva a posteriori.
2. Suddivisione di Ottimizzazione ($D_{tune}$): Utilizzata esclusivamente per la selezione strutturale orientata all'efficienza. L'algoritmo cerca all'interno di una classe candidata di strutture $\Phi$ (ad esempio, funzioni di punteggio, prior, architetture) e soglie per minimizzare la dimensione attesa dell'insieme di previsione, soggetto a un vincolo di mancata copertura empirico. Crucialmente, la soglia trovata qui ($\hat{\lambda}_{tune}$) è utilizzata solo per la classificazione dei candidati ed è scartata prima della distribuzione.
3. Suddivisione di Calibrazione ($D_{cal}$): Utilizzata esclusivamente per calcolare la quantile conformale finale. Una volta selezionata una singola struttura $\hat{\phi}_{tune}$ da $D_{tune}$, la soglia finale è calcolata come la quantile empirica $(1-\alpha)$ dei punteggi di non conformità calcolati sulla indipendente $D_{cal}$.

Questa separazione ripristina la logica standard di scambiabilità delle suddivisioni conformali. Poiché la struttura finale è fissata indipendentemente da $D_{cal}$, la dimostrazione standard per la copertura marginale su campioni finiti si applica direttamente senza richiedere un parametro di confidenza ($\delta$) o correzioni per test multipli.

Contributi Chiave

• Principio di Progettazione: La formulazione di DCO-Warmstart come pipeline disaccoppiata in cui le scelte strutturali sono selezionate su una suddivisione di ottimizzazione indipendente, e la quantile conformale finale è calcolata su una nuova suddivisione di calibrazione.
• Garanzia Teorica: Dimostrazione che DCO-Warmstart eredita la garanzia standard di copertura marginale su campioni finiti per qualsiasi classe candidata $\Phi$ (finita o infinita), a condizione che la struttura sia fissata indipendentemente dai dati di calibrazione. Non è richiesto alcun parametro di confidenza $\delta$.
• Confronto Teorico: Una chiarificazione della distinzione tra DCO-Warmstart e metodi accoppiati (CRC/BQ). Mentre DCO mira alla copertura marginale e CRC/BQ mirano al controllo del rischio ad alta probabilità, il documento mostra che, sotto ipotesi di consistenza uniforme sull'estimatore del rischio, entrambi gli approcci convergono verso la stessa soglia di popolazione $\lambda^*$.
• Complessità Campionale: Una disuguaglianza oracolare per la fase di ottimizzazione, che stabilisce i requisiti sulla dimensione del campione per la suddivisione di ottimizzazione al fine di selezionare in modo affidabile una struttura efficiente da una classe candidata finita prima della fase di calibrazione indipendente.

Risultati Sperimentali
Gli autori valutano DCO-Warmstart su benchmark di regressione (Diabete, Abitazioni in California, Calcestruzzo) e classificazione (ImageNet-A, CIFAR-100), confrontandolo con baseline di tipo BQ/CRC e con una baseline diagnostica "DirectTune" (che ottimizza su $D_{tune}$ ma manca di ricalibrazione).

• Copertura: DCO-Warmstart segue da vicino il livello di copertura nominale (ad esempio, 0.801 contro un target di 0.8 su ImageNet-A), soddisfacendo la garanzia di copertura marginale.
• Efficienza: DCO-Warmstart produce costantemente insiemi di previsione più piccoli o intervalli più stretti rispetto alle baseline accoppiate BQ/CRC, che tendono a essere più conservative.
  • ImageNet-A: Dimensione media dell'insieme ridotta da 26.52 (BQ) a 25.26; dimensione dell'insieme al 95° percentile ridotta da 58.95 a 53.73.
  • Diabete: Larghezza media dell'intervallo ridotta da 2.098 (BQ) a 1.914.
• Studi di Ablazione: Esperimenti sull'allocazione delle suddivisioni (ad esempio, rapporto ottimizzazione/calibrazione 33/67) suggeriscono che la suddivisione di ottimizzazione dovrebbe essere sufficientemente grande per stabilizzare la selezione dei candidati, mentre i dati rimanenti dovrebbero essere allocati alla calibrazione per minimizzare la variabilità della quantile.

Significato e Affermazioni
Il documento afferma che, per il specifico obiettivo della copertura conformale marginale su campioni finiti, accoppiare l'ottimizzazione e la calibrazione sugli stessi dati è sufficiente ma non necessario. Disaccoppiando questi passaggi, DCO-Warmstart consente una ricerca esplicita dell'efficienza (ottimizzando struttura e soglie) mantenendo al contempo le rigorose garanzie di validità senza distribuzione della previsione conformale a suddivisione standard.

Gli autori sottolineano che DCO-Warmstart non è un sostituto dei metodi CRC/BQ quando l'obiettivo scientifico è il controllo del rischio ad alta probabilità (garantire che il vincolo di rischio valga con confidenza $1-\delta$ sul campione di calibrazione). Tuttavia, quando l'obiettivo è la copertura marginale standard, DCO-Warmstart offre un'alternativa teoricamente solida ed empiricamente più efficiente, evitando il conservatorismo introdotto dall'accoppiamento dei processi di ricerca e certificazione su una singola suddivisione di dati.