Reliable Conformal Prediction for Ordinal Classification Using the Ranked Probability Score

Sintesi Tecnica: Conformal Prediction Affidabile per la Classificazione Ordinale Utilizzando il Ranked Probability Score

Definizione del Problema

La classificazione ordinale (OC) comporta la previsione di etichette discrete con un ordine lineare naturale (ad es., gravità di una malattia, fasce d'età, valutazioni del credito). Sebbene siano stati fatti progressi significativi nella predizione puntuale per la OC, l'quantificazione dell'incertezza (UQ) rimane poco sviluppata, in particolare in domini ad alto rischio come la medicina e la finanza. La Conformal Prediction (CP) standard offre insiemi di predizione distribuiti senza ipotesi (distribution-free) con garanzie di copertura marginale, ma affronta sfide specifiche nel contesto ordinale:

1. Contiguità: Gli insiemi di predizione devono essere intervalli contigui (ad es., {bambino, adolescente, adulto}) per rispettare l'ordine delle etichette. Insiemi non contigui (ad es., {bambino, anziano}) sono semanticamente irragionevoli.
2. Rischio Ordinale: Quando la vera etichetta cade al di fuori dell'insieme di predizione (miscoverage), la gravità dell'errore dipende dalla distanza ordinale. Un metodo che minimizza la dimensione dell'insieme (efficienza) potrebbe produrre insiemi che, quando falliscono, mancano la vera etichetta per un margine ampio, portando a una stima catastrofica del rischio.
3. Assunzioni di Distribuzione: Gli approoli esistenti spesso si affidano a procedure di ricerca greedy o impongono l'unimodalità (un singolo picco nella distribuzione predittiva) per garantire la contiguità. Queste assunzioni potrebbero non valere per dati complessi (ad es., distribuzioni bimodali derivanti dal disaccordo tra esperti) e possono portare a stime di incertezza distorte.

Gli approcci attuali faticano a bilanciare l'efficienza dell'insieme con la minimizzazione dell'entità del miscoverage ordinale senza imporre forti bias strutturali sul modello predittivo sottostante.

Metodologia

Gli autori propongono un metodo CP agnostico rispetto al modello per la classificazione ordinale basato sul Ranked Probability Score (RPS).

Meccanismo Centrale:

• Punteggio di Nonconformità: Invece di utilizzare punteggi centrati sulla moda (come il Least Ambiguous Set-valued Classifier o l'Adaptive Prediction Sets), il metodo utilizza l'RPS come misura di non conformità. L'RPS è una regola di punteggio strettamente propria definita su distribuzioni cumulative predittive:
  $$\text{RPS}(X, Y) = \frac{1}{K-1} \sum_{k=1}^{K-1} (F_X(k) - \mathbb{1}\{Y \leq y_k\})^2$$
  dove $F_X(k)$ è la funzione di distribuzione cumulata (CDF) predetta e $K$ è il numero di classi.
• Costruzione dell'Insieme di Predizione: Per un'istanza di test $X_{n+1}$ e un tasso di miscoverage $\alpha$, l'insieme di predizione è definito come:
  $$C_\alpha(X_{n+1}) = \{y \in \mathcal{Y} : \text{RPS}(X_{n+1}, y) \leq \hat{q}_{1-\alpha} \}$$
  dove $\hat{q}_{1-\alpha}$ è il quantile empirico $(1-\alpha)$ dei punteggi RPS calcolati su un set di calibrazione.

Proprietà Teoriche:
Il documento stabilisce tre proprietà chiave degli insiemi conformi basati su RPS:

1. Copertura Marginale: Il metodo soddisfa la standard garanzia di copertura marginale ($P(Y \in C(X)) \geq 1-\alpha$) sotto l'assunzione di scambiabilità, indipendentemente dal modello predittivo sottostante.
2. Contiguità e Centratura della Mediana: A differenza degli approcci basati sulla moda, gli insiemi basati su RPS sono contigui per costruzione. La funzione di punteggio RPS è a forma di V attorno alla mediana della distribuzione predittiva. Di conseguenza, gli insiemi di predizione risultanti sono intervalli contigui centrati sulla mediana, non sulla moda. Ciò è valido anche per distribuzioni multimodali dove la moda e la mediana differiscono.
3. Ottimalità del Rischio Ordinale: Sotto un setting di copertura condizionale oracle (dove la vera distribuzione condizionale è nota), gli insiemi basati su RPS minimizzano la distanza $L_1$ attesa (rischio ordinale) tra la vera etichetta e l'insieme di predizione. Il metodo ottimizza la riduzione del rischio ordinale piuttosto che la sola cardinalità dell'insieme.

Efficienza Computazionale:
Il metodo è computazionalmente efficiente. Sebbene il calcolo ingenuo dell'RPS per tutti i $K$ etichette richieda $O(K^2)$, gli autori dimostrano una relazione di ricorrenza che permette di calcolare tutti i punteggi in tempo lineare $O(K)$. La complessità complessiva scala linearmente sia con il numero di punti di calibrazione che con il numero di etichette.

Contributi Chiave

1. Nuova Misura di Non Conformità: Introduzione del Ranked Probability Score (RPS) come misura di non conformità strettamente propria e agnostica rispetto al modello, specificamente per la conformal prediction ordinale.
2. Garanzie Teoriche: Dimostrazione che gli insiemi basati su RPS soddisfano la copertura marginale, sono annidati rispetto ad $\alpha$ e sono intrinsecamente contigui e centrati sulla mediana senza richiedere assunzioni di unimodalità.
3. Ottimizzazione del Rischio: Dimostrazione che gli insiemi basati su RPS ottimizzano direttamente il rischio ordinale (errore $L_1$ basato sull'insieme) sotto copertura condizionale oracle, contrastando con i metodi centrati sulla moda che danno priorità all'efficienza dell'insieme.
4. Efficienza: Un algoritmo di implementazione a tempo lineare che evita le procedure di ricerca greedy o di ricerca binaria richieste dai metodi di CP ordinale esistenti.
5. Validazione Empirica: Valutazione completa su molteplici dataset di immagini ordinali (BACH, RetinaMNIST, FGNet) e dataset tabulari, confrontando il metodo con baseline come min-CPS, COPOC (LAC/APS) e OCDF.

Risultati Sperimentali

Gli autori hanno valutato il metodo su molteplici dataset utilizzando metriche che catturano sia l'efficienza che il rischio ordinale:

• Entità del Miscoverage: Misurato tramite Mean Absolute Miscoverage Magnitude (MAMM) e Worst-Case Absolute Miscoverage Magnitude (WAMM). Gli insiemi basati su RPS hanno costantemente ottenuto valori inferiori di MAMM e WAMM rispetto ai metodi centrati sulla moda (min-CPS, COPOCL, COPOCA), indicando che, quando si verificano errori, la vera etichetta è più vicina all'insieme di predizione.
• Trade-off Efficienza vs Rischio: Misurato tramite l'Average Interval Score Loss (AISL), che penalizza sia gli intervalli ampi che le grandi distanze di miscoverage. Gli insiemi basati su RPS hanno ottenuto un equilibrio favorevole, spesso superando le baseline in termini di AISL.
• Contiguità: Tutti gli insiemi basati su RPS erano contigui (CV = 0), mentre le baseline non ordinali (LAC, APS) violavano frequentemente la contiguità.
• Robustezza: Nei casi con distribuzioni predittive multimodali (ad es., opinioni bimodali degli esperti), l'RPS ha mantenuto prestazioni robuste, mentre i metodi centrati sulla moda tendevano a sottostimare il rischio ordinale concentrandosi sul singolo picco di massima probabilità.

Significato e Rivendicazioni

Il documento sostiene che la conformal prediction basata su RPS fornisce una soluzione robusta e versatile per l'incertezza ordinale. Il suo significato primario risiede nel:

• Rappresentazione Fedele dell'Incertezza: Essendo centrati sulla mediana e contigui per design, riflettono accuratamente la piena struttura ordinale e i rischi associati, particolarmente in scenari con distribuzioni skewed o multimodali dove gli approcci basati sulla moda falliscono.
• Applicabilità ad Alto Rischio: Il metodo minimizza la gravità del miscoverage, un requisito critico in domini come la diagnosi medica e la valutazione del rischio finanziario dove il costo di un errore è proporzionale alla sua distanza ordinale.
• Praticità: Offre un framework computazionalmente efficiente e agnostico rispetto al modello che non dipende da vincoli architettonici specifici (come l'unimodalità) o da costose procedure di ricerca, rendendolo applicabile a qualsiasi predittore probabilistico sottostante.

Gli autori concludono che, sebbene gli insiemi basati su RPS possano non sempre produrre gli insiemi di predizione più piccoli possibili (massimizzando l'efficienza), essi offrono un equilibrio superiore tra ampiezza dell'intervallo e l'entità del miscoverage ordinale, rendendoli una scelta affidabile per compiti di predizione ordinale del mondo reale. Il lavoro futuro suggerito include la decomposizione dell'incertezza in componenti epistemiche ed aleatorie all'interno di questo framework.