Conformal Prediction Sets for Instance Segmentation

Sintesi Tecnica: Insiemi di Predizione Conformale per la Segmentazione di Istanze

Definizione del Problema
Gli attuali modelli di segmentazione di istanze ottengono prestazioni medie elevate ma mancano di una quantificazione rigorosa dell'incertezza. I loro output, come i logit o i punteggi di confidenza, sono spesso non calibrati e non offrono alcuna garanzia che una maschera predetta sia vicina alla verità fondamentale (ground truth). Le metriche di incertezza esistenti (ad esempio, le probabilità dei bordi) sono frequentemente non calibrate e difficili da interpretare. Inoltre, recenti approcci di predizione conformale per la segmentazione sono limitati alla modifica di una singola maschera predetta dal modello (ad esempio, tramite dilatazione o espansione dei bordi). Questi metodi catturano l'incertezza locale dei bordi, ma non riescono ad affrontare l'incertezza strutturale — ovvero l'ambiguità riguardante se regioni adiacenti debbano essere trattate come un singolo oggetto o suddivise in più oggetti. Questa limitazione è critica nelle applicazioni del mondo reale dove potrebbe non esistere un singolo set di parametri "migliore" per tutte le query.

Metodologia
Gli autori propongono un algoritmo di predizione conformale che genera insiemi di confidenza adattivi di predizioni di istanza per un'immagine e una query di coordinate di pixel. Il metodo opera sotto il seguente framework:

1. Setting: L'input consiste in un'immagine $I$ e una query di punto $(z_1, z_2)$. L'obiettivo è predire una maschera binaria $Y$ per l'istanza dell'oggetto che contiene la query. Il metodo utilizza un modello di segmentazione di istanze $f$ che accetta un parametro regolabile $T$ (ad esempio, soglie watershed, soglie logit o indici di maschera) per produrre predizioni diverse $\hat{Y} = f(X, T)$.
2. Calibrazione: Utilizzando un dataset di calibrazione di $n$ coppie immagine-query con maschere di verità fondamentale, l'algoritmo valuta l'Intersezione su Unione (IoU) delle predizioni generate da una griglia di $k$ valori di parametro $\{t_1, \dots, t_k\}$.
3. Costruzione dell'Insieme (Set Cover): Per una soglia di IoU target $\tau$ e un tasso di errore $\alpha$, l'algoritmo identifica un sottoinsieme minimo di indici di parametro $J_{\alpha, \tau}$ tale che l'unione delle predizioni di successo (quelle con IoU $> \tau$) copra almeno $(1-\alpha)n$ esempi di calibrazione. Questo passaggio è formulato come un problema di Set Cover, risolto tramite un algoritmo greedy seguito da un raffinamento brute-force per minimizzare la dimensione dell'insieme.
4. Predizione: Per un nuovo input di test, l'algoritmo genera predizioni utilizzando il sottoinsieme di parametri selezionato $J_{\alpha, \tau}$, formando l'insieme di confidenza iniziale $C_{\alpha, \tau}(X_{test})$.
5. Raffinamento Adattivo (Rimozione dei Duplicati): Per evitare ridondanze, l'algoritmo rimuove le maschere quasi-duplicati (definiti da una seconda soglia di IoU $\eta$) utilizzando un approccio di Dominating Set. Ciò produce un insieme di confidenza la cui dimensione è adattiva e varia in base alla difficoltà della query.
6. Garanzie: Il metodo fornisce garanzie asintotiche che, con probabilità $\ge 1-\alpha$, l'insieme di confidenza finale contiene almeno una maschera con IoU superiore a una soglia ricalibrata $\tilde{\theta}$. È fornita anche una versione a campione finito utilizzando lo splitting del campione e il Conformal Risk Control (CRC).

Contributi Chiave

1. Nuova Formulazione: Il documento introduce la prima formulazione di predizione conformale per la segmentazione di istanze che cattura l'incertezza strutturale. A differenza dei metodi precedenti che perturbano una singola maschera, questo approccio costruisce insiemi di predizioni basati su molteplici configurazioni del modello.
2. Fattibilità in Contesti Non-Monotoni: Il metodo non richiede una funzione di perdita monotona (un requisito per il Conformal Risk Control standard e i framework Learn Then Test). Ciò consente l'uso di funzioni di perdita basate su IoU, che sono intrinsecamente non monotone rispetto ai parametri di segmentazione.
3. Insiemi di Confidenza Adattivi: L'algoritmo produce insiemi di predizione che variano in dimensione in base alla difficoltà della query, rimuovendo i duplicati per fornire una rappresentazione dell'incertezza più informativa senza sovraccaricare l'utente.
4. Garanzie Teoriche: Il lavoro fornisce garanzie teoriche sia asintotiche che a campione finito per la copertura, assicurando che almeno una predizione nell'insieme raggiunga un'alta IoU con la verità fondamentale.

Risultati Sperimentali
L'algoritmo è stato valutato su tre compiti distinti: delineazione di campi agricoli, segmentazione cellulare e rilevamento di veicoli.

• Copertura: Il metodo ha ottenuto una copertura empirica vicina al target $(1-\alpha)$, superando significativamente i baseline. Ad esempio, nel rilevamento di veicoli, la copertura è migliorata dal 66,1% (baseline del miglior parametro ingenuo) all'84,3%.
• Confronto con i Baseline: Il baseline del "miglior parametro ingenuo" (selezione di un singolo parametro globale) e il baseline della "dilatazione morfologica" (espansione di una singola maschera) non sono riusciti a catturare l'ambiguità strutturale. Il metodo proposto ha recuperato con successo i casi in cui il baseline aveva sovra-segmentato o sotto-segmentato gli oggetti.
• Adattività: La dimensione degli insiemi di predizione si è adattata alla difficoltà della query. In scenari ambigui (ad esempio, bordi dei campi), gli insiemi si sono espansi per includere più maschere plausibili (fino a 5), mentre in casi chiari (ad esempio, cellule distinte), gli insiemi si sono ridotti a una o due unità.
• Soglie: La soglia di IoU ricalibrata $\tilde{\theta}$ è rimasta vicina o superiore al $\tau$ originale, indicando che la rimozione dei duplicati non ha degradato significativamente la garanzia di copertura.

Significatività e Rivendicazioni
Gli autori affermano che questo lavoro è il primo a catturare l'incertezza strutturale nella segmentazione di istanze costruendo insiemi di confidenza di diverse predizioni di segmentazione. La significatività risiede nello spostamento del paradigma dalla fornitura di una singola predizione "migliore" (che potrebbe essere strutturalmente errata) alla fornitura di un insieme provabile di ipotesi diverse. Questo approccio riconosce che in immagini ambigue (ad esempio, campi a basso contrasto, cellule sovrapposte), una singola maschera è spesso insufficiente. Il metodo formalizza l'affidabilità dei modelli di segmentazione quantificando esplicitamente la probabilità che il vero oggetto sia rappresentato all'interno dell'insieme.

Il documento nota con modestia che la predizione conforme non può superare i limiti intrinseci del modello di segmentazione sottostante; se il modello base non può raggiungere una certa IoU, l'insieme di confidenza non può garantirla. Inoltre, il metodo si basa sull'esistenza di un parametro regolabile che induca una diversità significativa. Gli autori identificano come lavori futuri lo sviluppo di strategie di addestramento che incentivino esplicitamente la diversità delle maschere e la creazione di approssimazioni scalabili per i passaggi di ottimizzazione combinatoria (set cover e rimozione dei duplicati) per gestire spazi di parametri più ampi.