Fine-Grained Uncertainty Quantification via Collisions

Titolo: Quantificazione dell'Incertezza a Grana Fina tramite Collisioni

Autori: Jesse Friedbaum, Sudarshan Adiga, Ravi Tandon
Data: Marzo 2026

1. Il Problema

Con l'adozione crescente dei classificatori di Machine Learning in settori ad alto rischio (sanità, finanza, assunzioni), è fondamentale non solo prevedere la classe più probabile, ma anche quantificare l'incertezza associata a tale previsione.
L'articolo si concentra sull'incertezza aleatoria (aleatoric uncertainty), ovvero l'incertezza intrinseca ai dati che non può essere ridotta aumentando la conoscenza o i dati di addestramento (es. due pazienti con sintomi identici che soffrono di malattie diverse).
Le metriche esistenti, come il Tasso di Errore Bayesiano (BER) o l'entropia, offrono una visione d'insieme dell'incertezza del sistema ma mancano di granularità. Non riescono a specificare quali coppie di classi siano difficili da distinguere tra loro, limitando la capacità di prendere decisioni informate su specifici scenari di classificazione.

2. Metodologia Proposta

Gli autori propongono una nuova metrica chiamata Matrice di Collisione (Collision Matrix, $S$) e un metodo innovativo per stimarla e utilizzarla per ricostruire le distribuzioni di probabilità a posteriori.

A. La Matrice di Collisione ($S$)

• Definizione: Una collisione di classe si verifica quando lo stesso input $x$ viene osservato in classi diverse ($c \neq \tilde{c}$) in momenti diversi. La matrice $S$ è una matrice stocastica per righe di dimensione $K \times K$ (dove $K$ è il numero di classi).
• Elemento $S_{i,j}$: Rappresenta la probabilità che un vettore di caratteristiche, inizialmente osservato nella classe $i$, venga trovato nella classe $j$ se osservato nuovamente.
  $$S_{i,j} = \mathbb{E}_{x \sim D_i} [P(c = j | x)]$$
• Significato: Gli elementi fuori diagonale misurano la difficoltà intrinseca nel distinguere la classe $i$ dalla classe $j$. La matrice fornisce una mappa dettagliata delle sovrapposizioni tra le classi, andando oltre il BER che fornisce solo un singolo valore di errore.
• Relazione con il BER: La matrice può essere interpretata come la matrice di confusione attesa di un "Classificatore Bayesiano Probabilistico" (PBC). Il BER può essere derivato dalla traccia di $S$.

B. Stima della Matrice di Collisione

Stimare $S$ direttamente è difficile perché richiede le probabilità a posteriori $P(c|x)$, che non sono note nei dati reali (etichettati one-hot). Gli autori propongono un metodo in due fasi basato su proprietà matematiche uniche di $S$:

1. Stima della Matrice Gramiana delle Righe ($G$):

   • Si definisce $G = S S^T$.
   • Gli elementi di $G$ possono essere interpretati come la similarità attesa tra due punti campionati da distribuzioni diverse.
   • Viene addestrato un Modello Contrastivo a Coppie (Pair-Wise Contrastive Model), $V(x, \tilde{x})$, che prende in input due esempi e stima la probabilità che appartengano alla stessa classe.
   • $G$ viene stimato empiricamente calcolando la media delle uscite di $V$ su tutte le coppie di dati di training.

2. Recupero di $S$ da $G$:

   • Sotto ipotesi ragionevoli (distribuzione uniforme delle classi, non-negatività e dominanza diagonale stretta di $S$), gli autori dimostrano teoricamente (Teorema 1) che $S$ è univocamente determinato dalla sua matrice Gramiana $G$.
   • Viene risolto un problema di ottimizzazione per trovare la matrice stocastica $S$ che minimizza la differenza tra $S S^T$ e la $G$ stimata, garantendo che $S$ sia non-negativa e stocastica.

C. Stima delle Distribuzioni a Posteriori

Una volta stimata $S$, è possibile ricostruire la distribuzione di probabilità a posteriori $y(x)$ per un singolo input $x$:

1. Si calcola il vettore di similarità attesa $q(x)$, dove ogni elemento $q_i(x)$ è la similarità media tra $x$ e un campione della classe $i$ (usando ancora il modello contrastivo $V$).
2. Si risolve il sistema lineare:
   $$q(x) = S \cdot y(x) \implies y(x) = S^{-1} q(x)$$
   Questo permette di ottenere una stima delle probabilità per tutte le classi, quantificando l'incertezza aleatoria per ogni singolo input.

3. Contributi Chiave

1. Nuova Metrica (Collision Matrix): Introduzione di una metrica intuitiva e a grana fine per l'incertezza aleatoria che descrive le relazioni di confusione tra ogni coppia di classi, superando i limiti delle metriche scalarizzate come il BER.
2. Risultato Teorico Matematico: Dimostrazione che una matrice stocastica non negativa e a dominanza diagonale stretta è univocamente recuperabile dalla sua matrice Gramiana delle righe ($G = S S^T$).
3. Metodo di Stima Innovativo: Sviluppo di un algoritmo che evita la necessità di conoscere le probabilità a posteriori vere durante l'addestramento, utilizzando invece un modello contrastivo a coppie e tecniche di recupero matriciale.
4. Applicazioni Pratiche:
   • Consolidamento delle Classi: Identificare quali classi possono essere fuse per ridurre l'incertezza.
   • Label Smoothing Guidato dai Dati: Usare $S$ per creare etichette di training che penalizzano meno le confusioni tra classi simili.
   • Stima delle Probabilità a Posteriori: Un metodo robusto per stimare le distribuzioni di probabilità su dati etichettati one-hot.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dati sintetici (misure Gaussiane) e dataset reali (MNIST, Adult Income, Law School Success, Diabetes, German Credit).

• Stima di $S$: Il metodo basato sulla Gramiana (Algoritmo 1) supera significativamente le baseline (classificatori calibrati, MC Dropout, Reti Bayesiane) nella stima della matrice di collisione, specialmente in scenari con sovrapposizione moderata delle classi e richiede meno tempo di addestramento rispetto alle reti Bayesiane.
• Validazione su MNIST: La matrice stimata su MNIST ha correttamente identificato le coppie di cifre più confuse (es. 4 e 9, 3 e 5), mostrando valori di collisione più alti per queste coppie, in linea con l'intuizione umana.
• Insight su Dati Tabulari: L'analisi della matrice $S$ su dataset reali ha rivelato limiti intrinseci dei dati. Ad esempio, nel dataset "Diabetes", la bassa precisione prevista dalla matrice indica che i dati attuali non sono sufficienti per diagnosi affidabili, indipendentemente dalla complessità del modello (l'incertezza è nei dati, non nel modello).
• Stima delle Posteriori: Il metodo proposto per stimare $y(x)$ mostra una minore varianza e un errore medio (Total Variation Distance) inferiore rispetto alle tecniche di ensemble e calibrazione tradizionali, fornendo stime più stabili e accurate.

5. Significato e Impatto

Questo lavoro offre un cambio di paradigma nella quantificazione dell'incertezza:

• Dall'astratto al concreto: Sposta il focus da un singolo valore di incertezza globale a una mappa dettagliata delle relazioni tra classi.
• Indipendenza dal Classificatore: La matrice di collisione è una proprietà della distribuzione dei dati, non di un modello specifico, rendendola uno standard oggettivo per valutare la difficoltà di un compito di classificazione.
• Decisioni Informate: Permette agli operatori di capire perché un modello è incerto (es. confusione tra classe A e B) e di prendere decisioni migliori (es. rifiutare una diagnosi medica se la collisione tra due malattie è alta, richiedendo ulteriori test).
• Efficienza Computazionale: Il metodo proposto è computazionalmente efficiente e scalabile, offrendo prestazioni superiori a metodi complessi come le reti Bayesiane con un costo di calcolo inferiore.

In sintesi, la "Collision Matrix" fornisce un linguaggio matematico rigoroso e pratico per descrivere e sfruttare l'incertezza intrinseca nei dati, migliorando sia la valutazione delle prestazioni dei modelli che la sicurezza delle decisioni automatizzate.