Fine-Grained Uncertainty Quantification via Collisions

Probleemstelling

In het veld van Machine Learning (ML) is onzekerheidskwantificatie (Uncertainty Quantification - UQ) cruciaal, vooral in risicovolle domeinen zoals gezondheidszorg en finance. Bestaande methoden meten vaak onzekerheid op een te hoog niveau of zijn beperkt tot specifieke aspecten:

• Aleatorische onzekerheid: De inherente onzekerheid in de data die niet kan worden weggenomen door meer kennis (bijv. overlappende klassen).
• Epistemische onzekerheid: Onzekerheid door gebrek aan kennis (bijv. onvoldoende trainingsdata).

Bestaande maatstaven, zoals de Bayes Error Rate (BER) of cross-validatie-accuracy, geven vaak slechts één samenvattend getal voor het hele systeem. Ze vertellen niet waar de onzekerheid zit (bijv. tussen welke specifieke klassen er verwarring ontstaat) en kunnen geen gedetailleerde achterwaartse waarschijnlijkheidsverdelingen (posterior distributions) voor individuele invoerpunten genereren zonder extra aannames of complexe ensemble-methoden. Er is behoefte aan een fijngranulaire (fine-grained) maatstaf die de inherente moeilijkheid van het onderscheiden van elk paar klassen kwantificeert.

Methodologie

De auteurs introduceren een nieuwe conceptuele en wiskundige raamwerk gebaseerd op het idee van "Class Collisions" (klassencollisies).

1. De Collision Matrix (S)

• Definitie: Een klassencollisie treedt op wanneer hetzelfde invoerpunt $x$ in verschillende klassen wordt waargenomen. De Collision Matrix $S$ is een $K \times K$ stochastische matrix waarbij het element $S_{i,j}$ de verwachte kans voorstelt dat een invoerpunt, dat oorspronkelijk in klasse $i$ is waargenomen, in klasse $j$ wordt gevonden bij een nieuwe observatie.
• Interpretatie: $S_{i,j}$ meet de inherente verwarring tussen klasse $i$ en $j$. De diagonale elementen $S_{i,i}$ geven de kans op een correcte classificatie weer.
• Relatie tot BER: De Collision Matrix kan worden gezien als de verwachte confusiematrix van een Probabilistic Bayes Classifier (PBC). De diagonale som van $S$ (gewogen met priors) leidt tot de PBER, een maatstaf die direct gerelateerd is aan de klassieke Bayes Error Rate, maar met veel meer detail.

2. Schatting van de Collision Matrix (Van één-hot labels naar S)

Het grootste probleem is dat trainingsdata meestal one-hot gelabeld is (we weten alleen de waargenomen klasse, niet de onderliggende posterior). Om $S$ te schatten zonder de posteriors te kennen, stellen de auteurs een tweestapsmethode voor:

• Stap 1: Schatting van de Row Gramian ($G$):
  • De auteurs bewijzen dat onder redelijke aannames (niet-negativiteit, symmetrie bij uniforme priors, en strikte diagonale dominantie) de Collision Matrix $S$ uniek bepaald kan worden door zijn row Gramian matrix $G = S S^T$.
  • De elementen van $G$ worden gedefinieerd als de verwachte gelijkheidsscore (similarity) tussen twee willekeurige punten uit respectievelijk klasse $i$ en $j$.
  • Om dit te schatten, trainen ze een Pair-Wise Contrastive Model ($V$). Dit model neemt twee invoerpunten $(x, \tilde{x})$ en voorspelt de kans dat ze tot dezelfde klasse behoren.
  • De schatting $\hat{G}_{i,j}$ wordt berekend als het gemiddelde van de voorspellingen van $V$ voor alle paren tussen klasse $i$ en $j$.
• Stap 2: Herstel van $S$ uit $G$:
  • Omdat $G$ uniek is voor $S$ onder de genoemde voorwaarden, wordt $S$ gereconstrueerd door een optimalisatieprobleem op te lossen: minimaliseer $\| \hat{S}\hat{S}^T - \hat{G} \|_F$ onder de beperkingen dat $\hat{S}$ een stochastische en diagonaal-dominante matrix is.

3. Schatting van Posterior Verdelingen

Met de geschatte Collision Matrix $\hat{S}$ en het contrastieve model $V$ kunnen ze de achterwaartse waarschijnlijkheidsverdeling $y(x)$ voor een nieuw punt $x$ schatten:

• Ze berekenen eerst de verwachte gelijkheidsscores $q(x)$: hoe goed past $x$ bij de punten van elke klasse $i$ (berekend via $V$).
• Er bestaat een lineair verband: $q(x) = S \cdot y(x)$.
• De posterior wordt dus eenvoudig berekend als: $\hat{y}(x) = \hat{S}^{-1} \hat{q}(x)$.

Belangrijkste Bijdragen

1. Nieuwe Maatstaf: Introductie van de Collision Matrix als een intuïtieve, fijngranulaire maatstaf voor aleatorische onzekerheid die per klassenpaar werkt, in tegenstelling tot samenvattende waarden zoals BER.
2. Wiskundige Theorie: Bewijs dat de Collision Matrix uniek herleidbaar is uit zijn row Gramian matrix onder realistische classificatiescenario's (uniekheid van de matrixwortel voor strikt diagonaal-dominante matrices).
3. Nieuwe Schattingstechniek: Een innovatieve methode om $S$ te schatten vanuit standaard one-hot gelabelde data door gebruik te maken van een paar-voor-paar contrastief model, zonder dat de posteriors bekend hoeven te zijn.
4. Posterior Schatting: Een efficiënt algoritme om volledige posterior verdelingen te genereren voor individuele invoerpunten door de geschatte Collision Matrix te combineren met gelijkheidsscores.
5. Praktische Toepassingen: Demonstratie van nieuwe inzichten zoals het voorspellen van de haalbaarheid van precisie/recall per klasse, het optimaliseren van label-smoothing, en het aansturen van adaptieve sampling.

Resultaten

De auteurs hebben hun methoden getest op zowel synthetische data (Gaussian Mixtures) als real-world datasets (MNIST, Adult Income, Law School Success, Diabetes, German Credit).

• Schatting van $S$: De voorgestelde Gramian-gebaseerde methode (Algorithm 1) presteerde over het algemeen beter dan bestaande baselines zoals gekalibreerde classifiers, MC Dropout en Bayesian Neural Networks (BNN), vooral in termen van consistentie en lagere variantie. BNNs konden soms beter presteren maar vereisten aanzienlijk meer trainingsduur.
• Real-world Inzichten (MNIST): De geschatte Collision Matrix voor MNIST toonde correct aan dat de paren (4,9) en (3,5) de hoogste inherente verwarring hebben (collisiekans > 0.01), wat overeenkomt met menselijke intuïtie over handschrift.
• Real-world Inzichten (Tabulaire data): Voor datasets zoals "Diabetes Prediction" en "Adult Income" leverde de matrix cruciale inzichten op. Bijvoorbeeld: voor diabetesdiagnose was de recall hoog (veel risicopatiënten worden gevonden), maar de precision laag (veel vals-positieven). Dit suggereert dat de data goed is voor screening, maar niet voor definitieve diagnose, en dat meer data nodig is om de precisie te verhogen.
• Posterior Schatting: De methode produceerde nauwkeurigere en minder variabele posterior schattingen dan baselines, wat zichtbaar was in de lagere Total Variation Distance (TVD) ten opzichte van de ware posteriors op synthetische data. Op MNIST toonden de geschatte posteriors voor ambiguïe cijfers een logische verdeling van waarschijnlijkheid over de meest waarschijnlijke opties.

Significantie

Dit werk biedt een fundamentele doorbraak in hoe we onzekerheid in classificatietaken begrijpen en meten.

• Van "Hoeveel?" naar "Waar?": Het verschuift de focus van het meten van totale onzekerheid (BER) naar het lokaliseren van onzekerheid tussen specifieke klassen.
• Data-eigenschap: De Collision Matrix wordt gepresenteerd als een eigenschap van de data-distributie zelf, onafhankelijk van de gekozen classifier. Dit maakt het een objectieve standaard om de grenzen van een classificatieprobleem te beoordelen.
• Toepasbaarheid: De methode werkt met standaard one-hot gelabelde data en vereist geen complexe Bayesian inferentie of dure ensemble-methoden om gedetailleerde onzekerheidsinformatie te verkrijgen.
• Besluitvorming: Het stelt organisaties in staat om op basis van data te bepalen of een bepaald classificatiedoel (bijv. hoge precisie bij een zeldzame ziekte) überhaupt haalbaar is met de huidige data, of dat er nieuwe databronnen nodig zijn.