🤖 machine learning

Vendi Novelty Scores for Out-of-Distribution Detection

Dit artikel introduceert de Vendi Novelty Score (VNS), een lineaire, niet-parametrische out-of-distribution-detectormethode die diversiteitsmetrieken benut om state-of-the-art-prestaties te behalen op diverse benchmarks, terwijl deze effectief blijft zelfs met minimale trainingsdata.

Oorspronkelijke auteurs: Amey P. Pasarkar, Adji Bousso Dieng

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Amey P. Pasarkar, Adji Bousso Dieng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, hoogopgeleide beveiligingsagent hebt bij de ingang van een museum. Deze agent heeft jarenlang duizenden schilderijen uit de Renaissance bestudeerd. Ze kan je direct vertellen of een nieuw schilderij een echte Rembrandt is of een vervalsing. Maar wat gebeurt er als iemand met een foto van een broodrooster, een cartoonkat of een moderne abstracte sculptuur naar voren komt?

De agent zou nog steeds kunnen zeggen: "Ik ben 99% zeker dat dit een schilderij is!" omdat ze zo zeker is van haar opleiding, zelfs al heeft ze het volledig bij het verkeerde eind. In de wereld van Kunstmatige Intelligentie heet dit een Out-of-Distribution (OOD)-probleem. De AI ziet iets dat ze nog nooit heeft gezien, maar ze weet niet dat ze in de war is.

Dit artikel introduceert een nieuw hulpmiddel genaamd Vendi Novelty Score (VNS) om AI-systemen te helpen beseffen wanneer ze naar iets totaal vreemds kijken. Hier is hoe het werkt, uitgelegd via eenvoudige analogieën.

De Oude Manier: Gissen naar Zekerheid

De meeste huidige methoden proberen deze "vreemdelingen" te detecteren door de AI te vragen: "Hoe zeker ben je?"

De Tekortkoming: Als de AI is getraind op katten en honden, en je laat haar een broodrooster zien, kan ze zich nog steeds zeer zeker voelen omdat de broodrooster enkele visuele kenmerken (zoals randen of kleuren) deelt met een katoor. Het is alsof een agent die zo gewend is aan rode jassen, een rode brandkraan voor een persoon aanziet.

De Nieuwe Manier: Meten van "Menigtediversiteit"

De auteurs van dit artikel besloten te stoppen met vragen "Hoe zeker ben je?" en te beginnen met vragen: "Hoeveel verandert deze nieuwe persoon de menigte?"

Ze gebruiken een concept genaamd Vendi Score, wat in feite een verfijnde manier is om diversiteit te meten.

De Analogie: De Gastenlijst van het Feest

Stel je voor dat de AI een geheugen heeft van alle mensen die ze heeft ontmoet (de trainingsdata).

De In-Distribution (ID)-Menigte: Dit zijn de mensen die de AI goed kent. Ze zijn gegroepeerd in "cliques" (zoals een groep van allemaal roodharigen, een groep van allemaal lange mensen, enz.).
De Testsample: Een nieuwe persoon komt binnen.

Hoe VNS werkt:

De Lokale Check (De Clique): De AI kijkt naar de specifieke clique waar de nieuwe persoon misschien toe zou kunnen behoren (bijv. "Is deze persoon roodharig?"). Ze vraagt: "Als we deze nieuwe persoon toevoegen aan de roodharigengroep, wordt de groep dan diverser of repetitiever?"
- Als de nieuwe persoon een roodharige is met een unieke kapsel, wordt de groep diverser.
- Als de nieuwe persoon een roodharige is die er precies uitziet als iedereen anders, verandert de groep niet veel.
- De Twist: Als de nieuwe persoon eigenlijk een broodrooster is (of een cartoonkat), creëert het toevoegen aan de "roodharigengroep" een vreemde, schokkende mix. De "diversiteitsscore" schiet omhoog omdat de broodrooster helemaal niet in het patroon past.
De Globale Check (Het Hele Feest): De AI kijkt ook naar het hele feest. "Als we deze broodrooster toevoegen aan de hele kamer, voelt de kamer dan chaotisch?"
- VNS berekent hoeveel het nieuwe sample de algehele harmonie van de data verstoort.
De Eindscore: De AI combineert deze twee checks. Als het nieuwe sample de lokale groep vreemd maakt en het hele feest chaotisch, gaat de Vendi Novelty Score omhoog. Een hoge score betekent: "Hé, dit hoort hier niet thuis! We moeten voorzichtig zijn."

Waarom Dit Een Groot Ding Is

Het artikel beweert dat deze methode een gamechanger is om drie hoofdredenen:

1. Het is Snel en Lichtgewicht
Het berekenen van diversiteit vereist meestal zware wiskunde die lang duurt (zoals het controleren van elke enkele persoon in een stadion tegen elke andere persoon).

De Truc van het Artikel: Ze vonden een shortcut. In plaats van naar de hele menigte te kijken, kijken ze alleen naar de "belangrijkste" persoon in de groep (het wiskundige equivalent van de "hoofdleider" van de clique).
Het Resultaat: Het is ongelooflijk snel. Het artikel toont aan dat het bijna net zo snel werkt als de eenvoudigste methoden, waardoor het praktisch is voor gebruik in real-time (zoals in zelfrijdende auto's).

2. Het Heeft Geen Volledig Geheugen Nodig
Meestal moet je, om te controleren of iets nieuw is, elk enkele voorbeeld dat je ooit hebt gezien onthouden. Dat neemt veel computergeheugen in beslag.

De Claim van het Artikel: VNS werkt verbluffend goed zelfs als je er slechts 1% van de trainingsdata laat zien. Het is alsof een beveiligingsagent een vreemdeling kan opsporen zelfs als ze zich maar 1% van de mensen die ze hebben ontmoet herinnert, omdat ze de structuur van de menigte begrijpt, niet alleen de gezichten.

3. Het Werkt Overal
De auteurs hebben dit getest op veel verschillende soorten AI-"hersenen" (architecturen) en veel verschillende soorten "musea" (datasets zoals CIFAR-10, CIFAR-100 en ImageNet).

Het Resultaat: VNS sloeg consequent de beste bestaande methoden of kwam er gelijk mee. Het was bijzonder goed in het opsporen van "Near-OOD"-items: dingen die er bijna uitzien als wat de AI kent, maar niet helemaal kloppen (zoals een foto van een hond die een beetje op een wolf lijkt).

Samenvatting

De Vendi Novelty Score is een nieuwe manier om een AI te vertellen wanneer ze buiten haar diepte is. In plaats van alleen te vragen "Weet je het zeker?", vraagt het: "Past dit nieuwe ding in het patroon van de groep?"

Door te meten hoeveel een nieuw sample de diversiteit van het geheugen van de AI verstoort, kan het vreemdelingen (zoals broodroosters in een kattemuseum) met hoge nauwkeurigheid opsporen, met zeer weinig geheugen en zeer snel. Dit helpt AI-systemen veilig te houden door te weten wanneer ze moeten zeggen: "Ik weet niet wat dit is, laat een mens dit afhandelen."

Technische Samenvatting: Vendi Novelty Scores voor Out-of-Distribution Detectie

Probleemstelling

Moderne machine learning-systemen vertonen vaak onvoorspelbaar gedrag wanneer ze te maken krijgen met out-of-distribution (OOD) invoer, waarbij ze frequent hoge zekerheid maar onjuiste voorspellingen genereren. Dit vormt aanzienlijke risico's in hoog-risicodomeinen zoals autonoom rijden, medische beeldvorming en wetenschappelijke ontdekking. Hoewel OOD-detectie cruciaal is voor veiligheid, ondervinden bestaande post-hoc methoden beperkingen:

Logit-gebaseerde methoden (bijv. Maximum Softmax Probability, Energy scores) negeren in-distribution kenmerkstatistieken, wat de betrouwbaarheid verlaagt.
Kenruimte-dichtheidsmethoden (bijv. Mahalanobis-afstand) vertrouwen vaak op restrictieve aannames over de geometrie van representaties (bijv. Gaussiërisch, neurale ineenstorting) die niet noodzakelijk gelden voor diverse architecturen.
Op gelijkenis gebaseerde methoden (bijv. k-Nearest Neighbors) leiden tot aanzienlijke rekenkundige overhead tijdens inferentie.
Op gradiënten gebaseerde methoden vereisen vaak meerdere voorwaartse en achterwaartse passes, waardoor ze onpraktisch zijn voor toepassingen met strenge latentie-eisen.

Er is behoefte aan een computatie-efficiënte, post-hoc OOD-detector die niet afhankelijk is van restrictieve verdelingsaannames en effectief kan opereren zelfs met beperkte toegang tot trainingsdata.

Methodologie: De Vendi Novelty Score (VNS)

De auteurs stellen de Vendi Novelty Score (VNS) voor, een post-hoc OOD-detector die is gebaseerd op het concept van diversiteit in plaats van dichtheidsschatting. VNS maakt gebruik van de Vendi Score (VS), een familie van op gelijkenis gebaseerde diversiteitsmaten, om te kwantificeren in hoeverre een testsample de diversiteit van een in-distribution (ID) kenmerkset verhoogt.

Kernalgoritme

Klasse-voorwaardelijke Novelty:
- Voor een getrainde classifier $f_\theta$ met $C$ klassen, extraheert de methode embeddings $h(x)$ uit de voorlaatste laag.
- Voor elke klasse $c$ wordt een klasse-voorwaardelijke dichtheidsmatrix $\rho_c$ berekend uit de trainingsembeddings van die klasse.
- De novelty van een testsample $x$ met betrekking tot klasse $c$ wordt gedefinieerd als de log-ratio toename in de Vendi Score van orde 2 ( $VS_2$ ) wanneer $x$ wordt toegevoegd aan de klassenset:
  $\Delta_c(x) = \log VS_2(\rho'_c) - \log VS_2(\rho_c)$
- Om efficiëntie te waarborgen, maken de auteurs gebruik van een rang-1 benadering. In plaats van het volledige eigenspectrum van $\rho_c$ bij te houden, benaderen ze de verandering in $VS_2$ uitsluitend met de grootste eigenwaarde $\lambda_c$ en de bijbehorende eigenvector $u_c$ . Dit reduceert de complexiteit van het berekenen van klasse-voorwaardelijke scores tot $O(D)$ per klasse.
Kans-gewogen Aggregatie:
- In plaats van te vertrouwen op een enkele voorspelde klasse, aggregeert VNS klasse-voorwaardelijke novelty scores met behulp van de voorspelde klassenkansen $p(x)$ van het model.
- De lokale OOD-score wordt berekend als:
  $S_{\text{LOCAL-OOD}}(x) = \sum_{c \in T_K(x)} N_c p_c(x)^\gamma \Delta_c(x)$
  waarbij $T_K(x)$ de top- $K$ voorspelde klassen voorstelt, $N_c$ de klassengrootte is (gebruikt voor schaling), en $\gamma$ de scherpte van de aggregatie controleert.
Global Diversity Correctie:
- Om rekening te houden met globale variaties in dichtheid, wordt een globale novelty score berekend op basis van de verandering in $VS_\infty$ (die afhankelijk is van de maximale eigenwaarde van de globale dichtheidsmatrix) wanneer het testsample wordt toegevoegd aan de volledige dataset.
- De uiteindelijke VNS-score combineert lokale en globale signalen:
  $\text{VNS}(x) = S_{\text{LOCAL-OOD}}(x) - g \cdot S_{\text{GLOBAL-OOD}}(x)$
  waarbij $g \in \{0, 1\}$ een binaire coëfficiënt is die bepaalt of de globale correctie wordt toegepast.

Complexiteit

Tijdscomplexiteit: $O(CD)$, waarbij $C$ het aantal klassen is en $D$ de embeddingsdimensie. Dit is lineair in beide parameters, waardoor het aanzienlijk sneller is dan op Mahalanobis gebaseerde methoden ( $O(CD^2)$ ) en k-NN-benaderingen.
Ruimtecomplexiteit: $O(CD)$, aangezien alleen de opslag van de grootste eigenwaarde en eigenvector voor elke klasse vereist is.

Belangrijkste Bijdragen

Nieuw Paradigma: Introduceert een op diversiteit gebaseerd perspectief voor OOD-detectie, weg van traditionele dichtheidsmodellering of logit-analyse.
Vendi Novelty Score (VNS): Stelt een specifiek algoritme voor dat novelty kwantificeert via de impact van een testsample op representatiediversiteit, met gebruikmaking van efficiënte rang-1 benaderingen van de Vendi Score.
Hybride Signaalintegratie: Combineert lokale (klasse-voorwaardelijke) en globale novelty signalen, gewogen door voorspellende kansen, om robuustheid te verbeteren.
Data-efficiëntie: Toont aan dat VNS state-of-the-art prestaties behoudt, zelfs wanneer berekend met slechts 1% van de trainingsdata, wat implementatie mogelijk maakt in omgevingen met beperkt geheugen.
Theoretische en Empirische Validatie: Biedt theoretische rechtvaardiging voor de rang-1 benadering en uitgebreide empirische validatie over meerdere datasets en architecturen.

Experimentele Resultaten

De auteurs hebben VNS geëvalueerd op standaard OOD-benchmarks: CIFAR-10, CIFAR-100 en ImageNet-1K, met gebruikmaking van architecturen waaronder ResNet, ViT en Swin-T.

Prestaties: VNS behaalde state-of-the-art (SOTA) prestaties op CIFAR-10 en concurrerende resultaten op CIFAR-100. Op de ImageNet-1K-benchmark verlaagde VNS de False Positive Rate bij 95% True Positive Rate (FPR@95) met 13% ten opzichte van de op twee na best presterende algoritme, gemiddeld.
Robuustheid: In tegenstelling tot sommige activatie-vormgevingsmethoden die goed presteren op ResNet maar verslechteren op Transformers, toonde VNS consistente prestaties over verschillende architecturen (ResNet, ViT, Swin-T).
Efficiëntie: VNS is orde van grootte sneller dan de op twee na meest accurate methode (RMDS++) en vergelijkbaar in latentie met logit-only methoden (bijv. GEN, NCI).
Data-schaarste: Wanneer getraind op slechts 1% van de ImageNet trainingsdata, behaalde VNS een gemiddelde AUROC van 88,96%, bijna identiek aan zijn prestaties met volledige data-toegang (88,59% AUROC).

Betekenis en Claims

Het artikel beweert dat VNS een gebaseerd, efficiënt en robuust oplossing biedt voor OOD-detectie. De betekenis hiervan ligt in:

Vermijden van Restrictieve Aannames: Door te vertrouwen op diversiteitsmaten in plaats van Gaussische dichtheidsaannames, is VNS minder gevoelig voor schendingen van geometrische aannames die veel voorkomen in deep learning-representaties.
Praktische Implementatie: De lineaire tijdscomplexiteit en het vermogen om te functioneren met minimale trainingsdata maken VNS geschikt voor real-world scenario's waar toegang tot trainingsdata beperkt is of latentie kritiek is.
Veiligheid: De methode biedt een mechanisme voor ML-systemen om invoer buiten hun competentie te identificeren, waardoor veiligere reacties worden geactiveerd, zoals afzien van een voorspelling of escalatie naar menselijk ingrijpen.

De auteurs merken beperkingen op, waaronder de noodzaak van hyperparameter-tuning (waarvoor ze een geautomatiseerde validatieset gebruiken) en de afhankelijkheid van de cosinus-kernel. Ze benadrukken dat, hoewel VNS de veiligheid verbetert, het geen complete oplossing is en onderdeel moet zijn van een breder veiligheidsprotocol dat monitoring en menselijk toezicht omvat.