🤖 machine learning

A Probabilistic Circuit-Induced Pseudo-Metric for Out-of-Distribution Detection

Dit artikel introduceert een nieuw framework voor out-of-distribution detectie dat de interne hiërarchische structuur van Probabilistic Circuits benut om een Hiërarchische Likelihood Vector en een bijbehorende pseudo-metriek te definiëren, wat ongeziene detectie en shift-lokalisatie mogelijk maakt zonder dat daarvoor uitgesloten in-distribution data vereist is.

Oorspronkelijke auteurs: Bhumika K, Vidhya S, Narayanan C Krishnan

Gepubliceerd 2026-08-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bhumika K, Vidhya S, Narayanan C Krishnan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een uitsmijter bent bij een zeer exclusieve club. Jouw taak is om te beslissen wie er wel en wie er niet binnenkomt. Meestal heb je een mentale lijst van hoe je vaste gasten eruitzien: hun lengte, hun favoriete hoed, de manier waarop ze lopen. Als iemand binnenkomt in een neonkleurig clownspak, weet je meteen dat die er niet thuishoort. Maar wat als de persoon bijna lijkt op een vaste gast, maar dan met een net iets ander shirt? Of wat als de club zo groot is dat je niet elk enkel detail van elke vaste gast kunt onthouden? Dit is de uitdaging van "Out-of-Distribution" (OOD) detectie in de wereld van Kunstmatige Intelligentie. Het is de taak om een computer te leren zeggen: "Hé, deze data ziet er vreemd uit; het komt niet overeen met wat ik heb geleerd," zonder dat daar een tweede lijst met voorbeelden tegenover hoeft te staan om mee te vergelijken.

Om te begrijpen hoe dit artikel dat probleem aanpakt, moeten we kijken naar het gereedschap dat ze gebruiken: een "Probabilistic Circuit". Zie dit niet als een slordig neuraal netwerk, maar als een enorme, georganiseerde stamboom van waarschijnlijkheden. Onderaan heb je eenvoudige feiten (zoals "is dit pixel zwart?"). Terwijl je omhoog beweegt in de boom, worden deze feiten gecombineerd tot grotere ideeën (zoals "is dit een cirkel?"). De top van de boom geeft je een eindscore: "Hoe waarschijnlijk is het dat deze afbeelding een kat is?" Het probleem met de oude manier van doen is dat uitsmijters (of AI-modellen) vaak alleen naar die eindscore kijken aan de absolute top. Ze negeren alle interessante details in het midden van de boom. Dit artikel betoogt dat door naar de hele boom te kijken, en niet alleen naar de top, we de "clownspakken" veel beter kunnen vangen.

De onderzoekers, werkzaam aan het Indian Institute of Technology Palakkad, introduceren een nieuwe methode genaamd de Hierarchical Likelihood Vector (HLV). In plaats van de AI alleen te vragen: "Is dit een kat?" (wat één enkel getal oplevert), stellen ze de AI een hele reeks vragen op verschillende niveaus van zijn stamboom. "Is dit een cirkel?" "Is dit een zwart pixel?" "Is dit een specifieke soort kromming?" Ze verzamelen al deze antwoorden in een lijst, of een vector. Deze lijst is de HLV. Het is alsof je de uitsmijter een checklist geeft van elk detail, van de schoenen tot de hoed, in plaats van slechts een enkele "lijkt op een vaste gast"-stempel.

Met behulp van deze checklist hebben ze een nieuwe manier gecreëerd om afstand te meten, genaamd de Hierarchical Likelihood Distance (HLD). Stel je voor dat je een checklist hebt van een "perfecte vaste gast" en een checklist van een "nieuwe man". De HLD meet hoe ver deze twee lijsten uit elkaar liggen. Als de lijst van de nieuwe man erg verschilt van de lijst van de perfecte vaste gast, is de afstand groot en weet de AI dat hij het alarm moet laten afgaan. Het slimme deel van dit artikel is dat ze hebben uitgevogeld hoe ze de checklist van de "perfecte vaste gast" wiskundig kunnen berekenen, rechtstreeks vanuit het brein van de AI, zonder dat ze een heleboel extra foto's van vaste gasten hoeven op te slaan om later tegen te kunnen vergelijken. Dit maakt het systeem veel efficiënter en klaar voor gebruik in de echte wereld, waar je misschien geen extra data rondliggen hebt om mee te vergelijken.

Toen ze dit idee testten op tabelgegevens (zoals spreadsheets met klantinformatie) en afbeeldingen van handgeschreven cijfers (MNIST), waren de resultaten veelbelovend. In hun simulaties was de HLV-methode beter in het opsporen van de "clowns" dan de oude methoden die alleen naar de top van de boom keken. Bijvoorbeeld, op de tabeldatasets, wanneer ze batches van 100 items testten, detecteerde de nieuwe methode de vreemde data ongeveer 93% van de tijd, terwijl de oude methoden vaak rond de 50% of lager bleven hangen. Nog belangrijker was dat de nieuwe methode stabieler was; hij raakte niet zo snel in de war wanneer de data iets rommelig werd of wanneer het AI-model niet perfect was.

Het artikel liet ook zien dat deze methode kan fungeren als een detective. Omdat de HLV elke node in de boom bijhoudt, konden de onderzoekers kijken naar welke specifieke vragen in de checklist anders waren. Als de AI in de war was omdat een '6' op een '0' leek, kon de methode precies aanwijzen welk deel van de afbeelding (de middelste lus) de problemen veroorzaakte. Deze "lokalisatie" helpt ons te begrijpen waarom de AI denkt dat iets vreemd is, in plaats van alleen te weten dat het vreemd is.

De auteurs merken echter voorzichtig op dat dit geen wondermiddel is dat alles voor altijd oplost. Hun methode is afhankelijk van het feit dat het AI-model een specif kind van een "Probabilistic Circuit" is dat vloeiend en gestructureerd is. Als het model rommelig of ongestructureerd is, werkt de wiskunde niet zo netjes. Ook, hoewel de methode geweldig is in het opsporen van data die niet bij het model past, als het model zelf een slechte representatie van de werkelijkheid is (zoals een wazige foto van een kat), kan het systeem echte katten nog steeds als vreemd markeren. De auteurs ontdekten dat op afbeeldingen met een hoge resolutie (28x28 pixels), het aantal valse alarmen toenam omdat het model moeite had om elk klein detail perfect vast te leggen.

Kortom, dit artikel suggereert dat door te luisteren naar het hele gesprek in het brein van een AI, in plaats van alleen naar de uiteindelijke conclusie, we betere beveiligingssystemen voor data kunnen bouwen. Het verandert een enkele "ja/nee"-beslissing in een rijke, meer gelaagde investigatie, waardoor de AI subtiele verschuivingen in data kan opmerken die andere methoden missen, en dat alles zonder dat er een reserve lijst met voorbeelden nodig is om mee te vergelijken. Het is een stap naar het maken van AI die zich meer bewust is van haar eigen beperkingen en beter in staat is om het onverwachte op te merken.

Technische Samenvatting: Een Probabilistische Circuit-geïnduceerde Pseudo-metriek voor Out-of-Distribution Detectie

Probleemstelling

Out-of-distribution (OOD) detectie heeft als doel te bepalen of de data die tijdens de inzet wordt tegengekomen consistent is met de distributie die door een geleerd model wordt gerepresenteerd. In de ongesuperviseerde setting zijn generatieve modellen een natuurlijke keuze, omdat zij de in-distributie (ID) expliciet modelleren. Echter, bestaande benaderingen kampen met significante beperkingen:

De Likelihood-paradox: Scalaire likelihoods van diepe generatieve modellen (bijv. VAE's, Normalizing Flows) kunnen hogere scores toekennen aan OOD-samples dan aan ID-data.
Informatieverlies: Huidige op Probabilistische Circuits (PC) gebaseerde methoden reduceren de volledige circuit-hiërarchie vaak tot een enkele scalaire likelihood bij de root, waardoor de rijkere probabilistische informatie die in de interne nodes is gecodeerd, verloren gaat.
Data-afhankelijkheid: Veel methoden voor distributievergelijking (bijv. Maximum Mean Discrepancy) of kalibratietechnieken vereisen uit de ID-verdeling gehouden referentiesamples of kalibratiesets, die niet beschikbaar zijn in strikte scenario's van inzet waar het getrainde model de enige representatie van de ID is.

De centrale vraag die wordt behandeld is: Kan de hiërarchische probabilistische informatie die binnen een getrainde PC is gecodeerd, worden gebruikt om een statistisch gekalibreerde detector op distributieniveau te construeren zonder afhankelijk te zijn van uit de ID-verdeling gehouden data?

Methodologie

Het voorgestelde framework introduceert twee kernconcepten, de Hierarchical Likelihood Vector (HLV) en de Hierarchical Likelihood Distance (HLD).

1. Hierarchical Likelihood Vector (HLV)

In plaats van een observatie $x$ uitsluitend te evalueren bij de root van de PC, evalueert de methode deze bij een geselecteerde set nodes $\mathcal{N} = \{n_1, \dots, n_m\}$ .

Definitie: Voor een gladde en decomposable PC is de HLV gedefinieerd als $L_C(x) = (\ell_{n_1}(x), \dots, \ell_{n_m}(x))$ , waarbij $\ell_n(x)$ de likelihood van de observatie is, beperkt tot de scope van node $n$ .
Significantie: Deze vector behoudt probabilistische samenvattingen over meerdere variabelen-scopes. Input-nodes bieden samenvattingen op variabeleniveau, terwijl sum- en product-nodes samenvattingen bieden over progressief grotere scopes. Als de root wordt opgenomen, blijft de conventionele likelihood behouden naast deze hiërarchische samenvattingen.

2. Hierarchical Likelihood Distance (HLD)

De HLD meet de discrepantie tussen de geleerde distributie $P$ en een test-distributie $Q$ door hun verwachte HLVs te vergelijken.

Definitie: $d_C(P, Q) = \|\mu_P - \mu_Q\|_2$ , waarbij $\mu_P = \mathbb{E}_{X \sim P}[L(X)]$ en $\mu_Q = \mathbb{E}_{X \sim Q}[L(X)]$ .
Theoretische Eigenschap: De auteurs bewijzen dat HLD een Integral Probability Metric (IPM) is over een functieklasse $\mathcal{F}_C$ die direct door de PC wordt geïnduceerd. Specifiek bestaat $\mathcal{F}_C$ uit lineaire combinaties van de node-likelihoodfuncties. In tegenstelling tot generieke IPM's waar de functieklasse impliciet wordt geleerd, heeft elke functie in $\mathcal{F}_C$ een directe probabilistische interpretatie afgeleid van de circuitstructuur.

3. Goodness-of-Fit Test en Analytische Drempelwaarde

De methode formuleert OOD-detectie als een goodness-of-fit hypothese-test ( $H_0: P = Q$ versus $H_1: P \neq Q$ ).

Teststatistiek: Gegeven een test-batch $D_Q$ van grootte $T$ , is de statistiek $\hat{d}_C(P, Q) = \|\mu_P - \hat{\mu}_Q\|_2$ , waarbij $\hat{\mu}_Q$ het empirische gemiddelde van de HLVs in de batch is.
Exacte Berekening: Een cruciale innovatie is dat voor gestructureerd-decomposable PC's het populatiegemiddelde $\mu_P$ en de covariantie-matrix $\Sigma_P$ van de HLV exact en tractabel kunnen worden berekend uit enkel de getrainde circuit, zonder dat er ID-referentiesamples nodig zijn. Dit wordt bereikt met behulp van de "Scope Trichotomy" eigenschap van gestructureerd-decomposable PC's, die garandeert dat de scopes van twee willekeurige nodes ofwel disjunct, identiek, of genest zijn. Dit maakt exacte marginalisatie en product-operaties mogelijk zonder de noodzaak van externe ID-referentiegegevens.
Beslissingsdrempelwaarde: Onder de nulhypothese volgt de teststatistiek een geschaalde gegeneraliseerde chi-kwadraatverdeling. De auteurs leiden een benaderende closed-form drempelwaarde $\tau_\alpha$ af door de eerste twee momenten (gemiddelde en variantie) van deze verdeling te matchen, berekend direct uit $\text{tr}(\Sigma_P)$ en $\text{tr}(\Sigma_P^2)$ . Dit elimineert de noodzaak van uit de ID-verdeling gehouden data voor kalibratie.

Belangrijkste Bijdragen

HLV en HLD: Introductie van een representatie die hiërarchische probabilistische samenvattingen vastlegt en een bijbehorende pseudo-metriek (HLD) die distributies vergelijkt via hun verwachte HLVs.
IPM Karakterisering: Bewijs dat HLD een door een PC geïnduceerde Integral Probability Metric is, wat de detector fundeert in gevestigde statistische theorie.
Tractabele Exacte Berekening: Demonstratie dat voor gestructureerd-decomposable PC's de noodzakelijke populatiestatistieken (gemiddelde en covariantie van de HLV) exact kunnen worden berekend uit de modelparameters. Dit maakt een analytische beslissingsdrempel mogelijk zonder uit de ID-verdeling gehouden data.
Empirische Validatie: Evaluatie op tabulaire datasets (Adult, Covertype, Sensorless, Census-KDD, Connect-4) en gebinariseerde MNIST, waarbij verbeterde prestaties worden getoond ten opzichte van root-likelihood, onzekerheid-gebaseerde (TDI), typicality-gebaseerde en kernel-gebaseerde (MMD) baselines.

Experimentele Resultaten

Het framework werd geëvalueerd met een class-wise OOD-protocol waarbij één klasse als ID dient en andere als OOD.

Detectiekracht: HLD bereikt consistent een hogere detectiekracht dan de baselines, met name bij kleine tot gemiddelde batchgroottes ( $T=10$ tot $T=100$ ). Bijvoorbeeld, op tabulaire datasets bij $T=100$ , bereikte HLD een detectiegraad van 0,987, vergeleken met 0,542 voor Root Likelihood en 0,608 voor Typicality.
Robuustheid tegen Model Mis-specificatie: Wanneer getest op echte, uit de ID-verdeling gehouden data (waar het model de ware distributie mogelijk niet perfect past), vertoonde HLD een aanzienlijk tragere toename van de False Positive Rate (FPR) naarmate de batchgrootte groeide vergeleken met andere methoden. Bij $T=1000$ op tabulaire data was de FPR van HLD 0,178, terwijl MMD 0,807 bereikte en Root Likelihood 0,446.
Lokalisatie: De node-gewijze decompositie van de teststatistiek maakt de lokalisatie van distributieverschuivingen mogelijk. Door nodes te rangschikken op basis van hun bijdrage aan de discrepantie, kan de methode specifieke variabelen-scopes (bijv. specifieke regio's in MNIST-beelden) identificeren die verantwoordelijk zijn voor de verschuiving.
Ablatie-studies: Het combineren van leaf- en sum-nodes voor de HLV bood de meest robuuste prestaties over de datasets heen. Het toevoegen van product-nodes verbeterde de detectiekracht niet consistent en verslechterde deze soms.

Betekenis en Claims

Het artikel claimt dat het exploiteren van de hiërarchische structuur van Probabilistische Circuits een fundamenteel voordeel biedt ten opzichte van scalaire score-methoden. Door de circuit niet alleen te behandelen als een likelihood-calculator, maar als een generator van een rijke, interpreteerbare functieruimte (de HLV), construeert de methode een detector op distributieniveau die:

Zelf-kalibrerend is: Het vereist geen uit de ID-verdeling gehouden data voor drempelbepaling, maar vertrouwt op de exacte structurele eigenschappen van de getrainde PC.
Interpreteerbaar is: Het kan de bron van distributieverschuivingen lokaliseren tot specifieke nodes (variabelen-scopes) binnen de circuit.
Robuust is: Het behoudt een betere kalibratie en detectiekracht onder model mis-specificatie vergeleken met bestaande baselines.

De auteurs erkennen beperkingen: de statistische kalibratie is relatief aan de distributie die de getrainde PC representeert (wat betekent dat een slechte modelpassing leidt tot een hogere FPR op echte data), en de closed-form drempelwaarde steunt op een Gaussische benadering die minder accuraat kan zijn als het spectrum van de covariantie wordt gedomineerd door enkele eigenwaarden. Toekomstig werk omvat het uitbreiden van het framework naar continue random variabelen.