⚡ electrical engineering

Trustworthy Prediction with Gaussian Process Knowledge Scores

Dit artikel introduceert een interpreteerbare 'kennis-score' voor Gaussian Process-regressiemodellen die kwantificeert hoe goed voorspellingen onderbouwd zijn door bestaande data, waardoor de prestaties verbeteren bij taken zoals anomaliedetectie en imputatie.

Oorspronkelijke auteurs: Kurt Butler, Guanchao Feng, Tong Chen, Petar Djuric

Gepubliceerd 2026-02-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kurt Butler, Guanchao Feng, Tong Chen, Petar Djuric

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme voorspeller bent, een "kristallen bol" die kan zeggen wat er morgen zal gebeuren op basis van wat er gisteren en eergisteren is gebeurd. Dit is wat computers doen met Gaussian Process Regression (GPR): ze leren van oude data om nieuwe dingen te voorspellen.

Maar hier is het probleem: soms is die kristallen bol heel goed, en soms is hij gewoon aan het gissen. Stel je voor dat je een kaart hebt van een stad waar je al vaak bent geweest. Als je vraagt: "Hoe lang duurt het om naar de supermarkt te gaan?", kan de computer het perfect zeggen. Maar als je vraagt: "Hoe lang duurt het om naar Mars te reizen?", dan heeft de computer geen idee, want daar is hij nooit geweest. Toch zou hij misschien een antwoord proberen te geven, en dat antwoord zou dan volkomen onbetrouwbaar zijn.

De auteurs van dit paper, Kurt Butler en zijn collega's, hebben een oplossing bedacht voor dit probleem. Ze noemen het de "Kennis-score" (Knowledge Score).

Wat is de Kennis-score?

Stel je voor dat je een leraar bent die een toets maakt.

Hoge Kennis-score (dicht bij 1): De leraar heeft de stof perfect geleerd. Als hij een vraag stelt over dit onderwerp, is hij 100% zeker van zijn antwoord. Hij heeft veel "kennis" over dit specifieke punt.
Lage Kennis-score (dicht bij 0): De leraar heeft deze stof nooit gezien. Hij moet raden. Hij baseert zijn antwoord puur op zijn algemene gevoel (de "prior"), niet op feiten. Hij heeft hier geen "kennis" over.

De Kennis-score is een getal tussen 0 en 1 dat de computer zelf kan berekenen. Het zegt: "Hoeveel heb ik geleerd over dit specifieke punt uit mijn oude data?"

Als het getal hoog is, kun je het antwoord vertrouwen.
Als het getal laag is, moet je zeggen: "Stop, ik weet het niet zeker, vraag het aan iemand anders of doe niets."

Hoe werkt dit in de praktijk?

De paper laat zien hoe deze score helpt in drie belangrijke situaties:

1. Het opsporen van vreemde dingen (Anomalie Detection)
Stel je een alarmstelsel voor in een fabriek. Normaal gesproken trilt de machine op een bepaalde manier. Als de trilling te hard wordt, gaat het alarm af.

Het oude probleem: Als de machine plotseling naar een heel nieuw type trilling gaat (bijvoorbeeld omdat hij kapot is), zou het alarm kunnen afgaan. Maar wat als de machine gewoon naar een heel nieuw gebied beweegt waar het alarmstelsel nog nooit is geweest? Dan kan het alarm vals afgaan of juist niets doen.
De nieuwe oplossing: Voordat het alarmstelsel zegt "Dit is gek!", kijkt het eerst naar de Kennis-score. Als de score laag is (de machine is in een onbekend gebied), zegt het systeem: "Ik weet niet wat normaal is hier, dus ik ga geen alarm slaan." Dit voorkomt dat je wordt overspoeld door vals alarm.

2. Voorspellen in de toekomst (Extrapolatie)
Stel je voor dat je het weer wilt voorspellen. Je hebt data van de laatste 100 dagen.

Als je vraagt: "Hoe is het weer over 1 dag?", is de Kennis-score hoog. Je kunt het vertrouwen.
Als je vraagt: "Hoe is het weer over 10 jaar?", zakt de Kennis-score naar 0. De computer zegt: "Ik heb geen data over 10 jaar, mijn voorspelling is nu alleen maar een gok."
Dit helpt wetenschappers om te weten wanneer ze hun voorspellingen moeten stoppen, in plaats van blindelings te vertrouwen op cijfers die niets betekenen.

3. Het invullen van ontbrekende stukjes (Interpolatie)
Stel je een foto voor met een paar zwarte vlekken (ontbrekende data). Je wilt de vlekken invullen met de juiste kleuren.

Als de vlek klein is, is de Kennis-score hoog. De computer kan de randen goed zien en de vlek perfect invullen.
Als de vlek heel groot is (bijvoorbeeld een heel gezicht), zakt de Kennis-score. De computer zegt: "Ik zie de randen niet meer goed, als ik dit invul, maak ik waarschijnlijk een fout."
In het paper gebruiken ze dit voor hartslagmetingen van baby's in de baarmoeder. Als er een groot stukje data ontbreekt, is het beter om dat stukje weg te laten dan om een vals hartslagpatroon te "verzinnen".

Waarom is dit belangrijk?

Vroeger vertrouwden we computers blindelings. Als ze een antwoord gaven, dachten we: "Het moet wel waar zijn."
Dit paper zegt: "Nee, computers moeten ook weten wat ze niet weten."

De Kennis-score is als een waarschuwingslampje op het dashboard van de auto.

Groen lampje (Hoge score): Je mag rijden, je weet waar je heen gaat.
Rood lampje (Lage score): Stop! Je bent de weg kwijt. Ga niet verder met voorspellen, want dan maak je fouten.

Door dit lampje te gebruiken, worden machines veiliger, betrouwbaarder en "slimmer" in het erkennen van hun eigen grenzen. Ze weten wanneer ze moeten zwijgen in plaats van te gissen.

Titel: Betrouwbare Voorspelling met Kenniscores voor Gaussische Processen

Auteurs: Kurt Butler, Guanchao Feng, Tong Chen, en Petar M. Djurić.

1. Probleemstelling

Probabilistische modellen, zoals regressiemodellen, worden vaak gebruikt om voorspellingen te doen in gebieden van de data-ruimte waar geen observaties beschikbaar zijn. Een fundamenteel probleem is echter dat het niet altijd duidelijk is of deze voorspellingen goed onderbouwd zijn door eerder gezien trainingsdata.

Betrouwbaarheid en Extrapolatie: Hoewel modellen hoge nauwkeurigheid kunnen tonen op trainings- of testdata, hangt de betrouwbaarheid van een voorspelling sterk af van de positie van de invoer in de inputruimte ten opzichte van de trainingsdata. Bij extrapolatie (voorspellen buiten de verdeling van de trainingsdata) neemt het vertrouwen van het model af, maar standaard methoden geven vaak geen expliciete waarschuwing wanneer een voorspelling onbetrouwbaar wordt.
Bestaande Benaderingen: Bestaande methoden voor onzekerheidskwantificatie (zoals conformal prediction of Bayesiaanse credible intervals) hebben beperkingen, zoals de noodzaak om arbitraire drempels te definiëren ("wanneer is een interval te groot?") of gevoeligheid voor de ruimtelijke resolutie van clusters.
Doel: Er is behoefte aan een methode die kan aangeven wanneer een model "weet" wat het voorspelt, en wanneer het voornamelijk vertrouwt op de a priori verdeling (prior) omdat er weinig data is.

2. Methodologie: De Kennis Score (Knowledge Score)

De auteurs introduceren de Kennis Score ( $G$ ), een metriek die specifiek is ontwikkeld voor Gaussische Processen (GP) en regressie (GPR). Deze score kwantificeert in welke mate de trainingsdata de onzekerheid over een voorspelling hebben verminderd.

Formulering:
De kennis score wordt gedefinieerd als de verhouding tussen de vermindering van de variantie door het conditioneren op de data ( $D$ ) en de initiële (prior) variantie:

$G(x, D) = \frac{\text{Var}(F(x)|x) - \text{Var}(F(x)|x, D)}{\text{Var}(F(x)|x)}$

Waarbij:

$\text{Var}(F(x)|x)$ de prior variantie is (onwetendheid zonder data).
$\text{Var}(F(x)|x, D)$ de posterior variantie is (onzekerheid na het zien van data $D$ ).

Kernkarakteristieken:

Interpreteerbaarheid en Grenzen: Voor GPR-modellen is $G$ $G$ strikt begrensd tussen 0 en 1.
- $G \approx 1$ : De data heeft de onzekerheid sterk verminderd; het model is goed geïnformeerd.
- $G \approx 0$ : De posterior en prior verdelingen zijn bijna identiek; het model is niet goed geïnformeerd en vertrouwt op de prior.
Onafhankelijkheid: De score is onafhankelijk van de verdeling van de invoer $p(x)$ en vereist geen geobserveerde output $y^*$ om berekend te worden.
Kernel-Afhankelijkheid: De score wordt beïnvloed door de keuze van de kernelfunctie (bijv. RBF, periodiek), wat inzicht geeft in hoe de kernel de vertrouwen in voorspellingen beïnvloedt, vooral bij extrapolatie.

Toepassingsstrategie (Tweestapsbenadering):
Voor taken zoals anomaliedetectie wordt een tweestapsproces voorgesteld (zie Figuur 2 in het artikel):

Stap 1 (Kennis Check): Bereken $G(x, D)$ . Als $G < \rho$ (een drempelwaarde), wordt de voorspelling als "onbekend" gemarkeerd en wordt geen classificatie gemaakt.
Stap 2 (Detectie): Alleen voor punten waar $G \geq \rho$ wordt de daadwerkelijke anomaliedetectie uitgevoerd (bijv. door te kijken of de waarde buiten een bepaald interval valt).

3. Belangrijkste Bijdragen

Concept van Kennis Score: Introductie van een nieuwe, interpreteerbare metriek die de "informatie-inhoud" van een voorspelling kwantificeert, los van de nauwkeurigheid van de voorspelling zelf.
Theoretische Kader: Een wiskundige afleiding die toont dat de score een natuurlijke normalisatie is van de variantiereductie in GPR.
Verbeterde Betrouwbaarheid: Demonstratie dat het filteren van voorspellingen op basis van de kennis score leidt tot significant betere prestaties in kritieke taken.
Open Source: Beschikbaarheid van de code voor replicatie en verdere ontwikkeling.

4. Experimentele Resultaten

De auteurs testen de methode op drie verschillende scenario's:

A. Betrouwbare Anomaliedetectie (Synthetische Data)

Setup: Een GPR-model getraind op data in het bereik $x \in [0, 1]$ . Anomalieën en normale data werden getest, inclusief extrapolatie naar $x > 1$ .
Resultaat: In het gebied $x > 1$ neemt de posterior variantie snel toe, wat resulteert in een lage kennis score. Door punten met een lage kennis score ( $G < \rho$ ) te verwijderen, verbetert de ROC-curve (Receiver Operating Characteristic) van de anomaliedetector aanzienlijk. Het model weigert correct om voorspellingen te doen waar het niet zeker van is.

B. Betrouwbare Extrapolatie (Elektriciteitsverbruik)

Setup: Voorspelling van elektriciteitsverbruik op basis van historische data (UCI dataset) met een GPR-model en een lokaal periodieke kernel.
Resultaat: Naarmate de voorspelling verder in de toekomst ligt (beyond the training cutoff), daalt de kennis score systematisch. Dit biedt een objectieve maatstaf om te bepalen na hoeveel dagen extrapolatie niet meer zinvol is, omdat de voorspelling te vaag wordt (teruggaan naar de prior).

C. Betrouwbare Interpolatie (Foetale Hartslag)

Setup: Interpolatie van ontbrekende data in cardiotocografie (CTG) opnames (foetale hartslag).
Resultaat: De kennis score daalt duidelijk naarmate het ontbrekende segment langer wordt. Dit stelt onderzoekers in staat om een principieel besluit te nemen: korte ontbrekende segmenten kunnen veilig worden geïnterpoleerd (hoge $G$ ), terwijl lange segmenten beter worden verwijderd of niet geïnterpoleerd (lage $G$ ), om vervorming van downstream analyses te voorkomen.

5. Betekenis en Conclusie

Dit artikel biedt een krachtig instrument om de "zelfkennis" van machine learning-modellen te kwantificeren. De kennis score lost het probleem op van het onderscheid tussen een model dat een voorspelling doet op basis van sterke data-onderbouwing versus een model dat "gokt" op basis van de prior.

Praktische Impact: De methode maakt het mogelijk om modellen te laten "weten wanneer ze het niet weten", wat essentieel is voor veiligheidskritische toepassingen zoals medische diagnose, industriële monitoring en autonome systemen.
Toekomstperspectief: De auteurs plannen onderzoek naar de relatie tussen kennis scores en empirische prestaties op specifieke taken, het onderzoeken van informatie-theoretische alternatieven voor variantiereductie, en het loslaten van de Gaussische-aannames.

Kortom, de kennis score transformeert de onzekerheidskwantificatie van een passieve meting naar een actieve filter die de betrouwbaarheid van voorspellingen in real-time kan garanderen.