🤖 machine learning

ASAT: Adaptive Scoring and Thresholding with Human Feedback for Robust Out-of-Distribution Detection

Dit artikel stelt ASAT voor, een human-in-the-loop-framework dat scorefuncties en drempelwaarden dynamisch aanpast met behulp van real-world out-of-distribution-feedback om de true positive rates te maximaliseren terwijl de false positive rates strikt worden gecontroleerd, waardoor het bestaande methoden in robuuste OOD-detectie overtreft.

Oorspronkelijke auteurs: Daisuke Yamada, Harit Vishwakarma, Ramya Korlakai Vinayak

Gepubliceerd 2026-08-07

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daisuke Yamada, Harit Vishwakarma, Ramya Korlakai Vinayak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de kapitein bent van een ruimteschip dat door een dicht, mistig asteroïdengestel navigeert. De computer van je schip is ongelooflijk slim, maar hij is alleen getraind om de specifieke vormen van de asteroïden te herkennen die hij tijdens zijn trainingskamp zag. Terwijl je dieper de ruimte in vliegt, kom je vreemde, nieuwe objecten tegen: zwevende ijsblokjes, gloeiende kwallen en metalige wolken. Dit zijn "out-of-distribution" (OOD) inputs — dingen die de computer nog nooit heeft gezien. Als de computer een gevaarlijk, onbekend object aanziet voor een veilige asteroïde, zou je schip kunnen crashen. Dit is de kern van het probleem van Out-of-Distribution (OOD) detectie: de AI leren om te zeggen: "Ik weet niet wat dit is," in plaats van te gokken en potentieel een fatale fout te maken.

Om dit op te lossen, bouwen wetenschappers meestal een "scorekaart"-systeem. De computer geeft elk object een score: hoge scores betekenen "ik weet zeker dat dit een normale asteroïde is," en lage scores betekenen "dit ziet er vreemd uit." Ze trekken vervolgens een lijn, een threshold (drempelwaarde) genoemd, om te beslissen wanneer het alarm afgaat. Als de score onder de lijn ligt, stopt het schip en wordt er om hulp gevraagd aan een menselijke expert. Het lastige deel is het bepalen van die lijn. Als je de lijn te hoog zet, mis je mogelijk gevaarlijke objecten (een "false negative"). Als je de lijn te laag zet, stop je het schip voor elk klein steentje, wat tijd en brandstof verspilt (een "false positive"). In veiligheidskritische banen zoals medische diagnoses of zelfrijdende auto's kan een false positive net zo erg zijn als een false negative; je wilt niet dat een arts een gezonde patiënt vertelt dat hij kanker heeft, noch wil je dat een auto een echt obstakel negeert.

Dit artikel, getiteld ASAT, pakt het probleem aan van hoe je die scorekaart en de alarmlijn perfect houdt, zelfs wanneer het universum om het schip heen verandert. De auteurs, Daisuke Yamada, Harit Vishwakarma en Ramya Korlakai Vinayak, stellen een nieuw systeem voor dat niet alleen een regel instelt en het vervolgens vergeet. In plaats daarvan creëerden ze een "human-in-the-loop"-framework dat direct leert. Ze ontdekten dat oude methoden, die vertrouwen op een vaste scorekaart en een statische lijn, vaak falen wanneer de "vreemde" objecten in de loop van de tijd veranderen. Hun nieuwe aanpak, ASAT, werkt zowel de scorekaart als de alarmlijn constant bij op basis van realtime feedback van menselijke experts, waardoor het systeem veilig blijft terwijl het slimmer wordt.

Het probleem met "Instellen en Vergeten"

Stel je voor dat je een bewaker bent in een museum. Je krijgt een lijst met beroemde schilderijen (de "in-distribution" of ID-data) en krijgt de opdracht om iedereen te stoppen die een vervalsing vasthoudt. Je maakt een regel: "Als het schilderij voor meer dan 95% lijkt op een echt exemplaar, laat ze dan door." Dit is hoe de meeste huidige AI-systemen werken. Ze zijn getraind op bekende data en stellen een drempelwaarde in om 95% van de echte zaken te vangen.

Maar hier is de crux: het artikel wijst erop dat deze methode een groot gat in je beveiliging laat. Terwijl je bezig bent met het vangen van 95% van de echte schilderijen, laat je misschien per ongeluk 90% van de vervalsingen binnen omdat je regel aan de "vreemde" kant te los was. In de wereld van AI wordt dit een hoge False Positive Rate (FPR) genoemd. In een medische context betekent dit dat de AI een gezond persoon kan vertellen dat hij een tumor heeft, wat onnodige paniek en dure tests veroorzaakt. Het artikel betoogt dat het simpelweg streven naar een hoge "True Positive Rate" (het vangen van de goede zaken) zonder de "False Positive Rate" (niet vals alarm slaan) strikt te controleren, gevaarlijk is.

Bovendien is de oude manier rigide. Stel je voor dat het museum een nieuw type vervalsing begint te ontvangen: hologrammen. Je oude regel, ontworpen voor papieren vervalsingen, werkt misschien helemaal niet op hologrammen. Het systeem komt vast te zitten, niet in staat om zich aan te passen omdat het nooit is geleerd om zijn regels te veranderen zodra de deuren openstonden.

Ontmoet ASAT: De Adaptieve Beveiliger

De auteurs stellen ASAT voor (Adaptive Scoring and Thresholding with Human Feedback). Zie ASAT niet als een robot met een statisch regelboek, maar als een detective die leert van elke zaak.

Zo werkt de magie:

De Scorekaart (Scoring Function): In plaats van een vaste formule te gebruiken om te beoordelen hoe "vreemd" een object is, kan ASAT zijn eigen formule herschrijven. Als het steeds weer een specifiek type vreemd object verkeerd identificeert, vraagt het een menselijke expert: "Hé, is dit een vervalsing?" Als de mens zegt: "Ja, dat is een hologram," werkt ASAT zijn interne scorekaart bij om hologrammen de volgende keer beter te herkennen.
De Alarmlijn (Threshold): De lijn die bepaalt wanneer het schip stopt, is ook niet statisch. ASAT beweegt deze lijn omhoog of omlaag om ervoor te zorgen dat er nooit meer dan een klein, veilig percentage vervalsingen doorheen glipt (het strikt controleren van de FPR).
De Menselijke Lus: Het systeem is slim genoeg om te weten wanneer het onzeker is. Als een object zich net op de rand van de alarmlijn bevindt, pauzeert ASAT en vraagt een mens om het werkelijke label. Deze menselijke feedback is de brandstof die de updates aandrijft.

Het artikel laat zien dat ASAT een "human-in-the-loop"-framework is. Het raadt niet alleen; het leert. Wanneer er een nieuw type OOD-data verschijnt (zoals de hologrammen), past ASAT zijn scoringfunctie en drempelwaarde gelijktijdig aan.

Wat ze vonden: Slimmer en Veiliger

De onderzoekers hebben ASAT getest op een beroemde benchmark genaamd OpenOOD, waarbij ze datasets zoals CIFAR-10 (die fungeert als de "normale" data) en diverse andere datasets gebruikten als de "vreemde" data. Ze vergeleken ASAT met twee andere methoden:

FSFT: Een vaste scorekaart en een vaste drempelwaarde (de oude, rigide manier).
FSAT: Een vaste scorekaart maar een adaptieve drempelwaarde (een middenweg).

In hun experimenten waren de resultaten duidelijk. De oude vaste methoden (FSFT) hadden vaak zeer hoge false positive rates, waarbij ze soms tussen de 32% en 91% van de "vreemde" data als normaal beschouwden. Dat is een ramp voor de veiligheid. De FSAT-methode deed het beter bij het beheersen van de valse alarmen, maar omdat het zijn scorekaart niet kon veranderen, miste het veel van de "vreemde" objecten die een slimmer systeem wel had kunnen identificeren.

ASAT slaagde er echter in om beide te doen. Het hield de false positive rate strikt onder de doelstelling van 5% (de veiligheidslimiet) en verbeterde tegelijkertijd de True Positive Rate aanzienlijk. In sommige tests verbeterde ASAT het vermogen om de "vreemde" objecten te vangen met meer dan 40% ten opzichte van de beste vaste methoden.

Het artikel keek ook naar wat er gebeurt als de "vreemde" objecten plotseling veranderen (een niet-stationaire setting). Stel je voor dat het museum van de ene nacht naar de andere overschakelt van papieren vervalsingen naar hologrammen. De oude systemen raken in de war en laten vervalsingen door. ASAT merkt echter snel dat het patroon is verschoven. Het gebruikt de nieuwe menselijke feedback om zowel de scorekaart als de drempelwaarde bij te werken, waardoor het weer in een veilige staat komt met slechts een korte, tijdelijke piek in fouten voordat het zich aanpast.

Het Veiligheidsnet: Hoe ze weten dat het werkt

Je vraagt je misschien af: "Als het systeem zijn eigen regels verandert, hoe weten we dan dat het niet kapot gaat?" De auteurs hebben niet alleen simulaties gedraaid en gehoopt op het beste; ze hebben een wiskundig veiligheidsnet gebouwd. Ze hebben theoretisch bewezen dat zolang de "vreemde" objecten een tijdje hetzelfde blijven (stationaire condities), ASAT garandeert dat de false positive rate te allen tijde onder de limiet van de gebruiker (bijv. 5%) blijft.

Ze gebruikten een slim statistisch instrument genaamd een "time-uniform confidence sequence". Stel je een veiligheidsnet voor dat rekt en krimpt terwijl je over een koord loopt. Zelfs terwijl het systeem leert en verandert, zorgt dit wiskundige net ervoor dat de kans op een val (een fout maken) nooit de veilige limiet overschrijdt. Ze lieten zien dat, hoewel het systeem leert van data die afhankelijk is van zijn eigen eerdere beslissingen (een lastige situatie voor de wiskunde), de veiligheidsgarantie standhoudt.

De Conclusie

Het artikel concludeert dat ASAT een krachtige stap voorwaarts is voor AI-veiligheid. Het lost de twee grootste hoofdpijndossiers van de huidige OOD-detectie op: de neiging tot te veel valse alarmen en het onvermogen om te leren van nieuwe, onbekende dreigingen. Door het systeem toe te staan zijn "scorekaart" en "alarmlijn" aan te passen met de hulp van menselijke experts, creëert ASAT een systeem dat niet alleen veiliger is, maar ook efficiënter, omdat het minder menselijke tussenkomst nodig heeft naarmate het beter wordt in zijn werk.

Hoewel de auteurs opmerken dat hun huidige garanties ervan uitgaan dat de "vreemde" data enigszins consistent blijft, en dat ruis in de menselijke feedback een uitdaging kan zijn, hebben ze de grondslag gelegd voor een toekomst waarin AI-systemen veilig door het onbekende kunnen navigeren, waarbij ze in realtime leren en zich aanpassen zonder hun veiligheidsbarrières te verliezen.

Technische Samenvatting: ASAT – Adaptieve Scoring en Drempelwaarde met Menselijke Feedback voor Robuuste Out-of-Distribution Detectie

Probleemstelling

Machine learning-modellen worden doorgaans getraind onder de 'closed-world' aanname, waarbij de testdata dezelfde distributie volgt als de trainingsdata (In-Distribution, of ID). Echter, in veiligheidskritische implementaties komen modellen frequent Out-of-Distribution (OOD) inputs tegen—datapunten die niet tot een van de trainingsklassen behoren. Het niet detecteren van deze inputs kan leiden tot catastrofale fouten (bijv. het verkeerd diagnosticeren van een patiënt).

Huidige OOD-detectiemethoden lijden onder twee primaire beperkingen:

Ongecontroleerde Vals-Positieve Ratio's (FPR): Standaard benaderingen ontwerpen scoringfuncties en stellen drempelwaarden vast uitsluitend op basis van ID-data om een doelstelling voor de True Positive Rate (TPR) te bereiken. Dit laat de FPR (het onterecht classificeren van OOD als ID) vaak ongecontroleerd, wat leidt tot gevaarlijk hoge percentages valse alarmen in veiligheidskritische toepassingen.
Gebrek aan Adaptiviteit: OOD-inputs in de echte wereld zijn divers en evolueren in de loop van de tijd. Vaste scoringfuncties en drempelwaarden, die alleen geoptimaliseerd zijn op de initiële ID-data, falen vaak bij het generaliseren naar nieuwe, ongeziene OOD-distributies die tijdens de implementatie worden aangetroffen, wat resulteert in een suboptimale TPR.

Het doel is om een systeem te ontwikkelen dat de FPR strikt controleert en tegelijkertijd adaptief de TPR maximaliseert door gebruik te maken van menselijke feedback op real-world OOD-inputs.

Methodologie: ASAT Framework

De auteurs stellen ASAT voor (Adaptive Scoring and Adaptive Threshold), een human-in-the-loop framework dat zowel de scoringfunctie als de beslissingsdrempel dynamisch bijwerkt tijdens de implementatie.

Workflow

Scoring en Sampling: In elke tijdstap $t$ $t$ scoort het systeem een input $x_t$ $x_{t}$ met behulp van de huidige scoringfunctie $\hat{g}_{t-1}$ $\overset{g}{^}_{t - 1}$ en drempelwaarde $\hat{\lambda}_{t-1}$ $\hat{λ}_{t - 1}$ .
- Als de score onder de drempelwaarde ligt, wordt de input gemarkeerd als OOD.
- Als de score boven de drempelwaarde ligt, wordt de input gemarkeerd als ID.
- Importance Sampling: Om de FPR onbevooroordeeld te schatten, vraagt het systeem om een menselijke label voor inputs die als OOD zijn gemarkeerd met een waarschijnlijkheid van 1, en voor inputs die als ID zijn gemarkeerd met een kleine waarschijnlijkheid $p$ .
Leren (Periodieke Updates): ASAT werkt niet bij elke stap om computationele overhead te vermijden. Updates vinden alleen plaats wanneer een voldoende groot aantal nieuwe OOD-samples ( $\Delta^{(ood)}_t$ $Δ_{t}^{(oo d)}$ ) is verzameld.
- Doelstelling: Het systeem lost een geconstrueerd optimalisatieprobleem op om een nieuwe scoringfunctie $g$ en drempelwaarde $\lambda$ te vinden die de TPR maximaliseren onder een FPR-restrictie ( $\leq \alpha$ ).
- Relaxatie: Omdat de ware distributies onbekend zijn, gebruikt het systeem empirische schattingen van TPR en FPR afgeleid van de verzamelde ID- en OOD-samples. De niet-differentieerbare indicatorfuncties worden gerelaxeerd met sigmoid-surrogaten om gradiëntgebaseerde optimalisatie mogelijk te maken.
- Modelselectie: Een nieuwe scoringfunctie wordt pas geïmplementeerd als deze een statistisch significante verbetering in TPR vertoont ten opzichte van het vorige model, om te garanderen dat updates de prestaties niet verslechteren.
Drempelwaarde Schatting (Veiligheidsgarantie): Zelfs nadat de scoringfunctie is geoptimaliseerd, kan de onbeperkte oplossing de FPR-limiet schenden. Om strikte FPR-controle te garanderen, hanteert ASAT een drempelwaarde schattingsstap (gebaseerd op de FSAT-methode). Het berekent een veilige drempelwaarde $\hat{\lambda}_t$ door een Uniformly Valid Upper Confidence Bound (UCB) op de FPR-schatting te construeren. Dit zorgt ervoor dat, met een hoge waarschijnlijkheid, de werkelijke FPR onder de door de gebruiker gespecificeerde tolerantie $\alpha$ blijft.

Theoretische Garanties

Het artikel biedt theoretische garanties voor FPR-controle onder stationaire condities (waarbij de OOD-distributie $D_0$ vaststaat).

Tijd-Uniforme Betrouwbaarheid: De auteurs leiden een tijd-uniforme betrouwbaarheidsreeks af met behulp van martingale-gebaseerde uitbreidingen van de Wet van de Grote Getallen (LIL). Dit houdt rekening met de afhankelijkheden die worden geïntroduceerd door importance sampling en tijdvariërende scoringfuncties.
Resultaat: Met een waarschijnlijkheid van ten minste $1-\delta$ blijft de FPR van het ASAT-systeem op alle tijdstippen $t$ onder de gespecificeerde drempel $\alpha$ , zelfs wanneer de scoringfunctie evolueert.

Belangrijkste Bijdragen

Framework Design: Introductie van ASAT, een framework dat zowel scoringfuncties als drempelwaarden adaptief aanpast met behulp van menselijke feedback, in contrast met de FSFT en FSAT baselines.
Theoretische Veiligheid: Het bieden van formele theoretische garanties die de FPR-controle op alle tijdstippen garanderen onder stationaire condities, ondanks de dynamische aard van de scoringfunctie.
Empirische Validatie: Uitgebreide evaluaties op OpenOOD benchmarks die aantonen dat ASAT bestaande methoden overtreft door hogere TPR's te bereiken terwijl strikte FPR-controle behouden blijft.

Experimentele Resultaten

De auteurs hebben ASAT geëvalueerd op OpenOOD benchmarks met gebruik van CIFAR-10 als de ID-dataset en diverse OOD-datasets (CIFAR-100, Places365, etc.).

Stationaire Settings

FPR Controle: In tegen tegenoverking van FSFT, dat hoge FPR's vertoonde (vaak 32%–91%) wanneer er werd gestreefd naar een hoge TPR, hielden zowel FSAT als ASAT de FPR's consistent onder de doelstelling van 5%.
TPR Prestaties: Hoewel ASAT aanvankelijk achterliep op FSAT vanwege de bredere betrouwbaarheidsintervallen die vereist zijn voor adaptieve scoring, overtrof ASAT uiteindelijk FSAT. ASAT behaalde aanzienlijk hogere TPR's dan FSAT (bijv. een relatieve verbetering van meer dan 40% in sommige settings) door scoringfuncties te leren die beter afgestemd zijn op de specifieke gevolgde OOD-data.
Convergentie: De empirische TPR van ASAT convergeerde naar de optimale TPR die haalbaar is door een scoringfunctie die getraind is op zowel ID als OOD data.

Niet-Stationaire Settings

Adaptatie aan Verschuivingen: Wanneer de OOD-distributie verschoof (bijv. van "Far-OOD" naar "Near-OOD"), demonstreerde ASAT het vermogen om te adapteren.
Transiënte Schendingen: In scenario's waarin de nieuwe OOD moeilijker te onderscheiden was van ID, ervoer ASAT transiënte FPR-schendingen. Echter, het paste zichzelf snel aan qua scoringfunctie en drempelwaarde om de FPR onder de limiet te reduceren, waarbij het consequent een hogere TPR bereikte dan FSAT, zowel vóór als na de verschuiving.
Windowing: Het gebruik van een sliding window voor OOD-samples stelde ASAT in staat om sneller te adapteren aan distributieverschuivingen, waarbij een deel van de optimaliteit werd ingeruild voor snellere reactietijden.

Betekenis en Claims

Het artikel claimt dat ASAT het kritieke gat in OOD-detectie aanpakt waar veiligheid (FPR-controle) en adaptiviteit (maximaliseren van de TPR voor evoluerende OOD) vaak wederzijds uitsluitend zijn in bestaande methoden.

Veiligheid: Door de optimalisatie van de scoringfunctie te ontkoppelen van de drempelwaarde-veiligheidscheck, zorgt ASAT ervoor dat het systeem de FPR-restrictie nooit in gevaar brengt, een cruciale vereiste voor veiligheidskritische domeinen.
Adaptiviteit: Door menselijke feedback te gebruiken om de scoringfunctie zelf bij te werken, overwint ASAT de beperkingen van statische modellen, waardoor het systeem zijn detectiecapaciteiten kan verbeteren naarmate het nieuwe soorten OOD-data tegenkomt.
Practicaliteit: Het framework is ontworpen voor online implementatie, waarbij een balans wordt gevonden tussen computationele efficiëntie (periodieke updates) en rigoureuze statistische garanties.

De auteurs positioneren ASAT als een stap richting robuuste, zelfverbeterende ML-systemen die veilig kunnen opereren in open-world omgevingen waar datadistributies niet statisch zijn.