🤖 machine learning

Evidential Rule Learning for Interpretable Classification with Abstention

Dit artikel introduceert Fast Evidential Rule Learning (FERL), een methode die interpreteerbare fuzzy-regelmodellen genereert die in staat zijn om evidentiële outputs, gladde Lipschitz-stabiliteit en betrouwbare onthouding te bieden in een enkele deterministische pass, terwijl het een state-of-the-art nauwkeurigheid en robuuste out-of-distribution detectieprestaties bereikt over diverse benchmarks.

Oorspronkelijke auteurs: Javier Fumanal-Idocin, Javier Andreu-Perez

Gepubliceerd 2026-08-07

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Javier Fumanal-Idocin, Javier Andreu-Perez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kunst van Weten Wanneer Je Het Niet Weet

Stel je voor dat je door een dicht bos wandelt en een wegwijzer tegenkomt. Een standaard wegwijzer wijst je met absolute zekerheid één richting op: "Ga naar links." Maar wat als het pad mistig is, of de wegwijzer gebarsten is? Een werkelijk wijze gids zou niet simpelweg gokken; die zou zeggen: "Ik weet het niet zeker, misschien moet je naar links, misschien naar rechts, of misschien moet ik gewoon stoppen en vertellen dat ik niet kan beslissen." Dit is de kern van een groeiend vakgebied binnen de computerwetenschap genaamd interpretable machine learning (interpreteerbaar machinaal leren). Jarenlang waren computers uitstekend in het doen van voorspellingen, maar ze gedragen zich vaak als "black boxes" — ze geven een antwoord zonder uit te leggen waarom, en ze geven zelden toe wanneer ze in de war zijn.

Om dit op te lossen, bouwen wetenschappers modellen die transparant zijn, zoals een glazen doos waarin je de tandwielen ziet draaien. Een kernconcept hierbij is bewijs (evidence). Beschouw bewijs niet als een enkele stem, maar als een verzameling aanwijzingen. Als je een stapel aanwijzingen hebt die naar "Links" wijzen, ben je zelfverzekerd. Als de aanwijzingen gemengd zijn, ben je onzeker. Een ander essentieel idee is abstention (onthouding): het vermogen van een model om te zeggen: "Ik weet het niet," in plaats van een foutieve gok te wagen. Dit is cruciaal in reële situaties, zoals bij medische diagnoses of zelfrijdende auto's, waar een zelfverzekerde fout veel erger is dan een voorzichtige pauze. De vraag die dit artikel behandelt is simpel maar moeilijk: Kunnen we een computermodel bouwen dat gemakkelijk te begrijpen is, nauwkeurige gokken doet, en precies weet wanneer het de handen in de lucht moet steken en zegt: "Ik heb meer informatie nodig"?

De "Fast Evidential Rule Learner" (FERL)

Maak kennis met FERL (Fast Evidential Rule Learning), een nieuwe methode geïntroduceerd door Javier Fumanal-Idocin en Javier Andreu-Perez. Stel je een detective voor die een mysterie probeert op te lossen. Ouderwetse detectives (zoals standaard beslissingsbomen) kijken misschien naar een aanwijzing en roepen direct: "Het is de butler!" zelfs als het bewijs wankel is. Andere moderne detectives gebruiken complexe, onzichtbare neurale netwerken die geweldig zijn in gokken, maar slecht in het uitleggen van hoe ze tot die conclusie kwachten.

FERL is als een detective die een zeer georganiseerd notitieboekje bijhoudt. Het gebruikt fuzzy rules (vage regels), die lijken op flexibele "als-dan"-beweringen. In plaats van een harde "Als de temperatuur boven de 30°C is," zegt het: "Als de temperatuur een beetje warm is." Terwijl de detective een pad door hun notitieboekje volgt (een boom van regels), verzamelt hij aanwijzingen. Hier zit de magische truc: FERL verzamelt niet alleen aanwijzingen om een gok te doen; het verzamelt aanwijzingen om te meten hoeveel het weet.

In dit systeem heeft elke aanwijzing een "firing strength" (activatiekracht). Als een aanwijzing sterk is, voegt deze veel gewicht toe aan een specifieke verdachte (een klasse-label). Als een aanwijzing zwak of afwezig is, voegt het gewicht toe aan "onwetendheid" — het idee dat we simpelweg nog niet genoeg informatie hebben. Wanneer de detective alle aanwijzingen combineert, krijgt hij niet slechts één antwoord. Hij krijgt een belief (overtuiging - hoe zeker men is), een plausibility (waarschijnlijkheid - hoe mogelijk het is), en een set of possibilities (set van mogelijkheden). Als de aanwijzingen te chaotisch zijn, wordt de "onwetendheid" zo zwaar dat de detective besluit zich te onthouden en zegt: "Ik kan niet beslissen."

Het artikel spreekt zich uit tegen de gangbare praktijk van "post-hoc kalibratie". Dit is als het achteraf proberen te plakken van een "betrouwbaarheidsscore" op een reeds voltooide, zelfverzekerde voorspelling. De auteurs laten zien dat dit vaak onbetrouwbaar is, vooral wanneer de computer iets nieuws tegenkomt (zoals een kat in een wereld waar hij alleen honden heeft gezien). In plaats daarvan bouwt FERL het vertrouwen en het vermogen om zich te onthouden direct in de regels in terwijl het leert. Het is als het bouwen van een auto met remmen die onderdeel zijn van de motor, in plaats van ze er later aan toe te voegen.

Wat FERL heeft gevonden

De onderzoekers testten FERL op 30 verschillende datasets (verzamelingen van gegevens met getallen en categorieën, zoals medische dossiers of sportstatistieken). Ze ontdekten dat FERL niet alleen gemakkelijk te lezen is, maar ook ongelooflijk nauwkeurig.

Nauwkeurigheid: De "diepe" versie van FERL bereikte een gemiddelde nauwkeurigheid van 83,23% over deze 30 datasets. Dit was statistisch beter dan bijna elke andere regelgebaseerde methode die ze testten, inclusief klassieke tools zoals CART en C4.5.
Grootte: Ondanks deze nauwkeurigheid was FERL verrassend klein. De "compacte" versie gebruikte minder dan 6 regels om een nauwkeurigheid van 77,77% te behalen, terwijl een standaard boom meer dan 250 regels nodig had voor een vergelijkbare score.
De "Ik weet het niet"-superkracht: Wanneer de gegevens verwarrend waren of buiten wat het model eerder had gezien (Out-of-Distribution), gokte FERL niet zomaar fout. Het identificeerde de verwarring correct. In tests waarbij het "nieuwe" data moest detecteren die het nog nooit had gezien, behaalde FERL een AUROC van 77,7, wat net zo goed is als de meest gespecialiseerde, complexe detectoren die hiervoor gebouwd zijn.
Set-voorspellingen: In plaats van één antwoord te gokken, geeft FERL vaak een "set" van waarschijnlijke antwoorden (bijv. "Het is ofwel een kat of een hond"). Wanneer ze maten hoe nuttig deze sets waren, scoorde FERL 0,80 (bij een standaard kortingsniveau), waarmee het andere methoden versloeg die óf te zelfverzekerd gokten óf te vaag waren.

Het artikel testte FERL ook op beeldgegevens, maar niet door direct naar pixels te kijken. In plaats daarvan gebruikten ze een systeem dat de afbeelding eerst beschrijft aan de hand van menselijke concepten (zoals "heeft vleugels" of "is rood") en vervolgens FERL gebruikt om de uiteindelijke beslissing te nemen. In deze opstelling kon FERL niet alleen de afbeelding classificeren, maar ook aanwijzen welke attributen vreemd of afwijkend waren. Bijvoorbeeld, als een foto van een vogel "vleugels" heeft maar "geen poten", kon FERL die specifieke tegenstrijdigheid signaleren.

De Kernconclusie

FERL bewijst dat je geen gigantische, verwarrende "black box" nodig hebt om slimme, betrouwbare resultaten te krijgen. Door fuzzy logica te gebruiken om elke regel te veranderen in een stuk bewijs, leert het model van nature zelfverzekerd te zijn wanneer dat moet, en te zeggen "Ik weet het niet" wanneer het bewijs dun is. Het is snel, het is klein en het is eerlijk over zijn eigen onzekerheid. De auteurs suggereren dat deze aanpak een manier biedt om AI te bouwen die niet alleen nauwkeurig is, maar ook betrouwbaar en transparant, in staat om beslissingen uit te leggen en de eigen grenzen te kennen zonder dat er extra, ingewikkelde toevoegingen nodig zijn.

Technische Samenvatting: Evidential Rule Learning met Abstention (FERL)

1. Probleemstelling

Interpreteerbare classificatiemodellen, zoals beslisbomen en regel lijsten, zijn essentieel in domeinen met hoge inzet waar beslissingen gerechtvaardigd moeten kunnen worden. Standaard boomgebaseerde classifiers (bijv. CART, C4.5) lijden echter vaak aan overmatige zelfverzekerdheid, waarbij ze harde klassenlabels of lokale distributies leveren zonder een betrouwbare verantwoording van het bewijs dat de beslissing ondersteunt. Bovendien ontbreken mechanismen om te onthouden (abstention) wanneer het bewijs onvoldoende is.

Bestaande benaderingen om betrouwbaarheid te verbeteren kampen met significante beperkingen:

Post-hoc Kalibratie: Methoden zoals temperature scaling of isotonische regressie passen waarschijnlijkheden aan, maar kwantificeren niet het onderliggende bewijs of ondersteunen principiële abstention niet. Ze presteren vaak slecht onder distributieverschuivingen.
Onzekerheidsschatting: Sampling-gebaseerde methoden (bijv. MC-dropout) vereisen herhaalde inferentie, terwijl deterministische onzekerheidsmethoden (DUMs) vaak vertrouwen op neurale architecturen die spectrale fijnafstemming vereisen en kunnen falen bij het detecteren van "near-OOD" inputs die overlappen met de trainingsmanifold. Daarnaast geven deze methoden doorgaans scalaire onzekerheidsscores uit zonder symbolische verklaringen voor waarom een geval twijfelachtig is.
Credal Classifiers: Hoewel er enkele boomgebaseerde credal classifiers bestaan, vertrouwen deze vaak op imprecise leaf-frequentie schattingen, wat leidt tot miskalibratie, of vereisen ze complexe post-hoc aanpassingen.

Het artikel adresseert de behoefte aan een model dat tegelijkertijd interpreteerbaar (regelgebaseerd), evidential (biedt geloof, plausibiliteit en onwetendheid) en in staat tot abstention is, alles binnen één enkele deterministische pass zonder hulp-heads of uit de training gehouden kalibratiesets.

2. Methodologie: Fast Evidential Rule Learning (FERL)

FERL is een fuzzy rule-tree learner die Dempster–Shafer (DS) theorie direct integreert in het proces van regelverwerving.

2.1 Fuzzy Tree Constructie

FERL laat een classificatieboom groeien waarbij interne knopen een kenmerk (feature) en een fuzzy set toewijzen.

Fuzzy Splits: Parameters voor splits worden geleerd met behulp van een bootstrapping-procedure om statistische robuustheid te garanderen. Voor diepere bomen vindt het algoritme Gini-optimale snedes in resamples om een fuzzy partitie te bepalen, gedefinieerd door een mediaan drempelwaarde ( $\theta$ ) en een robuuste spreidingsmaat ( $h$ ).
Begrensde Support: Om valse zelfverzekerdheid op out-of-distribution (OOD) data te voorkomen, wordt de support van de fuzzy membership functies zacht begrensd aan het feature-bereik dat tijdens de training is geobserveerd. Punten die buiten dit bereik vallen, zien hun firing strength afnemen naar nul, wat de "onwetendheid" van het model vergroot.
Geometrisch Bewustzijn: Om near-OOD inputs te detecteren (nieuwe klassen die de trainingsmanifold overlappen), modelleert FERL niet-gesplitste features op elke knoop met behulp van een diagonale Gaussische verdeling, gewogen door de firing strength van het pad. Dit maakt de identificatie van specifieke anomale attributen mogelijk.

2.2 Generatie van Evidential Output

In FERL emitteert elke geactiveerde knoop $o$ een DS massafunctie op de frame of discernment $\Theta$ :

Toewijzing van Massa: De firing strength $\phi_o(x)$ fungeert als een betrouwbaarheidskorting. De knoop plaatst massa $\phi_o(x) p_o(c)$ op klasse $c$ en de resterende massa $1 - \phi_o(x)$ op de gehele frame $\Theta$ (wat onwetendheid vertegenwoordigt).
Combinatie: Actieve knopen worden gecombineerd met behulp van Dempster's regel van combinatie.
- In compacte bomen worden interne knopen en bladeren gecombineerd.
- In diepe bomen worden alleen bladeren gecombineerd om het "afhankelijkheidsprobleem" te vermijden, waarbij gecorreleerd bewijs uit geneste knopen de onwetendheid kunstmatig naar nul drijft.
Voorspelling:
- Puntvoorspelling: Afgeleid van de pignistische transformatie van de gecombineerde massa.
- Set-Valued Voorspelling: Afgeleid via interval dominantie ( $Pl(c) \ge \max_{c'} Bel(c')$ ). Als de voorspellingsset de gehele frame $\Theta$ dekt, onthoudt (abstain) het model zich van een voorspelling.
- Analytische Vorm: Het artikel leidt een gesloten vorm expressie af voor de gecombineerde massa, waarbij wordt aangetoond dat herhaalde combinatie de onwetendheid monotoon verkleint wanneer het bewijs niet vacuüm is.

2.3 Stabiliteitsanalyse

De auteurs bewijzen dat FERL Lipschitz stabiel is. De ongenormaliseerde evidentiële massa's zijn Lipschitz continu met betrekking tot de input, met een constante die afhankelijk is van de boomdiepte ( $D$ ), het aantal gecombineerde knopen ( $K$ ) en de maximale helling van de fuzzy memberships ( $\lambda$ ). Dit zorgt ervoor dat kleine input perturbaties resulteren in vloeiende variaties in de evidentiële outputs.

3. Belangrijkste Bijdragen

Natuurlijke Evidential Rule Learner: FERL is de eerste model dat functioneert als een interpreteerbare regel-learner, een credal classifier met abstention, en een OOD-detector in één enkele deterministische pass. Het berekent geloof, plausibiliteit en abstention direct uit fuzzy memberships zonder hulp-heads of herhaalde inferentie.
Closed-Form Karakterisering: Het artikel biedt een analytische verantwoording van de boomconstructie en de evidentiële voorspelling, inclusclusief een lokale stabiliteitscertificaat gecontroleerd door fuzzy band breedtes en een bewijs dat de combinatie van geneste knopen de onwetendheid monotoon verkleint.
Brede Empirische Evaluatie:
- Tabulaire Data: Getest op 30 diverse datasets.
- Beelddata: Geïntegreerd in Concept Bottleneck Models (CBM's) op CUB en AwA2 datasets, werkend op conceptvectoren om menselijk begrijpbare attribuut-niveau diagnostiek te bieden.

4. Experimentele Resultaten

4.1 Tabulaire Classificatie

Nauwkeurigheid vs. Complexiteit: Op 30 tabulaire datasets bereikte FERL-deep (200 regels) een gemiddelde nauwkeurigheid van 83,2%, wat statistisch significant beter is dan andere regel-learners (bijv. CART op 79,8%, NeuRules op 79,3%) en de prestaties van niet-interpreteerbare ensembles zoals Random Forest (86,6%) en Gradient Boosting (85,6%) dichter nadert dan andere interpreteerbare methoden.
Efficiëntie: FERL-deep traint in 0,26s en voert inferentie uit in 1,5ms, wat aanzienlijk sneller is dan andere evidentiële of neurale regel-learners (bijv. FUCS duurt 140s om te trainen).
Set-Valued Voorspelling: FERL-deep behaalde de beste utility-discounted accuracy ( $u_{65}=0,80, u_{80}=0,83$ ) onder de credal classifiers, met een hoge set-dekking (0,92) en kleinere gemiddelde setgroottes vergeleken met conformal baselines.
OOD Detectie: FERL-deep kwam overeen met toegewijde OOD-detectoren (77,7 AUROC vs. 77,4 voor kNN afstand) op leave-one-class-out taken, terwijl het uniek identificeerde welke attributen anomaal waren.

4.2 Concept Bottleneck Integratie

Nauwkeurigheid: In CBM-settings bereikte FERL-deep (met per-concept kalibratie) 86,28% op CUB-20 en 65,18% op CUB-200, waarmee het CART en concept-beperkte Logistische Regressie overtreft.
OOD in Open-World: In detector-class-disjoint settings bleef FERL competitief met toegewijde detectoren. Op AwA2 behaalde het 86,2 AUROC (binnen 2,0 punten van kNN) en de beste AUPR-Out (68,3) en unseen-class rejection (57,2%), terwijl het ook de specifieke anomale attributen benoemde.

5. Betekenis en Claims

Het artikel claimt dat FERL er succesvol in slaagt de kloof te overbruggen tussen hoge prestaties bij classificatie en rigoureuze interpreteerbaarheid. Door evidentiële redenering direct in fuzzy rule learning in te bedden, vermijdt FERL de valkuilen van post-hoc kalibratie en de computationele overhead van sampling-gebaseerde onzekerheid.

Betrouwbaarheid: Het model biedt een "natuurlijk" mechanisme voor abstention en onzekerheidskwantificatie dat robuust is tegen distributieverschuivingen en in staat is om zowel geometrische als attribuut-niveau anomalieën te detecteren.
Interpreteerbaarheid: In tegenstelling tot black-box onzekerheidsmethoden, worden de abstention en onzekerheid van FERL verklaard door specifieke fuzzy regels en attributen, wat het geschikt maakt voor domeinen met hoge inzet waar begrijpen waarom een model onzeker is even belangrijk is als de voorspelling zelf.
Schaalbaarheid: De methode is computationeel efficiënt en biedt een levensvatbaar alternatief voor complexe neurale onzekerheidsmodellen voor tabulaire en concept-gebaseerde beelddata.

De auteurs concluderen dat een enkele FERL-head auditeerbare regels, evidentiële abstention en attribuut-niveau novelty diagnostiek kan bieden zonder de noodzaak van een hulp-onzekerheidsmodel.