💻 computer science

Target-confidence Recourse Using tSeTlin machines: TRUST

Het artikel stelt TRUST voor, een framework dat Probabilistic Tsetlin Machines en Bayesiaanse optimalisatie benut om robuuste, interpreteerbare contrafeitelijke verklaringen te genereren door direct te zoeken naar minimale invoerwijzigingen die voldoen aan door de gebruiker gedefinieerde voorspellingsvertrouwensdoelstellingen, waardoor de fragiliteit van conventionele boundary-crossing recourse-methoden wordt overwonnen.

Oorspronkelijke auteurs: K. Darshana Abeyrathna, Sara El Mekkaoui, Nils Enric Canut Taugbøl, Anuja Vats

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: K. Darshana Abeyrathna, Sara El Mekkaoui, Nils Enric Canut Taugbøl, Anuja Vats

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een lening aanvraagt en de computer van de bank "Nee" zegt. Je vraagt: "Wat moet ik veranderen om een 'Ja' te krijgen?"

De meeste huidige AI-systemen geven een suggestie die het absolute minimum bevat: "Als u uw inkomen met slechts $1 verhoogt, zal de computer zijn beslissing veranderen naar 'Ja'."

Dit noemt de paper een "boundary-hugging" (grens-nabije) tegenfeitelijkheid. Het is alsof je vlak aan de rand van een klif staat. Technisch gezien sta je aan de veilige kant, maar een klein briesje (een kleine fout in de data of een lichte verandering in het model) kan je direct weer de afgrond in blazen. Het is een fragiele "Ja".

TRUST is een nieuwe methode voorgesteld door onderzoekers bij DNV die het spel verandert. In plaats van te vragen: "Wat is de kleinste verandering om een Ja te krijgen?", vraagt het: "Wat is de kleinste verandering om een vertrouwde Ja te krijgen?"

Hieronder legt de paper dit uit aan de hand van eenvoudige analogieën:

1. Het doel: Van de "rand van de klif" naar "diep in de vallei"

Op de oude manier wil de AI alleen dat je de lijn oversteekt. Bij de TRUST-methode zeg je tegen de AI: "Ik wil niet alleen de lijn oversteken; ik wil dat je 80% zeker bent dat ik veilig ben."

De analogie: Stel je voor dat je door een mistig bos loopt.
- Oude methode: De AI vertelt je om één stap naar voren te zetten. Je bent nu technisch gezien op het "veilige pad", maar je bent nog steeds in de mist. Als je een beetje struikelt, kun je terugvallen in de gevarenzone.
- TRUST-methode: Je zegt tegen de AI: "Ik wil lopen tot ik in een open plek ben waar ik 90% zeker weet dat ik niet verdwaal." De AI kan je vertellen dat je vijf stappen moet zetten in plaats van één. Je bent nu dieper in de veilige zone. Als je struikelt, ben je nog steeds veilig.

2. De motor: De "logische puzzel" machine (Tsetlin Machine)

Om dit te doen, gebruikten de onderzoekers geen standaard "black box" AI (zoals een diep neuraal netwerk) die een getal geeft maar niet uitlegt waarom. Ze gebruikten iets dat een Probabilistic Tsetlin Machine (PTM) wordt genoemd.

De analogie: Denk aan een standaard AI als een goochelaar die een konijn uit een hoed tovert. Je ziet het konijn (het resultaat), maar je weet niet hoe het is gebeurd.
De PTM: Denk aan de PTM als een team van logische detectives. Elke detective heeft een specifieze regel, zoals: "Als de aanvrager jonger is dan 73 EN weinig lymfeklieren heeft, dan is de kans op overleving groot."
- Deze detectives zeggen niet alleen "Ja" of "Nee". Ze zeggen: "Ik ben 90% zeker dat deze regel van toepassing is," of "Ik ben slechts 50% zeker."
- De uiteindelijke beslissing is een stemming onder alle detectives.

3. De superkracht: Zien waarom de ene optie beter is

Dit is de meest unieke claim van de paper. Omdat de AI bestaat uit deze logische detectives, kan TRUST uitleggen waarom de ene suggestie betrouwbaarder is dan de andere, zelfs als ze op elkaar lijken.

Het scenario: Stel je voor dat twee mensen een lening willen.
- Persoon A past het inkomen net genoeg aan om net de regel te halen.
- Persoon B past het inkomen iets meer aan om de regel comfortabel te halen.
De oude AI: Zou kunnen zeggen: "Persoon A is beter omdat zij minder hebben veranderd."
TRUST: Kijkt naar de "detectives" en zegt: "Het succes van Persoon A hangt af van een regel die erg wankel is. Als hun data licht verandert, werkt die regel misschien niet meer. Het succes van Persoon B rust op regels die zeer solide zijn. Hoewel Persoon B meer heeft veranderd, is hun 'Ja' veel stabieler."

De paper noemt dit "Clause-Level Attribution" (toeschrijving op clauseniveau). Het is alsoaf je onder de motorkap van een auto kunt kijken en precies kunt zien welk motoronderdeel wankelt, in plaats van alleen te weten dat de auto rijdt.

4. De resultaten: Een beetje extra inspanning voor grote veiligheid

De onderzoekers testten dit op echte gegevens (zoals het voorspellen van overleving na een operatie) en op gegenereerde gegevens.

De bevinding: Wanneer ze vroegen om een resultaat met een "hoge mate van vertrouwen" (bijv. 92% zeker), suggereerde de AI veranderingen die iets groter waren dan het absolute minimum.
De beloning: Deze suggesties waren veel robuuster. Wanneer de onderzoekers "ruis" (gesimuleerde fouten of kleine veranderingen) aan de data toevoegden, faalden de "bare minimum"-suggesties vaak en werden ze weer een "Nee". De "hoge vertrouwens"-suggesties bleven een "Ja".

Samenvatting

TRUST is een hulpmiddel waarmee je tegen een AI kunt zeggen: "Ik wil niet alleen een ja; ik wil een stabiele, betrouwbare ja."

Het gebruikt een speciaal type AI die bestaat uit logische regels (zoals een team van detectives) om de kleinste verandering te vinden die je moet maken om dat niveau van veiligheid te bereiken. Het geeft toe dat je soms iets meer moet veranderen om een resultaat te krijgen waar je echt op kunt vertrouwen, en het legt precies uit waarom die extra verandering je uitkomst veiliger maakt.

Wat de paper NIET claimt:

Het claimt niet dat dit voor elke vorm van AI werkt (het gebruikt specifiek de Tsetlin Machine).
Het claimt niet dat dit een medische genezing is of een gegarandeerde manier om in de echte wereld een lening goedgekeurd te krijgen; het is een onderzoeksframework dat op datasets is getest.
Het zegt niet dat dit sneller is dan huidige methoden (sterker nog, het merkt op dat het langzamer kan zijn omdat het complexere zoekopdrachten uitvoert).

Technische Samenvatting: Target-Confidence Recourse Using tSeTlin Machines (TRUST)

Probleemstelling

Counterfactual explanations (CEs) zijn het standaardmechanisme voor het bieden van algoritmische recourse in besluitvormingssystemen met een hoge inzet (bijv. kredietgoedkeuring, klinische risicostratificatie). De gangbare formulering van recourse streeft naar de minimale verandering aan een input $x$ die vereist is om de beslissing van een model van negatief naar positief te keren. Formeel is dit een optimalisatieprobleem waarbij de afstand $d(x, x')$ wordt geminimaliseerd onder de voorwaarde dat de voorspelde waarschijnlijkheid $M(x') \geq 0,5$ .

Het artikel identificeert twee kritieke beperkingen in deze binaire formulering:

Fragiliteit: Counterfactuals die gegenereerd worden nabij de beslissingsgrens (waar $M(x') \approx 0,5$ ) zijn vaak instabiel onder ruis, modelupdates of perturbaties. Ze voldoen technisch gezien wel aan de voorwaarde van de labelomkering, maar falen in de praktijk door een lage vertrouwensmarge.
Mismatch met Besluitvorming: Real-world beslissingssystemen hanteren vaak expliciete vertrouwensdrempels (bijv. het vereisen van 80% vertrouwen voor goedkeuring). Bestaande methoden kunnen niet direct vragen beantwoorden zoals: "Wat is de minimale verandering om goedkeuring te verkrijgen met ten minste 80% vertrouwen?" Zij behandelen vertrouwen als een post-hoc eigenschap in plaats van een door de gebruiker gespecificeerd optimalisatietarget.

Hoewel eerder werk indirecte aandacht heeft besteed aan robuustheid via margebeperkingen of buurtgeldigheid, en uncertainty-aware methoden (zoals CLUE of probabilistische certificaten) bestaan, stelt geen enkele methode de gebruiker in staat om een gewenst vertrouwensniveau direct als een primaire beperking tijdens de generatie van recourse op te geven.

Methodologie: Het TRUST-framework

De auteurs stellen TRUST voor (Target-confidence Recourse Using tSeTlin machines), een framework dat recourse herformuleert als een target-confidence probleem.

1. Probleemformulering

In plaats van $d(x, x')$ te minimaliseren onder de voorwaarde $M(x') \geq 0,5$ , zoekt TRUST naar een counterfactual $x'$ die de kosten $d(x, x')$ minimaliseert onder een door de gebruiker gedefinieerde target confidence $\tau \in (0,5, 1)$ en een tolerantie $\epsilon$ :
$\min_{x'} d(x, x') \quad \text{onder de voorwaarde} \quad |M(x') - \tau| \leq \epsilon$
Deze formulering generaliseert standaard CEs (hersteld wanneer $\tau = 0,5$ ) en maakt het mogelijk om expliciet recourse-opties te genereren bij variërende vertrouwensniveaus, wat een principieel trade-off-analyse tussen kosten en robuustheid mogelijk maakt.

2. Model Instantiatie: Probabilistic Tsetlin Machine (PTM)

Om dit framework te instantiëren, maken de auteurs gebruik van een Probabilistic Tsetlin Machine (PTM) gekoppeld aan Bayesian Optimization (BO).

Waarom PTM? In tegen tegenover black-box probabilistische classifiers (zoals gekalibreerde neurale netwerken) waar confidence scores geen directe interpreteerbaarheid hebben, deelt de PTM voorspellingen op in menselijk interpreteerbare logische clausules met probabilistische activaties. Deze structuur stelt het model in staat om feature-veranderingen direct te koppelen aan verschuivingen in de voorspellingsvertrouwen.
Waarom Bayesian Optimization? De zoekruimte voor counterfactuals is niet-convex en potentieel duur om te evalueren, vooral met stochastische modellen. BO wordt ingezet om efficiënt de inputruimte te doorzoeken, waarbij exploratie en exploitatie worden gebalanceerd om kandidaten te vinden die de target confidence $\tau$ matchen terwijl de afstand wordt geminimaliseerd. Theoretische garanties onder regulariteitsvoorwaarden garanderen asymptotische optimaliteit.

3. Clause-Level Counterfactual Attribution

Een duidelijke bijdrage van het TRUST-framework is het vermogen om clause-level attributie uit te voeren. Wanneer meerdere counterfactuals dezelfde target confidence bereiken maar verschillen in kosten of stabiliteit, stelt de PTM-structuur de beoefenaars in staat om deze verschillen te herleiden naar specifieke logische regels.

Het framework analyseert de "firing probabilities" van individuele clausules.
Het identificeert of een counterfactual regels robuust vervult (diep binnen de probabilistische grenzen van de regel) of fragiel (nabij de rand van een regelvoorwaarde).
Dit biedt een mechanistische verklaring voor waarom de ene recourse-optie betrouwbaarder is dan de andere, een capaciteit die afwezig is bij feature-level verklaringen van black-box modellen.

Belangrijkste Bijdragen

Target-Confidence Formulering: Het artikel introduceert Eq. (2) als de eerste CE-doelstelling waarbij de voorspellingsvertrouwen een door de gebruiker gespecificeerde beperking is in plaats van een emergente eigenschap. Dit verschuift het paradigma van "minimale labelomkering" naar "minimale verandering voor een specifiek risiconiveau".
Clause-Level Attributie: Door gebruik te maken van de PTM, maken de auteurs een nieuwe verklarende laag mogelijk die feature-level veranderingen verbindt met confidence-verschuivingen via interpreteerbare logische clausules. Dit ondersteunt de vergelijking van concurrerende recourse-opties op basis van de stabiliteit van de onderliggende beslissingsregels.
Robuustheid door Ontwerp: Het framework vestigt een praktische link tussen confidence-aware counterfactuals en robuustheid. Door direct hogere confidence-niveaus te targeten, wordt robuustheid bereikt door constructie (door dieper in de positieve klasse-regio te bewegen) in plaats van door post-hoc filtering.

Experimentele Resultaten

De auteurs evalueerden TRUST op twee synthetische datasets (2D en 5D) en twee real-world datasets (Iris binaire classificatie en Haberman Survival). Ze vergeleken TRUST (PTM + BO) met standaard gradiënt-gebaseerde (Wachter) en sampling-gebaseerde (GrowingSpheres) baselines uit de CARLA library.

Belangrijkste Bevindingen:

Robustness vs. Cost Trade-off: TRUST maakt expliciete controle over de trade-off mogelijk. Bij een lagere target confidence ( $\tau=0,50$ ) produceert TRUST counterfactuals met minimale afstand (vergelijkbaar met of beter dan baselines). Bij een hogere target confidence ( $\tau=0,85$ ) genereert TRUST counterfactuals die significant robuuster zijn tegen ruis (het bereiken van 100% robuustheid op verschillende benchmarks) terwijl ze een lage recourse-kosten behouden.
Prestatie-metrieken: Op de Haberman dataset bereikte TRUST een L2-afstand van 0,10 bij 0,92 confidence met perfecte robuustheid, waarmee het baselines versloeg die moeite hadden om een hoge confidence te behouden zonder de robuustheid op te offeren.
Interpreteerbaarheid: Kwalitatieve analyse op de Haberman dataset toonde aan dat twee counterfactuals die dezelfde logische regel vervullen (bijv. "Positieve lymfeklieren $\leq 4$ ") zeer verschillende betrouwbaarheid kunnen hebben. De clause-level analyse van TRUST onthulde dat een counterfactual met lymfeklieren = 4 fragiel was (nabij de regelgrens), terwijl een met lymfeklieren = 2 robuust was, wat het verschil in de stabiliteit van de confidence mechanistisch verklaart.

Betekenis en Claims

Het artikel claimt dat TRUST een confidence-aware en interpreteerbaar fundament biedt voor algoritmische recourse in omgevingen met een hoge inzet. De betekenis ligt in:

Verschuiving van de Optimalisatiedoelstelling: Het overstappen van binaire labelomkering naar het voldoen aan door de gebruiker gedefinieerde risicodrempels, wat beter aansluit bij regulatoire en praktische besluitvormingsbehoeften (bijv. EU AI Act, GDPR).
Mechanistische Verklaring: In tegen tegenover eerdere methoden die alleen feature-level veranderingen bieden, legt TRUST uit waarom een recourse-optie robuust of fragiel is door de stabiliteit van de onderliggende logische regels (clausules) bloot te leggen.
Praktisch Nut: Het stelt besluitvormers in staat om tussen recourse-opties te kiezen op basis van een transparant kosten-confidence-robustness spectrum, in plaats van gedwongen te worden de "goedkoopste" optie te accepteren die mogelijk instabiel is.

De auteurs blijven bescheiden over beperkingen en merken op dat het framework steunt op goed gekalibreerde probabilistische voorspellingen, dat de huidige implementatie (PTM) een computationele overhead heeft vergeleken met gradiënt-gebaseerde methoden, en dat bredere validatie over grotere benchmarks toekomstig werk is. Zij stellen echter dat het voorgestelde framework er succesvol in is geslaagd de kloof tussen theoretische recourse en stabiele, actiegerichte besluitvormingsondersteuning te overbruggen.