🤖 machine learning

Multistage Defer Trees for Hybrid Interpretability: If at First You Can't Succeed, Tree Again

Dit artikel introduceert Multistage Defer Trees, een hybride interpreteerbaarheidsframework dat ijle beslissingsbomen aan elkaar koppelt om de meeste monsters transparant te classificeren, terwijl moeilijke gevallen worden uitgesteld naar opeenvolgende bomen of black-boxmodellen, waardoor een state-of-the-art nauwkeurigheid wordt bereikt zonder de interpreteerbaarheid voor de meerderheid van de gegevens op te offeren.

Oorspronkelijke auteurs: Zakk Heile, Hayden McTavish, Margo Seltzer, Cynthia Rudin

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zakk Heile, Hayden McTavish, Margo Seltzer, Cynthia Rudin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Black Box" versus de "Simpele Kaart"

Stel je voor dat je probeer te navigeren door een stad.

De Black Box: Dit is als een super slimme GPS die elke afkorting, file en wegwerkzaamheid kent. Het brengt je elke keer perfect op je bestemming aan (hoge nauwkeurigheid), maar het vertelt je niet waarom het voor die route heeft gekozen. Het zegt alleen maar: "Sla hier af." Je kunt de logica erachter niet begrijpen.
De Simpele Boom: Dit is als een basis papieren kaart met een paar duidelijke regels: "Als je een rood licht ziet, sla je linksaf. Als je een park ziet, rijd je rechtdoor." Het is makkelijk te begrijpen (interpreteerbaar), maar het raakt vaak de weg kwijt in het complexe verkeer (lagere nauwkeurigheid).

Lange tijd moesten datawetenschappers kiezen: wil je een perfect traject dat je niet kunt begrijpen, of een simpel traject dat misschien faalt?

De Nieuwe Oplossing: Het "Specialistenteam" (Multistage Defer Trees)

De auteurs stellen een nieuwe manier van rijden voor die het beste van twee werelden combineert. In plaats van één bestuurder die alle beslissingen neemt, creëren ze een estafatteam van specialisten.

Denk aan een triage-systeem in een ziekenhuis of een klantenservice met escalatieniveaus:

Fase 1 (De Generalist): De eerste "arts" (een simpele beslisboom) bekijkt de patiënt (de data).
- Als de casus eenvoudig is (bijv. een gebroken arm), behandelt de arts dit direct en stuurt de patiënt naar huis. Dit is interpreteerbaar omdat de regel simpel is: "Gebroken arm = gips."
- Als de casus vreemd of ingewikkeld is (bijv. een zeldzame, verwarrende set symptomen), zegt de arts: "Ik weet het niet zeker. Ik ga dit overdragen (defer) aan de volgende specialist."
Fase 2 (De Specialist): De tweede arts ontvangt alleen de moeilijke gevallen die de eerste arts niet kon afhandelen. Omdat zij alleen de lastige zaken zien, kunnen ze iets complexer zijn, maar ze zijn nog steeds een simpele boom.
- Zij lossen de meeste van deze gevallen op.
- Als een casus nog steeds te vreemd is voor hen, dragen ze het over naar de volgende fase.
De Laatste Fase (De Black Box): Als de casus zo ongelooflijk complex is dat zelfs de tweede specialist er niet uitkomt, wordt het uiteindelijk doorgegeven aan de "Black Box" (de super slimme GPS of AI).

Waarom dit een grote doorbraak is

Het artikel beweert dat deze methode drie grote problemen oplost:

1. De meeste mensen krijgen een simpele uitleg.
In dit systeem wordt 90% (of meer) van de data afgehandeld door de eerste of tweede simpele boom. Je krijgt een duidelijke, menselijk leesbare regel voor bijna elke beslissing. Je gebruikt de "Black Box" alleen voor de kleine fractie data die echt onmogelijk is om simpel uit te leggen.

2. De "Black Box" wordt kleiner en simpeler.
Normaal gesproken moet een Black Box enorm groot zijn om alles aan te kunnen. Maar hier hoeft de Black Box alleen de kleine, specifieke groep "vreemde" gevallen te behandelen die de simpele bomen niet konden oplossen.

Analogie: Stel je een bibliotheek voor. Normaal heb je een enorme, chaotische bibliotheek nodig om elk boek te vinden. Maar als je een simpele kaartcatalogus hebt die 99% van de boeken sorteert in "Fictie" en "Non-fictie", dan hoeft de "Speciale Sectie" alleen de 1% aan obscure, vreemde boeken te bevatten. Die Speciale Sectie kan veel kleiner en gemakkelijker te beheren zijn.

3. Het leert gaandeweg.
Het artikel beschrijft een trainingsproces waarbij het team samen leert.

Eerst trainen ze de Black Box.
Daarna trainen ze de eerste simpele boom om de makkelijke zaken op te vangen en de rest naar de Black Box door te geven.
Vervolgens trainen ze de volgende simpele boom om de zaken op te vangen die de eerste boom heeft gemist, enzovoort.
Cruciaal is dat ze een "afstand"-truc gebruiken. Als een datapunt dicht bij een "moeilijke casus" ligt, geeft het systeem deze tijdens de training extra aandacht, zodat de simpele bomen echt goed worden in het afhandelen van de "grensgevallen", zodat ze de zaken niet naar de Black Box hoeven door te geven.

De Resultaten

De auteurs hebben dit getest op veel verschillende datasets (zoals het voorspellen van fietsverhuur, creditcardfraude of de kwaliteit van wijn). Ze ontdekten dat:

Hun "Team van Bomen" bijna net nauwkeurig was als de enorme, complexe Black Box-modellen.
Echter, voor de overgrote meerderheid van de voorspellingen gebruikte het systeem slechts 1 of 2 simpele bomen.
Dit betekent dat je de nauwkeurigheid van het complexe model krijgt met de transparantie van een simpel regelboek voor bijna iedereen.

Samenvattende Metafoor

Stel je een advocatenkantoor voor:

De Oude Manier: Je huurt één "Super Advocaat" in die elke wet in het universum kent. Hij wint elke zaak, maar je hebt geen idee hoe hij zijn argumenten heeft opgebouwd.
De Nieuwe Manier (MDT): Je huurt een team van Junior Associates (Simpele Bomen) in.
- Zij handelen 95% van de zaken af met duidelijke, standaard regels.
- Als een zaak te vreemd is, geven ze het door aan een Senior Partner (de volgende boom).
- Als het nog steeds te vreemd is, geven ze het door aan de Beroemde Expert (de Black Box).
Het Resultaat: Je krijgt een duidelijke uitleg voor 95% van je zaken. De Beroemde Expert hoeft alleen aan de 5% van de zaken te werken die echt onmogelijk zijn, en omdat diegene alleen die 5% ziet, kan het werk veel beter vereenvoudigd en begrepen worden dan wanneer diegene alles alleen moest doen.

Het artikel concludeert dat we niet hoeven te kiezen tussen slim zijn en begrijpelijk zijn. We kunnen beide zijn, door de simpele modellen het zware werk te laten doen en de complexe "magie" te bewaren voor de echt moeilijke problemen.

Technische Samenvatting: Multistage Defer Trees voor Hybride Interpreteerbaarheid

Probleemstelling

De centrale uitdaging in interpreteerbaar machinaal leren is het construeren van modellen die de prestaties van state-of-the-art voorspellende modellen evenaren, terwijl ze tegelijkertijd transparant blijven. Hoewel goed geoptimaliseerde ijle beslissingsbomen (sparse decision trees) in ruisgevoelige domeinen een goede score kunnen behalen, blijft er in veel gevallen een aanzienlijke kloof bestaan tussen nauwkeurigheid en interpreteerbaarheid. In deze gevallen zijn complexe ensembles (bijv. Random Forests, XGBoost) vereist voor een hoge nauwkeurigheid, maar zij missen interpreteerbaarheid. Bestaande hybride benaderingen proberen deze kloof te overbruggen door een eenvoudig model te gebruiken om op de meeste gegevens te voorspellen en moeilijke monsters uit te stellen (deferring) naar een black box. Echter, huidige methoden hebben vaak moeite om de nauwkeurigheid van de black box te behouden zonder het overgrote deel van de monsters uit te stellen, of ze slagen er niet in de interpreteerbaarheid voor de uitgestelde subset te herstellen.

Methodologie

De auteurs introduceren Multistage Defer Trees (MDTs), een modelklasse die complexiteit adaptief toewijst door inputs door een opeenvolging van ijle beslissingsbomen te routeren voordat ze eventueel worden uitgesteld naar een black box.

Kerndefinities

Defer Tree: Een binaire boom waarbij de bladeren gelabeld zijn met ofwel een klassevoorspelling of een defer-actie. Als een blad uitstelt, wordt de voorspelling doorgegeven aan een fallback-model $B$ .
Multistage Defer Tree (MDT): Een geordende sequentie van defer trees $(T_1, \dots, T_K)$ . Een input $x$ wordt geëvalueerd door $T_1$ . Als $T_1$ voorspelt, stopt het proces. Als $T_1$ uitstelt, wordt $x$ doorgegeven aan $T_2$ , enzovoort. Als alle bomen uitstellen, maakt het uiteindelijke fallback-model $B$ (dat een black box of een ijle model kan zijn) de voorspelling.

Trainingsalgoritme

De trainingsprocedure maakt gebruik van een iteratieve, top-down alternerende optimalisatiestrategie:

Initialisatie: Begin met een fallback-model $B$ dat getraind is op de volledige dataset.
Iteratieve Stage Training: Voor stage $j$ wordt een defer tree $T_j$ getraind op de subset van de data die door voorgaande stages is uitgesteld. De objectieffunctie straft misclassificatie, boomcomplexiteit (aantal splits) en uitstel naar de huidige fallback aan.
Fallback Update: Na het trainen van $T_j$ $T_{j}$ wordt de uitgestelde set bijgewerkt. Het fallback-model $B$ $B$ wordt opnieuw getraind op de volledige dataset met behulp van afstand-gebaseerde gewichten.
- Uitgestelde punten ontvangen volledig gewicht.
- Niet-uitgestelde punten worden lager gewogen op basis van hun afstand tot de uitgestelde regio (gemeten in kwantielruimte). Dit stelt het fallback-model in staat om "kracht te lenen" van nabijgelegen punten, wat de generalisatie in de uitgestelde regio verbetert en overfitting op specifieke uitgestelde samples voorkomt.
Feasible Region Tracking: Het algoritme houdt de geometrische intersectie van defer-regio's (as-gealigneerde hyperrechthoeken) bij om splits te filteren die irrelevant zijn voor de huidige uitgestelde regio, wat de efficiëntie verbetert.
Terminatie: Het proces stopt wanneer de uitgestelde set leeg is, stopt met krimpen, of de complexiteitsbudgetten overschrijdt (bijv. totaal aantal bladeren of uitgebreide enkele-boomgrootte).

Compressie en Representatie

Een belangrijke theoretische bijdrage is de Rule-List Representatie van MDTs. Stelling 1 stelt vast dat een MDT met $K$ stages gerepresenteerd kan worden als een regel lijst waarbij elk niet-uitstel blad in enige stage precies één antecedent bijdraagt. Dit resulteert in een compacte representatie die aanzienlijk kleiner is dan regel lijsten afgeleid van standaard ensembles (zoals Random Forests), waarbij antecedenten kunnen groeien met de som van de dieptes over alle bomen.

De auteurs bieden ook algoritmen aan om de MDT te comprimeren tot een enkele defer tree of een regel-lijst representatie door defer-bladeren recursief uit te breiden en splits te verwijderen die gegarandeerd op dezelfde manier evalueren binnen de specifieke subregio van de uitgestelde data.

Belangrijkste Bijdragen

Modelklasse: Introductie van Multistage Defer Trees, die complexiteit adaptief toewijzen op basis van de moeilijkheidsgraad van verschillende regio's in de feature ruimte.
Trainingsalgoritme: Ontwikkeling van een iteratief algoritme dat de uitgestelde regio stapsgewijs verkleint terwijl het gebruik maakt van afstand-gebaseerde herweging om de generalisatie van het fallback-model te verbeteren.
Compressietechnieken: Algoritmen om MDTs te comprimeren naar ijle single-tree of regel-lijst representaties, en methoden om het fallback-model (als dit een tree ensemble is) specifiek voor de uitgestelde subset te comprimeren.
Theoretische Garanties: Bewijzen met betrekking tot de omvang van de regel-lijst representatie en de monotone verbetering van de objectieffunctie tijdens de training.

Experimentele Resultaten

De auteurs hebben MDTs geëvalueerd tegen state-of-the-art tree ensembles (XGBoost, Random Forest), ijle additieve modellen (FIGS) en bestaande hybride baselines (HyRS, CORELS varianten) over 24 datasets.

Nauwkeurigheid vs. Deferral: MDTs kwamen consistent overeen met de prestaties van complexe black-box ensembles (XGBoost) terwijl ze een klein deel van de monsters uitstelden (bijv. $\le 25\%$ ). In veel datasets bereikten MDTs een nauwkeurigheid binnen het 95% betrouwbaarheidsinterval van de beste black-box methode met aanzienlijk lagere uitstelpercentages dan concurrerende hybride modellen.
Interpreteerbaarheid: Het interpreteerbare component van MDTs (de sequentie van bomen) vereiste zeer weinig splits-beslissingen per sample (vaak $\le 5,5$ splits gemiddeld) om bijna black-box prestaties te bereiken.
Compressie: Wanneer het fallback-model een tree ensemble was, toonden de auteurs aan dat het specifiek comprimeren van het fallback-model voor de uitgestelde regio resulteerde in significante reducties in het aantal splits en bladeren die nodig waren, zonder de nauwkeurigheid in die regio op te offeren.
Vergelijking met Baselines: MDTs presteerden beter dan enkele niet-uitstellende bomen en bestaande hybride methoden (zoals HyRS en FLMM) in de nauwkeurigheid-uitstel trade-off, vooral in regimes waar een enkele boom onvoldoende is.

Betekenis en Claims

Het artikel claimt dat MDTs de nauwkeurigheid–interpreteerbaarheid frontier uitbreiden. De auteurs argumenteren dat zelfs wanneer complexe modellen nodig zijn om state-of-the-art nauwkeurigheid te bereiken, deze niet volledig opaak hoeven te zijn. Door de meerderheid van de data door een klein aantal ijle bomen te routeren en de afhankelijkheid van complexe modellen te beperken tot een strikt gecontroleerde regio van de feature ruimte, stellen MDTs beoefenaars in staat om een hoge nauwkeurigheid te handhaven terwijl ze ervoor zorgen dat de meeste beslissingen interpreteerbaar blijven. De methode demonstreert dat de trade-off tussen nauwkeurigheid en interpreteerbaarheid niet noodzakelijkerwijs globaal is; het kan lokaal worden beheerd, waarbij complexiteit alleen wordt toegewezen waar eenvoudige modellen aantoonbaar falen.