🤖 machine learning

Interpretable Quantile Regression by Optimal Decision Trees

Dit paper introduceert een nieuwe methode voor het leren van een set optimale kwantielregressiebomen die een volledige, interpreteerbare en robuuste voorspelling van de conditionele verdeling van een doelvariabele mogelijk maakt zonder aannames over de verdeling en zonder in te leveren op algoritmische efficiëntie.

Oorspronkelijke auteurs: Valentin Lemaire, Gaël Aglin, Siegfried Nijssen

Gepubliceerd 2026-04-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Valentin Lemaire, Gaël Aglin, Siegfried Nijssen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een weerman bent, maar in plaats van alleen te zeggen: "Morgen wordt het 20 graden", wil je ook weten: "Is het waarschijnlijk dat het 25 graden wordt? Of juist 15? En hoe groot is de kans op een storm?"

Normale voorspellingsmodellen in kunstmatige intelligentie (AI) doen vaak net als die simpele weerman: ze geven één getal. Maar in het echte leven is één getal niet genoeg. Soms wil je weten wat de minimale verwachting is (bijvoorbeeld: hoeveel voorraad moet ik minimaal hebben om niet tekort te komen?), en soms de maximale (hoeveel kan het hoogstens kosten?).

Dit artikel introduceert een slimme nieuwe manier om AI-modellen te bouwen die niet één voorspelling geven, maar het hele plaatje van de onzekerheid. Ze noemen dit QDL8.5.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Gemiddelde" Leugen

Stel je voor dat je een boomplantje hebt. Een traditionele AI (een "decision tree") kijkt naar de grond, de zon en de regen, en zegt: "Dit plantje wordt 1 meter hoog." Dat is het gemiddelde.
Maar wat als de grond slecht is? Dan wordt het misschien maar 30 cm. Wat als het perfect is? Dan wordt het 1,5 meter. De "gemiddelde" boom van 1 meter bestaat misschien wel, maar hij is niet de realiteit voor jouw specifieke situatie.

In de oude methoden moest je kiezen: wil je een model dat altijd te laag voorspelt (veilig voor voorraad) of altijd te hoog (veilig voor kosten)? Je moest één knop omdraaien. Dat is lastig.

2. De Oplossing: De "Kleurenboog" van Voorspellingen

De auteurs van dit papier zeggen: "Waarom kiezen? Laten we een hele reeks voorspellingen doen."
Ze bouwen een model dat niet één boom is, maar een set van bomen.

Boom 1 zegt: "Er is 10% kans dat het lager is dan..." (een conservatieve schatting).
Boom 2 zegt: "Er is 50% kans..." (het gemiddelde).
Boom 3 zegt: "Er is 90% kans dat het lager is dan..." (een optimistische schatting).

Door al deze bomen samen te nemen, krijg je een kleurenboog van mogelijke uitkomsten. Je ziet niet alleen het gemiddelde, maar ook hoe breed de spreiding is. Is het een smalle boog? Dan is de voorspelling zeker. Is het een brede boog? Dan is het onzeker.

3. De Magie: Hoe doen ze dit zonder duizeling?

Hier komt het slimme deel. Normaal gesproken zou je voor elke "boom" (elk percentage) een hele nieuwe berekening moeten doen. Als je 100 bomen wilt, moet je 100 keer hard werken. Dat kost veel tijd en rekenkracht.

De auteurs hebben een truc bedacht (een algoritme genaamd QDL8.5).
Stel je voor dat je een enorme bibliotheek hebt met boeken.

De oude manier: Je loopt voor elk boek apart de hele bibliotheek in om te zoeken. Als je 100 boeken wilt, loop je 100 keer heen en weer.
De nieuwe manier (QDL8.5): Je loopt de bibliotheek slechts één keer binnen. Terwijl je loopt, noteer je tegelijkertijd de informatie voor alle 100 boeken. Je gebruikt dezelfde gangen en dezelfde planken voor alles.

Dankzij slimme wiskunde (die ze "optimal decision trees" noemen) vinden ze de beste bomen voor alle percentages tegelijk, terwijl ze maar één keer door de data "wandelen". Het is alsof je 100 verschillende routes tegelijk kunt plannen zonder dat je langer onderweg bent dan voor één route.

4. Waarom is dit zo mooi? (Interpreteerbaarheid)

Veel slimme AI-modellen zijn een "zwarte doos": je ziet de uitkomst, maar niet hoe ze erbij kwamen.
Deze nieuwe methomen gebruikt beslissingsbomen. Dat zijn als een stroomschema:

"Is de temperatuur boven de 20 graden? Ja -> Ga naar tak A. Nee -> Ga naar tak B."

Omdat deze bomen zo simpel zijn, kan een mens ze lezen en begrijpen.
Het mooie is: de bomen voor de verschillende percentages lijken op elkaar. De boom voor "10% kans" en de boom voor "90% kans" zijn bijna hetzelfde, alleen op de randen iets anders.
Dit betekent dat je niet 100 bomen hoeft te lezen om het systeem te begrijpen. Je leest er een paar, en je begrijpt het hele plaatje. Het is alsof je een boek leest: de hoofdstukken lijken op elkaar, maar vertellen een iets ander deel van het verhaal.

Samenvatting in één zin

Dit papier introduceert een slimme manier om AI-modellen te bouwen die niet één getal voorspellen, maar het hele bereik van mogelijke uitkomsten (van "erg slecht" tot "erg goed"), en dat doen ze zo snel en duidelijk dat een mens het makkelijk kan begrijpen en vertrouwen.

Waarom is dit belangrijk?
Voor een supermarkt betekent dit: "We weten dat we 100 broden nodig hebben, maar met 90% zekerheid hebben we er 120 nodig, dus we kopen 120 in om geen klanten teleur te stellen." Dat is slimmer en veiliger dan alleen kijken naar het gemiddelde.

Probleemstelling

In het veld van machine learning is er een groeiende behoefte aan modellen die niet alleen nauwkeurig zijn, maar ook interpreteerbaar en robust. Bestaande post-hoc interpretatietechnieken zijn vaak complex en falen in het volledig uitleggen van het beslissingsproces van AI-systemen. Traditionele beslisbomen worden doorgaans getraind met een Mean Squared Error (MSE) heuristiek en voorspellen slechts het gemiddelde van de doelvariabele. Dit biedt geen inzicht in de volledige conditionele verdeling van de data.

Quantile-regressie kan hier oplossing bieden door in plaats van een gemiddelde, specifieke percentielen (bijv. de 10e of 90e percentiel) te voorspellen. Dit is cruciaal voor toepassingen waar onder- of overschatting bewust gewenst is (bijv. voorraadbeheer). Echter, er is geen consensus over efficiënte heuristieken voor het groeien van beslisbomen die quantile-loss minimaliseren. Bovendien vereist het trainen van een enkele quantile-bom de keuze van één specifieke parameter $q$ , wat beperkt inzicht geeft in de totale verdeling. Het trainen van meerdere bomen voor verschillende $q$ -waarden met bestaande methoden is vaak computatievriendelijk inefficiënt.

Methodologie: Quantile DL8.5 (QDL8.5)

De auteurs introduceren QDL8.5, een extensie van het DL8.5-algoritme (een methode voor het vinden van optimale beslisbomen via branch-and-bound en dynamische programmering).

Kernprincipes:

Gelijktijdig Leren van Bomen: In plaats van voor elke quantile ( $q$ ) een aparte zoektocht te starten, leert QDL8.5 een set van optimale bomen tegelijkertijd. Het algoritme verkent de zoekruimte van mogelijke bomen slechts één keer, ongeacht het aantal te leren quantiles.
Optimalisatie van de Zoekruimte:
- Het algoritme gebruikt een cache (hashmap) om itemsets (combinaties van features) op te slaan. Omdat de zoektocht voor verschillende quantiles vaak dezelfde itemsets tegenkomt, worden berekeningen hergebruikt.
- De pruning-strategie (het afkappen van onnodige takken) wordt aangepast: een tak wordt alleen afgekapt als alle zoektochten voor alle quantiles geen oplossing vinden of als de bovengrens voor alle quantiles is bereikt.
Efficiënte Berekening van Quantile-Loss:
- De grootste kostenpost is het berekenen van voorspellingen en fouten. De auteurs sorteren de data eerst op de doelvariabele $y$ .
- Hierdoor kunnen quantile-waarden in $O(1)$ tijd worden berekend (in plaats van $O(N)$ ).
- De quantile-loss (een additieve functie) kan worden herschreven zodat deze alleen de sommen van waarden boven en onder de voorspelling vereist. Door de gesorteerde data één keer te traverseren, kunnen de fouten voor alle quantiles simultaan worden berekend met een tijdscomplexiteit van $O(N + |q|)$ , wat effectief $O(N)$ is.
Output: Voor elke steekproef wordt een array van quantile-waarden gegenereerd. Deze kunnen worden gebruikt om een geschatte kansdichtheidsfunctie (PDF) te construeren, bijvoorbeeld via Kernel Density Estimation (KDE).

Belangrijkste Bijdragen

Algoritmische Uitbreiding: Een nieuwe versie van DL8.5 die in staat is om voor meerdere quantiles tegelijk een optimale boom te vinden door de zoekruimte slechts één keer te verkennen. Dit vermindert de rekentijd drastisch ten opzichte van het trainen van bomen individueel.
Efficiëntie: Het bewijs dat het leren van vele bomen (voor verschillende quantiles) bijna geen extra computatiekosten met zich meebrengt vergeleken met het leren van één enkele boom.
Interpreteerbaarheid en Robuustheid: Het bieden van een model dat de volledige conditionele verdeling beschrijft zonder aannames over de vorm van die verdeling, terwijl de bomen zelf diep genoeg zijn om voor een mens te analyseren.
Empirische Validatie: Een uitgebreide evaluatie op synthetische en real-world datasets (Luchtkwaliteit, Zonnevlekken, Beursportefeuille) vergeleken met state-of-the-art methoden zoals Quantile Random Forests (QRF) en CaDET.

Resultaten

De experimenten tonen de volgende resultaten:

Nauwkeurigheid: QDL8.5 presteert consistent op het niveau van of beter dan de concurrenten (QRF en CaDET) op alle gebruikte metrieken, waaronder Mean Integrated Squared Error (MISE), Negative Log Likelihood (NLL), Mean Quantile Error (MQE) en Continuous Ranked Probability Score (CRPS).
Efficiëntie: Figuur 1 in het paper toont aan dat de uitvoeringstijd van de "naive" versie (losse training) lineair toeneemt met het aantal bomen. De QDL8.5-versie blijft daarentegen vrijwel onafhankelijk van het aantal bomen. Bij het trainen van 5 bomen is er al een snelheidswinst van factor 4,74.
Interpreteerbaarheid: Analyse van de Jaccard-index tussen de partities van de verschillende bomen toont aan dat bomen voor nabijgelegen quantiles zeer vergelijkbaar zijn. Dit betekent dat een analist slechts een klein aantal bomen hoeft te inspecteren om inzicht te krijgen in de hele verdeling. De bomen voor de staarten van de verdeling (extreme percentielen) verschillen wel van het midden, wat de noodzaak van quantile-regressie onderstreept.

Betekenis en Conclusie

Dit werk is significant omdat het een brug slaat tussen optimale beslisbomen (die vaak als te traag worden gezien voor complexe taken) en quantile-regressie (die nodig is voor robuuste voorspellingen en risicomanagement).

De methode lost het dilemma op tussen nauwkeurigheid, interpretatie en rekentijd. Door de volledige conditionele verdeling te modelleren via een set van kleine, interpreteerbare bomen, krijgen gebruikers niet alleen een voorspelling, maar ook inzicht in de onzekerheid en de vorm van de data. Dit maakt het model bijzonder geschikt voor domeinen waar vertrouwen en inzicht in het beslissingsproces cruciaal zijn, zoals in de gezondheidszorg, bedrijfsstrategie en risicobeheer.