🤖 AI

Genetic Generalized Additive Models

Dit paper introduceert een framework dat het multi-objectieve genetische algoritme NSGA-II gebruikt om Generalized Additive Models (GAMs) automatisch te optimaliseren, waardoor modellen worden verkregen die zowel nauwkeuriger als eenvoudiger en beter interpreteerbaar zijn dan handmatig ontworpen basismodellen.

Oorspronkelijke auteurs: Kaaustaaub Shankar, Kelly Cohen

Gepubliceerd 2026-02-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kaaustaaub Shankar, Kelly Cohen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Probleemstelling: De "Zwarte Doos" vs. De "Open Boek"

Stel je voor dat je een auto koopt. Je wilt weten hoe snel hij is (de voorspelling), maar je wilt ook precies begrijpen waarom hij die snelheid haalt.

Moderne AI-modellen (zoals neurale netwerken) zijn als een zwarte doos. Ze zijn misschien razendsnel en geven je het perfecte antwoord, maar als je vraagt "Hoe heb je dat gedaan?", zeggen ze: "Ik weet het niet, het is magie."
GAM's (Generalized Additive Models) zijn als een open boek. Ze leggen uit: "De snelheid komt voor 30% van de motor, 20% van de banden en 50% van de weg." Dit is interpreteerbaar.

Het probleem is echter: hoe stel je zo'n "open boek" model in? Als je het te simpel maakt, is het niet nauwkeurig. Als je het te ingewikkeld maakt, wordt het weer een rommelige, onleesbare tekst. Mensen moeten dit tot nu toe handmatig doen, wat heel lastig is.

De Oplossing: De Evolutionaire Architect (NSGA-II)

De auteurs van dit paper hebben een slimme oplossing bedacht: ze gebruiken een Genetisch Algorithm (een soort digitale natuurselectie) genaamd NSGA-II.

Stel je voor dat je een team van 100 architecten (een populatie) hebt die elk een huis ontwerpen.

De Taak: Ze moeten een huis bouwen dat zowel sterk is (nauwkeurige voorspelling) als eenvoudig en overzichtelijk (goed te begrijpen).
De Selectie: Na elke ronde kijken we welke architecten het beste presteren. De slechte ontwerpen worden weggegooid.
De Evolutie: De goede architecten "kruisen" hun ideeën (crossover) en maken kleine, willekeurige aanpassingen (mutatie). Misschien verandert iemand een raam van groot naar klein, of verwijdert iemand een hele vleugel als die niet nodig is.
Het Doel: Na 50 rondes hebben we geen één perfect huis, maar een palet aan opties. Sommige huizen zijn extreem sterk maar wat complex. Andere zijn heel simpel maar net iets minder sterk.

De Twee Doelen: Snelheid vs. Rust

Het algoritme probeert twee dingen tegelijk te minimaliseren:

De Fout (RMSE): Hoe ver zit de voorspelling van de werkelijkheid af? (Hoe minder, hoe beter).
De Complexiteit: Is het model rommelig?
- Sparsiteit: Gebruik je alle 8 deuren in het huis, of zijn er 3 die je gewoon dicht kunt houden? (Minder deuren = makkelijker te begrijpen).
- Onzekerheid: Als je naar het uiterste van een grafiek kijkt, is het model dan eerlijk over zijn twijfel? Een goed model moet zeggen: "Hier ben ik niet zeker van", in plaats van een valse, strakke voorspelling geven.

Het Experiment: De Woningmarkt van Californië

Ze hebben dit getest op de California Housing dataset. Dit is een grote lijst met huizen in Californië, inclusief gegevens zoals inkomen, leeftijd van het huis en locatie. Het doel was om de prijs van een huis te voorspellen.

Ze vergeleken hun "evolutionaire" modellen met:

Een standaard, handmatig ingesteld model (LinearGAM).
Een Decision Tree (een soort "ja/nee-baam" die vaak heel complex wordt).

De Resultaten: De "Knie" van de Kromme

Het mooie van dit onderzoek is dat ze niet zoeken naar één winnaar, maar naar de Pareto-Front. Dit is een lijn met alle mogelijke beste compromissen.

De "Knie"-oplossing: Dit is het puntje op de kromme waar je het meeste krijgt voor je moeite. Je krijgt bijna net zo'n goede voorspelling als het allerbeste model, maar dan met veel minder complexiteit.
Het Resultaat: Hun AI vond modellen die nauwkeuriger waren dan de standaardmodellen, maar veel simpeler en rustiger om naar te kijken.

Een leuk voorbeeld uit de paper:
Stel je voor dat je de invloed van de "Leeftijd van het huis" op de prijs moet uitleggen.

Het standaardmodel tekent een warrige, golvende lijn die elke kleine piek en daling volgt. Het ziet er slim uit, maar het is waarschijnlijk dat het "ruis" (toeval) ziet als een patroon.
Het nieuwe AI-model zegt: "Eigenlijk is deze relatie vrij simpel." Het maakt de lijn recht of maakt de functie zelfs inactief (verwijdert de deur).
Belangrijk: Waar het model twijfelt (bijvoorbeeld bij heel oude huizen waar weinig data is), maakt het de vertrouwensinterval (een soort "twijfel-balk") breed. Het zegt: "Ik weet het hier niet precies." Dit is veiliger dan een model dat doet alsof het alles weet.

Waarom is dit belangrijk?

In de echte wereld (zoals bij het toekennen van leningen of medische diagnoses) willen we geen "zwarte dozen". We willen modellen die:

Eerlijk zijn: Ze geven toe als ze twijfelen.
Simpel zijn: Mensen kunnen begrijpen waarom een beslissing is genomen.
Nauwkeurig zijn: Ze maken weinig fouten.

De auteurs tonen aan dat je met deze genetische methode (NSGA-II) automatisch de perfecte balans vindt tussen deze eisen. Je hoeft niet meer handmatig te gissen; de computer zoekt de beste "architecten" voor je.

Kortom: Ze hebben een slimme robot geconstrueerd die automatisch de beste, makkelijkst te begrijpen voorspellers ontwerpt, zodat we AI kunnen vertrouwen zonder blindelings te moeten geloven wat het zegt.

Titel: Genetische Generalized Additive Models (GAMs)

Auteurs: Kaaustaaub Shankar en Kelly Cohen (Universiteit van Cincinnati)

1. Het Probleem

In steeds meer hoog-risico domeinen (zoals woningwaardebepaling en autonome systemen) is er een dringende behoefte aan machine learning-modellen die niet alleen nauwkeurig zijn, maar ook inherent interpreteerbaar. Hoewel Generalized Additive Models (GAMs) een uitstekend compromis bieden tussen voorspellingsnauwkeurigheid en interpreteerbaarheid, is het handmatig configureren van hun structuur uitdagend.

De kernuitdagingen zijn:

Structuurkeuze: Het bepalen van welke functies ( $f_j$ ) per feature lineair of niet-lineair (spline) moeten zijn, vereist voorafgaande kennis.
Complexiteit vs. Interpretatie: Te complexe modellen (met te veel knopen in splines) zijn moeilijk te begrijpen, terwijl te simpele modellen de data niet goed kunnen vangen.
Post-hoc vs. Inherent: Er is een voorkeur voor modellen die van nature interpreteerbaar zijn, in plaats van modellen die pas achteraf worden verklaard (post-hoc), wat vaak onbetrouwbaar is.

Het doel is om een methode te vinden die automatisch de structuur van GAMs optimaliseert om zowel de voorspellingsfout te minimaliseren als de complexiteit (sparsiteit, gladheid en onzekerheid) te beheersen.

2. Methodologie

De auteurs stellen een raamwerk voor dat NSGA-II (een multi-objectief genetisch algoritme) gebruikt om de hyperparameters en de structuur van GAMs automatisch te optimaliseren.

A. De Genetische Benadering (NSGA-II)

In plaats van één "beste" model te zoeken, evolueert het algoritme een populatie van kandidaat-modellen om een Pareto-front te vinden. Dit is een verzameling van niet-gedomineerde oplossingen die verschillende afwegingen tonen tussen de twee doelstellingen:

Voorspellingsnauwkeurigheid: Gemeten via de Root Mean Square Error (RMSE).
Complexiteitsstraf (Complexity Penalty, $C$ ): Een gewogen combinatie van parameteronzekerheid en sparsiteit.

De complexiteitsstraf wordt als volgt gedefinieerd:
$C = 0.70 \cdot U + 0.30 \cdot S$
Waarbij:

$U$ (Onzekerheidsscore): De gemiddelde breedte van de 95% betrouwbaarheidsintervallen van de actieve termen, genormaliseerd. Smalle intervallen duiden op hogere zekerheid.
$S$ (Sparsiteit): Het aandeel actieve termen ten opzichte van het totale aantal beschikbare features.

B. Chromosoom-Encodering

Elk kandidaat-model wordt gecodeerd als een chromosoom met genen die per feature specificeren:

Type component: Geen (inactive), Lineair, of Spline.
Aantal knopen (knots): Voor spline-functies (bepaalt de flexibiliteit).
Regularisatieparameter ( $\lambda$ ): Bepaalt de gladheid (hoge $\lambda$ = lineair, lage $\lambda$ = flexibel).
Schaal: Of de feature geschaald moet worden.

Het algoritme gebruikt uniforme crossover en adaptieve mutatie om de populatie over 50 generaties te evolueren. De initiatie is "slim" gekozen om een divers begin te garanderen.

C. Dataset

De methode wordt getest op de California Housing dataset (8 features, 1 target: mediane huizenwaarde). De resultaten worden vergeleken met een standaard LinearGAM (alle features als splines met max 25 knopen) en een Decision Tree (als hoog-variatie baseline).

3. Belangrijkste Bijdragen

Geautomatiseerde Structuur-optimalisatie: Het introduceren van NSGA-II om GAM-structuren (type functie, aantal knopen, $\lambda$ ) volledig automatisch te optimaliseren zonder menselijke tussenkomst.
Multi-objectief Optimalisatie: Het succesvol balanceren van RMSE en een nieuwe complexiteitsstraf die sparsiteit, gladheid en onzekerheid combineert.
Verbetert Interpretatie: Het algoritme levert modellen op die niet alleen nauwkeuriger zijn dan baselines, maar ook spijker (minder actieve termen) en eerlijker zijn over onzekerheid (brede betrouwbaarheidsintervallen in extrapolatiegebieden).
Pareto-front Analyse: Het bieden van een spectrum van oplossingen (van "meest nauwkeurig" tot "minst complex") zodat gebruikers kunnen kiezen op basis van specifieke eisen (bijv. regelgeving vs. pure nauwkeurigheid).

4. Resultaten

De experimenten werden uitgevoerd over meerdere random seeds (42, 7, 123, 225, 729).

Nauwkeurigheid: De GA-geoptimaliseerde modellen (specifiek de "knee"-oplossing en de RMSE-optimale oplossing) presteerden consistent beter of gelijk aan de baseline LinearGAM en de Decision Tree in termen van RMSE.
Complexiteit: De GA-modellen hadden een beduidend lagere complexiteitsstraf dan de baselines.
- De "knee"-oplossing (beste afweging) bood vergelijkbare nauwkeurigheid als de LinearGAM, maar met een veel lagere complexiteit.
- De "minst complexe" oplossing was aanzienlijk simpeler, hoewel de nauwkeurigheid iets lager was, maar nog steeds competitief.
Interpretatie van Features:
- Het algoritme wist irrelevante features te verwijderen (sparsiteit), terwijl de baseline vaak complexe, onnodige splines toepaste op ruis.
- Waar het GA-model een feature lineair hield, waren de betrouwbaarheidsintervallen (CI) breder bij de randen van de data. Dit wordt gezien als een voordeel: het signaleert eerlijke onzekerheid in extrapolatiegebieden, in tegenstelling tot de "te strakke" intervallen van de baseline die valse precisie suggereren.
Pareto-front: De grafieken tonen een duidelijke front van niet-gedomineerde oplossingen, wat aantoont dat er geen enkel "perfect" model is, maar een reeks optimale keuzes afhankelijk van de prioriteit (nauwkeurigheid vs. eenvoud).

5. Significantie en Conclusie

Dit werk demonstreert dat NSGA-II een krachtig hulpmiddel is voor het ontwerpen van vertrouwenswaardige AI (Trustworthy AI).

Geen compromis nodig: Het is mogelijk om modellen te creëren die zowel hoogpresterend als inherent interpreteerbaar zijn, mits de zoekruimte wordt geleid door multi-objectief optimalisatie.
Veiligheid: Door onzekerheid expliciet te modelleren (via bredere CI's in onzekere gebieden) en sparsiteit af te dwingen, worden modellen veiliger voor toepassing in kritieke domeinen.
Toekomstperspectief: De auteurs suggereren dat deze aanpak kan worden uitgebreid naar andere interpreteerbare systemen, zoals fuzzy inference systems, en dat caching-strategieën de rekentijd kunnen verminderen.

Kortom, het artikel biedt een robuust raamwerk voor het automatisch vinden van transparante, hoogwaardige modellen die voldoen aan zowel technische prestatie-eisen als maatschappelijke en regelgevende eisen aan interpreteerbaarheid.