📊 statistics

neuralGAM: An R Package for Fitting Generalized Additive Neural Networks

Het artikel introduceert **neuralGAM**, een R-package die de interpreteerbaarheid van deep learning verbetert door Generalized Additive Neural Networks te implementeren, die onafhankelijke neurale netwerken fitten om individuele bijdragen van kenmerken te schatten terwijl een hoge nauwkeurigheid en architecturale flexibiliteit behouden blijven.

Oorspronkelijke auteurs: Ines Ortega-Fernandez, Marta Sestelo

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ines Ortega-Fernandez, Marta Sestelo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij het weer kan voorspellen. Je zou een gigantisch, supercomplex brein voor de robot kunnen bouwen, gevuld met miljoenen kleine verbindingen. Dit "black box"-brein zou de voorspelling bijna elke keer goed kunnen krijgen, maar als je het vraagt: "Waarom denk je dat het gaat regenen?", staart het je misschien alleen maar met een lege blik aan. Het weet wat het moet doen, maar het kan niet uitleggen hoe het tot die conclusie is gekomen. Dit is het beroemde "black-box-probleem" in kunstmatige intelligentie. Aan de andere kant zou je een eenvoudige, transparante machine kunnen bouwen waarin elk tandwiel en elke hendel zichtbaar is. Deze "white box" is makkelijk te begrijpen, maar het kan misschien te simpel zijn om de rommelige, ingewikkelde realiteit van een stormachtige hemel aan te kunnen. Jarenlang zaten wetenschappers vast in de keuze tussen een slim maar mysterieus brein en een helder maar domme machine. De grote vraag is: Kunnen we een robot bouwen die zowel een genie is in het voorspellen van de toekomst als een geweldige leraar die zijn denken stap voor stap kan uitleggen?

Dit is precies de puzzel waar een nieuwe tool genaamd neuralGAM een antwoord op biedt, geïntroduceerd door onderzoekers Ines Ortega-Fernandez en Marta Sestelo. Zij creëerden een speciale R-package (een gereedschapskist voor de programmeertaal R) die een nieuw soort AI-brein bouwt. In plaats van één groot, verstrengeld web van verbindingen, bouwt hun model een team van kleine, onafhankelijke experts. Stel je een sportteam voor waarbij je voor elke individuele speler een aparte specialist hebt: één expert bestudeert de quarterback, een ander bestudeert de wind, en een derde bestudeert de scheidsrechter. Elke expert leert zijn eigen specifieke taak met behulp van een krachtig neuraal netwerk, maar ze rapporteren hun bevindingen allemaal aan een centrale coach die ze simpelweg bij elkaar optelt. Dit "Generalized Additive Neural Network" (GANN) stelt de AI in staat om de superintelligente leerprestaties van diepe neurale netwerken te gebruiken, terwijl het model transparant genoeg blijft om je precies te laten zien hoeveel elke factor heeft bijgedragen aan de uiteindelijke voorspelling.

De onderzoekers testten dit idee met twee verschillende scenario's. Eerst creëerden ze een verzonnen, kunstmatige wereld met perfect bekende regels om te zien of hun tool de verborgen patronen kon vinden. Ze ontdekten dat neuralGAM ongelooflijk nauwkeurig was en de prestaties van andere complexe methoden evenaarde, maar met een enorme bonus: het kon heldere, vloeiende afbeeldingen tekenen die precies lieten zien hoe elke variabele het resultaat veranderde. Het voegde zelfs "confidence bands" toe, die als vage schaduwen rond de lijnen liggen en aangeven hoe zeker het model is over zijn antwoord. Toen ze overstapten naar een uitdaging uit de echte wereld — het voorspellen of een vlucht vertraging zou oplopen op basis van weer- en vluchtgegevens — presteerde de tool net zo goed als een "black box"-neuraal netwerk dat zichzelf niet kan uitleggen. Echter, in tegen tegenstelling tot de black box, kon neuralGAM je laten zien waarom een vertraging waarschijnlijk was. Het onthulde bijvoorbeeld dat zeer lage temperaturen of een hoge luchtvochtigheid de risico's op vertraging op specifieke, vloeiende manieren verhoogden, en het kon aangeven wanneer het aan het gissen was omdat er niet genoeg gegevens beschikbaar waren in dat gebied.

Het artikel suggereert dat deze aanpak een ideaal evenwicht biedt tussen een mysterieus genie en een transparante leraar. Hoewel de "black box"-modellen in sommige gevallen misschien een fractie meer nauwkeurigheid uitwringen, verliezen zij het vermogen om ons de logica achter de beslissing te tonen. De neuralGAM-tool bewijst daarentegen dat je niet hoeft in te boeten op intelligentie om helderheid te krijgen. Het laat zien dat door een complex probleem op te splitsen in kleinere, onafhankelijke stukken en een neuraal netwerk elk stukje te laten oplossen, je een model krijgt dat zowel zeer accuraat als gemakkelijk te begrijpen is. De onderzoekers merken er voorzichtig bij op dat dit een nieuwe methode is die goed werkt voor specifieke soorten data (zoals getallen, ja/nee-uitkomsten en aantallen), en ze dromen al van manieren om het nog beter te maken door het te leren om meer complexe relaties tussen variabelen aan te gaan in de toekomst. Voor iedereen die AI wil gebruiken maar klaar is met het vertrouwen op een magische doos waarvan de binnenkant niet zichtbaar is, biedt deze package een fris, helder en krachtig alternatief.

Technische Samenvatting: neuralGAM: Een R-pakket voor het fitten van Generalized Additive Neural Networks

Probleemstelling

Neurale netwerken (NN's) worden algemeen erkend vanwege hun superieure voorspellende prestaties bij diverse taken, maar ze lijden aan het "black-box"-probleem, waardoor het moeilijk is om het besluitvormingsproces te begrijpen. Hoewel post-hoc interpreteerbaarheidsmethoden bestaan, is er een groeiende vraag naar ante-hoc benaderingen die inherent interpreteerbare modellen bouwen zonder in te boeten op voorspellende nauwkeurigheid. Bestaande pogingen om Generalized Additive Models (GAM's) met neurale netwerken te combineren, kampten met beperkingen: vroege methoden vereisten handmatige afstemming of waren beperkt tot ondiepe architecturen, terwijl recente deep learning-gebaseerde benaderingen (bijv. Neural Additive Models) kunnen lijden onder overfitting of verhoogde computationele kosten. Bovendien missen bestaande R-pakketten die additieve modellen met neurale netwerken integreren (zoals deepregression en bamlss) ofwel een focus op distributieregressie met ingebedde spline-bases, ofwel een Bayesiaans kader met hoge computationele overhead, en ontbreekt vaak een dedicated implementatie die gebruikmaakt van volledig onafhankelijke diepe neurale netwerken per kenmerk binnen het R-ecosysteem.

Methodologie

Het artikel introduceert neuralGAM, een R-pakket dat een Generalized Additive Neural Network (GANN) topologie implementeert. De kernmethodologie traint een ensemble van onafhankelijke neurale netwerken—één voor elk kenmerk—om de bijdrage van dat kenmerk aan de respons variabele te schatten. Het algehele model blijft additief, conform de structuur:

$E[Y | X] = m(X) = h^{-1}\left(\alpha + \sum_{j=1}^{p} f_j(X_j)\right)$

waarbij $h(\cdot)$ een linkfunctie is en $f_j$ gladde functies zijn die door neurale netwerken worden geschat.

Schattingsalgoritmen

Het pakket schat de modelparameters met behulp van een combinatie van twee iteratieve algoritmen:

Local Scoring (LS): Past de afhankelijke variabele ( $Z_i$ ) en gewichten ( $W_i$ ) aan op basis van de huidige fit en de specifieke distributie (Gaussisch, Binomiaal of Poisson).
Backfitting (BF): Update iteratief de bijdrage van elke covariabele. In elke stap wordt een gewogen additief model gefit waarbij elk gladde term $f_j$ wordt geschat door een feed-forward neuraal netwerk te trainen op de partiële residuen van dat specifieke kenmerk.

Deze aanpak geeft prioriteit aan interpreteerbaarheid door additieve decompositie af te dwingen, terwijl de flexibiliteit van deep learning-architecturen behouden blijft. Het framework ondersteunt semi-parametrische modellen waarbij sommige termen lineair kunnen zijn en andere niet-parametrische neurale netwerken.

Onzekerheidskwantificering

Om epistemische onzekerheid te kwantificeren, gebruikt neuralGAM Monte Carlo (MC) Dropout. Dropout-lagen worden in de neurale netwerken geplaatst en blijven actief tijdens de inferentie. Door meerdere stochastische forward passes ( $B$ ) uit te voeren, genereert het pakket een distributie van voorspellingen. Dit maakt de berekening van betrouwbaarheidsintervallen mogelijk voor individuele gladde termen en de additieve voorspeller op zowel de link- als de respons-schaal (met behulp van de delta-methode voor de laatste).

Software Architectuur

Het pakket steunt op keras en TensorFlow voor de onderliggende neurale netwerkimplementatie. Belangrijke kenmerken zijn:

Flexibele Architectuur: Gebruikers kunnen netwerkdiepte, eenheden, activatiefuncties en regularisatoren globaal of op basis van een specif_kenmerk definiëren.
Custom Loss Functies: Ondersteunt standaard Keras losses en door de gebruiker gedefinieerde custom loss functies.
Validatie: Bevat ondersteuning voor validatiesplits en cross-validatie workflows.
Visualisatie: Biedt diagnostische plots (residuen, QQ-plots) en partial effect plots met betrouwbaarheidsintervallen met behulp van zowel base R als ggplot2.

Belangrijkste Bijdragen

Implementatie: neuralGAM wordt gepresenteerd als het enige beschikbare R-pakket dat een GANN implementeert met behulp van volledig onafhankelijke diepe neurale netwerken voor elk kenmerk, geschat via local scoring en backfitting.
Interpreteerbaarheid vs. Flexibiliteit: Het biedt een praktische balans door concurrerende voorspellende prestaties te leveren terwijl de "white-box" natuur van GAM's behouden blijft, wat duidelijke interpretatie op kenmerk-niveau mogelijk maakt.
Onzekerheidsschatting: Het integreert MC Dropout direct in de trainings- en inferentiepipeline om epistemische onzekerheidsschattingen per term en globaal te bieden, een functie die niet van nature beschikbaar is in vergelijkbare R-pakketten zoals deepregression zonder computationeel dure model ensembles.
Bruikbaarheid: Het pakket biedt een gebruiksvriendelijke interface die lijkt op standaard R-regressiepakketten, met helperfuncties voor de omgeving instellen (install_neuralGAM) en uitgebreide diagnostische tools.

Resultaten

Het artikel evalueert neuralGAM via gesimuleerde data en een real-world toepassing (voorspelling van vluchtvertragingen), waarbij het wordt vergeleken met deepregression en een black-box Multi-Layer Perceptron (MLP) geïmplementeerd in keras.

Gesimuleerde Data: In een Gaussisch respons scenario behaalde neuralGAM een iets betere Mean Squared Error (MSE) en verklaarde deviance vergeleken met deepregression. Cruciaal was dat neuralGAM de ware functionele vormen (kwadratisch, lineair, sinusoidaal) herstelde met gladdere curves en smallere, stabielere betrouwbaarheidsintervallen. In contrast hiermee vertoonde deepregression meer onregelmatige, "golvende" schattingen, vooral bij de grenzen, en vereiste model ensembles om onzekerheid te benaderen.
Real Data (Vluchtvertragingen): Bij het voorspellen van vluchtvertragingen (binaire respons) behaalde neuralGAM een AUC-ROC van 0,819, vergelijkbaar met deepregression (0,838) en de black-box MLP (0,838). Hoewel het black-box model een iets hogere voorspellende nauwkeurigheid bood, miste het interpreteerbaarheid. neuralGAM slaagde erin om partial effects (bijv. de niet-monotone relatie tussen luchttijd en vertraging) te visualiseren met stabiele onzekerheidsbanden, terwijl deepregression meer oscillerende effecten produceerde die suggereerden te zijn overfit op lokale ruis.

Betekenis en Claims

De auteurs positioneren neuralGAM als een waardevolle tool voor onderzoekers die zoeken naar interpreteerbare neurale netwerkimplementaties binnen het R-ecosysteem. Het artikel claimt dat neuralGAM een sterk compromis biedt tussen de interpreteerbaarheid van additieve modellen en de flexibiliteit van deep learning.

De betekenis van het werk ligt in het vermogen om:

Een "white-box" alternatief te bieden voor black-box deep learning dat geen handmatige afstemming van univariate perceptrons vereist.
Natieve onzekerheidskwantificering te bieden via MC Dropout, waardoor de computationele kosten van het trainen van meerdere onafhankelijke modellen (ensembles) die andere methoden vereisen, worden vermeden.
Stabiele, gladde effectschattingen te leveren die gemakkelijker te interpreteren zijn dan de spline-gebaseerde schattingen gevonden in deepregression, met name in regio's met schaarse data.

De auteurs merken bescheiden op dat hoewel neuralGAM momenteel beperkt is tot Gaussische, Binomiale en Poisson distributies, het een belangrijke stap vormt naar toegankelijke, interpreteerbare deep learning in R. Toekomstig werk wordt geïdentificeerd als het potentieel uitbreiden van het model naar multinomiale logistische regressie, het incorporeren van interactietermen en het verkennen van aanvullende methoden voor onzekerheidsschatting zoals conformal prediction.