🤖 machine learning

Neural Additive and Basis Models with Feature Selection and Interactions

Dit artikel stelt het integreren van een trainbare feature selectielaag in Neural Additive en Basis Modellen voor om computationele knelpunten in hoogdimensionale settings te overwinnen, waardoor efficiënte modellering van feature-interacties mogelijk wordt terwijl interpreteerbaarheid en concurrerende prestaties behouden blijven.

Oorspronkelijke auteurs: Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa

Gepubliceerd 2026-06-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de uitkomst van een complexe gebeurtenis probeert te voorspellen, zoals of een patiënt zal herstellen of of een lening wordt goedgekeurd. Je hebt een enorme lijst met aanwijzingen (kenmerken) om een beslissing te nemen.

Het Probleem: De "Black Box" versus de "Te Zware" Box
In de wereld van Kunstmatige Intelligentie zijn er twee hoofdwegen om deze puzzels op te lossen:

De Black Box (Deep Neural Networks): Deze zijn ongelooflijk slim en accuraat, maar ze werken als een goocheltruc. Je stopt data erin, en er komt een antwoord uit, maar niemand weet hoe de machine die beslissing heeft genomen. In velden zoals de geneeskunde of het recht is dit gevaarlijk, omdat je de redenering moet kunnen vertrouwen.
De Transparante Box (Generalized Additive Models): Deze zijn als een team van specialisten. Elke specialist kijkt naar slechts één aanwijzing (bijv. "leeftijd" of "inkomen") en geeft een score. Het uiteindelijke antwoord is simpelweg de som van al deze scores. Dit is gemakkelijk te begrijpen omdat je precies kunt zien hoe elke aanwijzing heeft bijgedragen. Echter, traditionele transparante boxen zijn vaak niet slim genoeg om complexe relaties tussen aanwijzingen aan te kunnen.

De Bestaande Oplossing: NAM en NBM
Onderzoekers hebben "Neural Additive Models" (NAM) en "Neural Basis Models" (NBM) gecreëerd. Denk aan dit als een upgrade van de "Transparante Box". In plaats van eenvoudige specialisten, gebruiken ze kleine, slimme AI-hersens (Neural Networks) om naar elke aanwijzing te kijken. Dit maakt ze zowel slim áls transparant. Je kunt nog steeds zien hoe elke aanwijzing het resultaat beïnvloedt.

De Bottleneck: De "Te Veel Aanwijzingen" Crisis
Hier waar de oude methode vastloopt:

Het Interactieprobleem: Soms werken aanwijzingen beter samen. Bijvoorbeeld, "Leeftijd" en "Inkomen" voorspellen misschien iets beter wanneer ze samen worden bekeken in plaats van afzonderlijk. Om dit te doen, probeerden de oude modellen een klein AI-brein te maken voor elke mogelijke combinatie van aanwijzingen.
De Wiskundige Nachtmerrie: Als je 1.000 aanwijzingen hebt, zijn er bijna 500.000 mogelijke combinaties. Het trainen van 500.000 kleine AI-hersens tegelijkertijd is alsof je probeert 500.000 werknemers aan te nemen om in een klein kantoor te werken. Het laat de computer crashen, het duurt eeuwig en het wordt onmogelijk te beheren.
De High-Dimensional Wall: Wanneer datasets enorm groot worden (duizenden aanwijzingen), stoppen de oude modellen simpelweg met werken. Ze raken het geheugen en de tijd kwijt.

De Nieuwe Oplossing: De "Smart Selector"
De auteurs van dit artikel stellen een eenvoudige maar krachtige oplossing voor: Feature Selection.

Stel je voor dat je een detective bent met een enorme bewijsstukkenbord. In plaats van te proberen elk stuk bewijsmateriaal tegelijkertijd te analyseren (wat onmogelijk is), huur je een Smart Selector in.

Hoe het werkt: Het model begint met een "menu" van alle mogelijke aanwijzingen. Tijdens de training leert het een "gewicht" aan elke aanwijzing toe te kennen.
Het Filter: Het gebruikt een speciaal wiskundig filter (genaamd entmax) dat werkt als een zeef. Het houdt de belangrijkste aanwijzingen eruit en zet de nutteloze aanwijzingen effectief "uit".
Het Resultaat: In plaats van te proberen 500.000 AI-hersens te bouwen voor elke mogelijke combinatie van aanwijzingen, bouwt het model alleen hersens voor de top 50 of 500 belangrijkste aanwijzingen en combinaties.

De Voordelen

Snelheid: Omdat het model de waardeloze data negeert, draait het veel sneller. Het artikel laat zien dat terwijl de oude modellen crashen op datasets met 1.000+ aanwijzingen, de nieuwe modellen (genaamd NAM-FS en NBM-FS) deze soepel afhandelen.
Interacties: Het stelt het model in staat om naar paren aanwijzingen te kijken die samenwerken (zoals "Leeftijd + Inkomen") zonder overweldigd te raken door de wiskunde.
Transparantie: Ondanks dat het de beste aanwijzingen selecteert, blijft het transparant. Je kunt nog steeds precies zien welke aanwijzingen zijn gekozen en hoe zij de beslissing hebben beïnvloed.

De Resultaten
De auteurs hebben dit getest op zes verschillende real-world datasets met duizenden aanwijzingen.

Prestaties: Hun nieuwe modellen waren net zo accuraat, of zelfs beter, dan de beste bestaande "transparante" modellen.
Efficiëntie: Ze waren aanzienlijk sneller en konden datasets aan qua omvang waar de oude modellen niet eens aan konden tippen.
Vergelijking: Ze bewezen ook dat het laten leren van het model welke aanwijzingen het moet kiezen tijdens de training beter is dan het handmatig kiezen van de aanwijzingen vóór de start.

In Samenvatting
Dit artikel introduceert een manier om slimme, transparante AI-modellen te maken die enorme hoeveelheden data kunnen verwerken. Dit doen ze door de AI te leren de ruis te negeren en zich alleen te concentreren op de belangrijkste aanwijzingen en hun relaties, waardoor het probleem wordt opgelost van modellen die óf te dom zijn om nuttig te zijn, óf te zwaar om te draaien.

Probleem
Diepe neurale netwerken (DNN's) bieden een hoog representatievermogen, maar missen vaak interpreteerbaarheid, wat hun gebruik in sectoren met een hoog betrouwbaarheidsniveau, zoals de geneeskunde en de juridische sector, beperkt. Hoewel Generalized Additive Models (GAM's) en hun neurale varianten, de Neural Additive Model (NAM) en Neural Basis Model (NBM), een balans bieden tussen interpreteerbaarheid en prestaties, kampen zij met aanzienlijke schaalbaarheidsproblemen. Standaard NAM- en NBM-architecturen wijzen een apart neuraal netwerk (NN) toe aan elke inputfeature. Wanneer deze worden uitgebreid om interacties tussen paren van features te vangen (GA2M's), vereist de naïeve aanpak het voorbereiden van vormfuncties voor alle mogere featureparen. Dit resulteert in een computationele complexiteit van $O(D^2)$ , waarbij $D$ het aantal features is. Bijgevolg wordt het trainen van deze modellen op hoogdimensionele datasets (bijv. $D > 1.000$ ) onhandelbaar vanwege excessief geheugengebruik en computationele kosten. Bovendien ondermijnt het beheren en visualiseren van duizenden vormfuncties de interpreteerbaarheid die GAM's juist moeten bieden.

Methodologie
De auteurs stellen voor om een differentieerbaar featureselectiemechanisme direct in de training van NAM en NBM te integreren om deze knelpunten op te lossen. De voorgestelde modellen, getiteld NAM-FS en NBM-FS, introduceren een featureselectielaag die tijdens het trainingsproces dynamisch een vooraf bepaald aantal enkelvoudige features ( $K_1$ ) en featureparen ( $K_2$ ) selecteert.

Belangrijke technische componenten zijn:

Differentieerbare Selectie: In plaats van discrete featureselectie, wat niet-differentieerbaar is, maken de auteurs gebruik van entmax (een gegeneraliseerde versie van softmax en sparsemax) om het selectieproces te versoepelen. Dit stelt het model in staat om featureselectiegewichten te optimaliseren via stochastic gradient descent (SGD) op een end-to-end wijze.
Temperatuur-annealing: Een temperatuurparameter $\tau$ wordt geïntroduceerd en geannileerd tijdens de training. Naarmate $\tau$ afneemt, nadert de entmax-output een one-hot vector, waardoor de geselecteerde features voor de vormfuncties worden vastgelegd.
Architectuur: De modellen vervangen de volledige set van $D$ (of $D(D-1)/2$ ) vormfuncties door een vaste, kleinere set van $K_1$ univariate en $K_2$ bivariate NN's. De input voor deze NN's is een gewogen combinatie van de originele features, bepaald door de geleerde selectiegewichten.
Implementatieoptimalisatie: De auteurs hebben de implementatie van de NAM-lagen geoptimaliseerd met behulp van torch.bmm (batch matrix-matrix product) in PyTorch, wat een versnelling van 2 tot 6 keer oplevert vergeleken met eerdere 1-D convolutie-implementaties.

Belangrijkste Bijdragen

Integratie van Featureselectie: Het artikel introduceert een eenvoudig, end-to-end featureselectiemechanisme voor NAM en NBM, wat hun toepassing op hoogdimensionele datasets mogelijk maakt waar de standaardversies falen.
Schaalbaarheid met Interacties: De methode maakt het mogelijk om efficiënt interacties tussen paren van features (GA2M-stijl) op te nemen, zelfs in hoogdimensionele settings, door het aantal interactietermen te beperken tot een beheersbare $K_2$ .
Computationele Efficiëntie: De voorgestelde modellen verminderen het aantal trainbare parameters en multiply-accumulate operaties (MAC's) aanzienlijk, wat resulteert in een hogere throughput vergeleken met de standaard NAM, NBM en hun interactie-gebaseerde varianten (NA2M, NB2M).
Prestatievalidatie: De auteurs demonstreren dat NAM-FS en NBM-FS een betere of vergelijkbare prestatie leveren als state-of-the-art GAM's en GA2M's op hoogdimensionele classificatietaken, terwijl zij de standaard NAM/NBM overtreffen die vertrouwen op vooraf geselecteerde features.

Resultaten
Experimenten werden uitgevoerd op zes hoogdimensionele classificatiedatasets (variërend van 561 tot 5.000 features).

Throughput: Vanilla NA2M en NB2M konden niet draaien op datasets met meer dan 100 features vanwege geheugenbeperkingen. In tegenstelling hiertoe behielden NAM-FS en NBM-FS een stabiele throughput, zelfs met tot wel 50.000 features.
Nauwkeurigheid: Op hoogdimensionele datasets (bijv. guillermo met 4.296 features en Gisette met 5.000 features) behaalden NAM-FS(500) en NBM-FS(500) de hoogste nauwkeurigheid van alle geteste GAM's.
Interacties: Modellen die interacties tussen paren bevatten (NA2M-FS en NB2M-FS) met $K_2=500$ presteerden beter dan state-of-the-art GA2M's (EB2M en NODE-GA2M) op verschillende datasets.
Effectiviteit van Featureselectie: Wanneer vergeleken met NAM/NBM die getraind zijn op features die vooraf zijn geselecteerd via mutual information, leverden de voorgestelde end-to-end featureselectiemethoden over het algemeen een hogere nauwkeurigheid op, wat de effectiviteit bewijst van het gezamenlijk leren van featureselectie met de modelparameters.

Betekenis en Claims
Het artikel claimt dat door featureselectie in de trainingslus te integreren, NAM en NBM kunnen worden geschaald naar hoogdimensionele datasets zonder hun kernvoordeel te verliezen: interpreteerbaarheid. De auteurs benadrukken dat hun methode eenvoudig maar effectief is, waardoor het mogelijk is om een beheersbaar aantal vormfuncties te visualiseren terwijl complexe feature-interacties worden gevangen. Zij merken op dat hoewel de modellen zeer effectief zijn voor hoogdimensionele data, hun voordelen afnemen in laagdimensionele settings (minder dan 100 features). Het werk positioneert deze modellen als een praktische oplossing voor toepassingen die zowel een hoge voorspellende nauwkeurigheid als globale interpreteerbaarheid vereisen in complexe, hoogdimensionele domeinen.

Meer zoals dit