🤖 machine learning

Neural Additive and Basis Models with Feature Selection and Interactions

Dieses Paper schlägt die Integration einer trainierbaren Merkmalsauswahlschicht in Neural Additive and Basis Models vor, um Rechenengpässe in hochdimensionalen Szenarien zu überwinden und dadurch eine effiziente Modellierung von Merkmalsinteraktionen unter Beibehaltung der Interpretierbarkeit und einer wettbewerbsfähigen Leistung zu ermöglichen.

Ursprüngliche Autoren: Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa

Veröffentlicht 2026-06-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den Ausgang eines komplexen Ereignisses vorherzusagen, wie etwa, ob ein Patient genesen wird oder ob ein Kredit genehmigt wird. Sie haben eine riesige Liste von Hinweisen (Merkmalen), die Ihnen bei der Entscheidung helfen können.

Das Problem: Die „Black Box“ vs. die „zu schwere“ Box
In der Welt der Künstlichen Intelligenz gibt es zwei Hauptwege, um solche Rätsel zu lösen:

Die Black Box (Tiefe Neuronale Netze): Diese sind unglaublich intelligent und genau, aber sie funktionieren wie ein Zaubertrick. Man gibt Daten hinein, und eine Antwort kommt heraus, aber niemand weiß, wie die Maschine diese Entscheidung getroffen hat. In Bereichen wie der Medizin oder dem Recht ist das gefährlich, weil man die Begründung verstehen muss.
Die Transparente Box (Generalisierte Additive Modelle): Diese sind wie ein Team von Spezialisten. Jeder Spezialist betrachtet nur einen Hinweis (z. B. „Alter“ oder „Einkommen“) und vergibt einen Score. Das Endergebnis ist einfach die Summe all dieser Scores. Dies ist leicht verständlich, da man genau sehen kann, wie jeder Hinweis zum Ergebnis beigetragen hat. Herkömmliche transparente Boxen sind jedoch oft nicht intelligent genug, um komplexe Beziehungen zwischen den Hinweisen zu verarbeiten.

Die bestehende Lösung: NAM und NBM
Forscher haben „Neural Additive Models“ (NAM) und „Neural Basis Models“ (NBM) entwickelt. Denken Sie an dies als ein Upgrade für die „Transparente Box“. Anstatt einfacher Spezialisten verwenden sie winzige, intelligente KI-Gehirne (Neuronale Netze), die jeden Hinweis betrachten. Dies macht sie sowohl intelligent als auch transparent. Man kann immer noch sehen, wie jeder Hinweis das Ergebnis beeinflusst.

Der Flaschenhals: Die Krise der „zu vielen Hinweise“
Hier bricht die alte Methode zusammen.

Das Interaktionsproblem: Manchmal arbeiten Hinweise besser zusammen. Zum Beispiel können „Alter“ und „Einkommen“ etwas besser vorhersagen, wenn man sie gemeinsam betrachtet, anstatt sie getrennt zu betrachten. Um dies zu erreichen, versuchten die alten Modelle, ein winziges KI-Gehirn für jedes mögliche Paar von Hinweisen zu erstellen.
Der mathematische Albtraum: Wenn man 1.000 Hinweise hat, gibt es fast 500.000 mögliche Paare. Es zu versuchen, 500.000 winzige KI-Gehirne gleichzeitig zu trainieren, ist so, als würde man versuchen, 500.000 Mitarbeiter einzustellen, damit sie in einem winzigen Büro arbeiten. Es überlastet den Computer, dauert ewig und wird unmöglich zu verwalten.
Die hochdimensionale Wand: Wenn Datensätze riesig werden (Tausende von Hinweisen), hören die alten Modelle einfach auf zu funktionieren. Ihnen gehen Speicherplatz und Zeit aus.

Die neue Lösung: Der „Smart Selector“
Die Autoren dieses Papers schlagen eine einfache, aber leistungsstarke Lösung vor: Merkmalsselektion (Feature Selection).

Stellen Sie sich vor, Sie sind ein Detektiv mit einer riesigen Beweiswand. Anstatt zu versuchen, jedes einzelne Beweisstück gleichzeitig zu analysieren (was unmöglich ist), stellen Sie einen Smart Selector ein.

Wie es funktioniert: Das Modell beginnt mit einem „Menü“ aller möglichen Hinweise. Während des Trainings lernt es, jedem Hinweis ein „Gewicht“ zuzuweisen.
Der Filter: Es verwendet einen speziellen mathematischen Filter (genannt entmax), der wie ein Sieb wirkt. Er behält die wichtigsten Hinweise und schaltet die nutzlosen effektiv „aus“.
Das Ergebnis: Anstatt zu versuchen, 500.000 KI-Gehirne für jedes Paar von Hinweisen zu bauen, baut das Modell nur Gehirne für die 50 oder 500 wichtigsten Hinweise und deren Kombinationen.

Die Vorteile

Geschwindigkeit: Da das Modell die Junk-Daten ignoriert, läuft es viel schneller. Das Paper zeigt, dass während die alten Modelle bei Datensätzen mit über 1.000 Hinweisen abstürzen, die neuen Modelle (genannt NAM-FS und NBM-FS) diese reibungslos bewältigen.
Interaktionen: Es ermöglicht dem Modell, Paare von Hinweisen beim Zusammenwirken zu beobachten (wie „Alter + Einkommen“), ohne von der Mathematik überwältigt zu werden.
Transparenz: Obwohl es die besten Hinweise auswählt, bleibt es transparent. Man kann immer noch genau sehen, welche Hinweise gewählt wurden und wie sie die Entscheidung beeinflusst haben.

Die Ergebnisse
Die Autoren testeten dies auf sechs verschiedenen realen Datensätzen mit tausenden von Hinweisen.

Leistung: Ihre neuen Modelle waren genauso genau oder sogar besser als die besten existierenden „transparenten“ Modelle.
Effizienz: Sie waren signifikant schneller und konnten Datengrößen bewältigen, die die alten Modelle gar nicht erst anfassen konnten.
Vergleich: Sie bewiesen auch, dass es besser ist, wenn das Modell während des Trainings selbst lernt, welche Hinweise es auswählen soll, als die Hinweise manuell vor dem Start auszuwählen.

Zusammenfassend
Dieses Paper führt einen Weg ein, um intelligente, transparente KI-Modelle zu erstellen, die riesige Mengen an Daten bewältigen können. Dies geschieht, indem man der KI beibringt, das Rauschen zu ignorieren und sich nur auf die wichtigsten Hinweise und deren Beziehungen zu konzentrieren – dies löst das Problem von Modellen, die entweder zu dumm sind, um nützlich zu sein, oder zu schwerfällig, um zu laufen.

Problemstellung
Tiefe neuronale Netze (DNNs) bieten hohe Repräsentationsfähigkeiten, lassen jedoch oft die Interpretierbarkeit vermissen, was ihren Einsatz in Hochzuverlässigkeitsbereichen wie der Medizin und dem Rechtswesen einschränkt. Während Generalisierte Additive Modelle (GAMs) und deren neuronale Varianten, das Neural Additive Model (NAM) und das Neural Basis Model (NBM), ein Gleichgewicht zwischen Interpretierbarkeit und Leistung bieten, stehen sie vor erheblichen Skalierungsproblemen. Standardmäßige NAM- und NBM-Architekturen weisen jedem Eingabemerkmal ein separates neuronales Netz (NN) zu. Bei der Erweiterung zur Erfassung paarweiser Merkmalsinteraktionen (Erstellung von GA2Ms) erfordert der naive Ansatz die Vorbereitung von Shape-Funktionen für alle möglichen Merkmalspaare. Dies führt zu einer Rechenkomplexität von $O(D^2)$ , wobei $D$ die Anzahl der Merkmale ist. Folglich wird das Training dieser Modelle auf hochdimensionalen Datensätzen (z. B. $D > 1.000$ ) aufgrund des übermäßigen Speicherverbrauchs und der Rechenkosten unpraktikabel. Darüber hinaus beeinträchtigt die Verwaltung und Visualisierung tausender Shape-Funktionen die Interpretierbarkeit, die für GAMs eigentlich charakteristisch ist.

Methodik
Die Autoren schlagen vor, einen differenzierbaren Merkmalsauswahlmechanismus direkt in das Training von NAM und NBM zu integrieren, um diese Engpässe zu lösen. Die vorgeschlagenen Modelle, bezeichnet als NAM-FS und NBM-FS, führen eine Merkmalsauswahlschicht ein, die während des Trainings dynamisch eine vordefinierte Anzahl von Einzelmerkmalen ( $K_1$ ) und Merkmalspaaren ( $K_2$ ) auswählt.

Zu den technischen Kernkomponenten gehören:

Differenzierbare Auswahl: Anstelle einer diskreten Merkmalsauswahl, die nicht differenzierbar ist, nutzen die Autoren entmax (eine verallgemeinerte Version von Softmax und Sparsemax), um den Auswahlprozess zu relaxieren. Dies ermöglicht es dem Modell, die Gewichte der Merkmalsauswahl mittels stochastischen Gradientenabstiegs (SGD) in einem End-to-End-Verfahren zu optimieren.
Temperatur-Annealing: Ein Temperaturparameter $\tau$ wird eingeführt und während des Trainings angenähert (annealed). Wenn $\tau$ sinkt, nähert sich die entmax-Ausgabe einem One-Hot-Vektor an, was die ausgewählten Merkmale für die Shape-Funktionen festlegt.
Architektur: Die Modelle ersetzen den vollständigen Satz von $D$ (oder $D(D-1)/2$ ) Shape-Funktionen durch einen festen, kleineren Satz von $K_1$ univariate und $K_2$ bivariate NNs. Der Input für diese NNs ist eine gewichtete Kombination der ursprünglichen Merkmale, die durch die gelernten Auswahlgewichte bestimmt wird.
Implementierungsoptimierung: Die Autoren optimierten die Implementierung der NAM-Layer unter Verwendung von torch.bmm (Batch Matrix-Matrix Product) in PyTorch, wodurch eine 2- bis 6-fache Beschleunigung im Vergleich zu früheren 1-D-Konvolutionsimplementierungen erreicht wurde.

Wesentliche Beiträge

Integration der Merkmalsauswahl: Die Arbeit führt einen einfachen, End-to-End-Merkmalsauswahlmechanismus für NAM und NBM ein, der deren Anwendung auf hochdimensionale Datensätze ermöglicht, bei denen die Standardversionen versagen.
Skalierbarkeit mit Interaktionen: Die Methode ermöglicht die effiziente Einbeziehung paarweiser Merkmalsinteraktionen (im GA2M-Stil), selbst in hochdimensionalen Settings, indem die Anzahl der Interaktionsterme auf ein handhabbares $K_2$ begrenzt wird.
Recheneffizienz: Die vorgeschlagenen Modelle reduzieren die Anzahl der trainierbaren Parameter und der Multiplikations-Akkumulations-Operationen (MACs) signifikant, was zu einem höheren Durchsatz im Vergleich zu den Vanilla-Varianten von NAM, NBM und deren interaktionsbasierten Varianten (NA2M, NB2M) führt.
Leistungsvalidierung: Die Autoren zeigen, dass NAM-FS und NBM-FS eine bessere oder vergleichbare Leistung im Vergleich zu State-of-the-Art GAMs und GA2Ms bei hochdimensionalen Klassifikationsaufgaben erzielen, während sie die Vanilla-NAM/NBM übertreffen, die auf vorselektierten Merkmalen basieren.

Ergebnisse
Die Experimente wurden auf sechs hochdimensionalen Klassifikationsdatensätzen (mit einer Spanne von 561 bis 5.000 Merkmalen) durchgeführt.

Durchsatz: Vanilla NA2M und NB2M konnten auf Datensätzen mit mehr als 100 Merkmalen aufgrund von Speicherbeschränkungen nicht ausgeführt werden. Im Gegensatz dazu behielten NAM-FS und NBM-FS auch bei bis zu 50.000 Merkmalen einen stabilen Durchsatz bei.
Genauigkeit: Auf hochdimensionalen Datensätzen (z. B. guillermo mit 4.296 Merkmalen und Gisette mit 5.000 Merkmalen) erreichten NAM-FS(500) und NBM-FS(500) die höchste Genauigkeit unter allen getesteten GAMs.
Interaktionen: Modelle, die paarweise Interaktionen enthalten (NA2M-FS und NB2M-FS) mit $K_2=500$ , übertrafen State-of-the-Art GA2Ms (EB2M und NODE-GA2M) auf mehreren Datensätzen.
Effektivität der Merkmalsauswahl: Im Vergleich zu NAM/NBM, die auf mittels Mutual Information vorselektierten Merkmalen trainiert wurden, lieferten die vorgeschlagenen End-to-End-Merkmalsauswahlsmethoden generell eine höhere Genauigkeit, was die Effektivität des gemeinsamen Lernens der Merkmalsauswahl mit den Modellparametern unterstreicht.

Bedeutung und Ansprüche
Das Paper behauptet, dass durch die Integration der Merkmalsauswahl in den Trainingszyklus NAM und NBM auf hochdimensionale Datensätze skalierbar gemacht werden können, ohne deren Kernvorteil – die Interpretierbarkeit – zu opfern. Die Autoren betonen, dass ihre Methode einfach, aber effektiv ist und es erlaubt, eine handhabbare Anzahl von Shape-Funktionen zu visualisieren, während gleichzeitig komplexe Merkmalsinteraktionen erfasst werden. Sie merken an, dass der Vorteil ihrer Modelle in niedrigdimensionalen Settings (weniger als 100 Merkmale) abnimmt. Die Arbeit positioniert diese Modelle als praktische Lösung für Anwendungen, die sowohl eine hohe Vorhersagegenauigkeit als auch globale Interpretierbarkeit in komplexen, hochdimensionalen Domänen erfordern.

Mehr davon