🤖 machine learning

Provably Explaining Neural Additive Models

Diese Arbeit stellt einen effizienten, modellspezifischen Algorithmus vor, der für Neuronale Additive Modelle (NAMs) provierbar kardinale Minimal-Subsets von Eingabe-Features identifiziert und dabei sowohl die Erklärungsgröße als auch die Rechenzeit im Vergleich zu existierenden Methoden signifikant verbessert.

Ursprüngliche Autoren: Shahaf Bassan, Yizhak Yisrael Elboher, Tobias Ladner, Volkan Şahin, Jan Kretinsky, Matthias Althoff, Guy Katz

Veröffentlicht 2026-02-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shahaf Bassan, Yizhak Yisrael Elboher, Tobias Ladner, Volkan Şahin, Jan Kretinsky, Matthias Althoff, Guy Katz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen sehr klugen, aber etwas verschlossenen Freund – nennen wir ihn Künstliche Intelligenz (KI). Dieser Freund trifft Entscheidungen, zum Beispiel: „Ist dieser Kreditantrag gut?" oder „Ist dieser Tumor bösartig?". Er ist extrem gut darin, aber wenn du ihn fragst: „Warum hast du das entschieden?", schaut er dich nur an und sagt: „Weil ich es einfach so fühle."

Das ist das Problem bei vielen modernen KI-Modellen: Sie sind wie eine Blackbox. Man weiß das Ergebnis, aber nicht den Weg dorthin.

In diesem Papier stellen die Autoren eine Lösung vor, die sich auf eine spezielle Art von KI namens Neural Additive Models (NAMs) konzentriert. Sie haben einen neuen Algorithmus entwickelt, der nicht nur erklärt, warum die KI eine Entscheidung getroffen hat, sondern das auch mathematisch beweisen kann. Und das Beste: Sie tun es blitzschnell.

Hier ist die Erklärung in einfachen Bildern:

1. Das Problem: Der riesige Haufen Zutaten

Stell dir vor, die KI trifft eine Entscheidung basierend auf 20 verschiedenen Zutaten (z. B. Einkommen, Alter, Wohnort, Schulden...).

Die alte Methode (bei normalen KIs): Um herauszufinden, welche Zutaten wirklich wichtig sind, müsste man theoretisch jede einzelne Kombination ausprobieren. Bei 20 Zutaten gibt es mehr Kombinationen als Atome im Universum. Das ist unmöglich.
Die aktuelle „gute" Methode: Man nimmt einen Haufen Zutaten, probiert ein paar aus und hofft, dass es reicht. Aber man kann nicht beweisen, dass man nicht noch eine wichtige Zutat übersehen hat. Es ist wie ein Koch, der sagt: „Ich glaube, Salz und Pfeffer reichen", ohne zu wissen, ob vielleicht auch Knoblauch entscheidend war.

2. Die Lösung: Der „Zutaten-Addierer" (NAMs)

Die Autoren nutzen eine spezielle KI-Architektur (NAM), die wie ein Rezeptbuch funktioniert.

Bei einer normalen KI sind alle Zutaten in einem riesigen, undurchsichtigen Topf vermischt.
Bei einer NAM ist jede Zutat in einem eigenen, kleinen Glas getrennt. Die KI berechnet für jede Zutat einzeln, wie viel sie zur Entscheidung beiträgt, und summiert diese Ergebnisse am Ende.
Der Vorteil: Man kann jeden kleinen Glas einzeln untersuchen, ohne den ganzen Topf aufdröseln zu müssen.

3. Der neue Algorithmus: Der „Super-Sortierer"

Die Autoren haben einen cleveren Trick entwickelt, um die wichtigsten Zutaten zu finden. Stell dir das wie eine Wettbewerbs-Rallye vor:

Schritt 1: Die Vorsortierung (Der Parallel-Sortierer)
Statt die Zutaten nacheinander zu prüfen, schicken sie alle 20 Gläser gleichzeitig in eine Art „Rennbahn". Ein Computer-Verifizierer (ein strenger Prüfer) schaut sich jedes Glas an und berechnet: „Wie stark könnte diese Zutat die Entscheidung am schlimmsten Fall beeinflussen?"
- Kreatives Bild: Es ist, als würde man 20 Läufer gleichzeitig starten lassen, um zu sehen, wer am schnellsten ins Ziel kommt. Dank der speziellen Struktur der NAMs können sie das parallel machen. Das geht viel schneller als wenn man sie nacheinander laufen ließe.
Schritt 2: Die Suche (Die Binäre Suche)
Nachdem die Läufer sortiert sind (wer ist am wichtigsten, wer am unwichtigsten), müssen sie nicht mehr alle einzeln getestet werden.
- Kreatives Bild: Stell dir vor, du suchst ein bestimmtes Buch in einer Bibliothek. Wenn die Bücher alphabetisch sortiert sind, musst du nicht jedes einzelne durchsuchen. Du gehst zur Mitte, schaust, ob das gesuchte Buch links oder rechts liegt, und springst dann zur Hälfte des verbleibenden Bereichs. Das nennt man binäre Suche.
- Die Autoren nutzen genau das: Sie springen durch die sortierte Liste der Zutaten. Sie müssen nur noch wenige, logische Schritte machen, um die absolut kleinste Menge an Zutaten zu finden, die für die Entscheidung ausreicht.

4. Warum ist das so wichtig?

Beweis statt Vermutung: Früher sagten Erklärungs-Tools oft: „Ich habe 1000 Mal simuliert, und es sieht so aus, als wären diese 3 Zutaten wichtig." Das neue Tool sagt: „Ich habe bewiesen, dass nur diese 3 Zutaten ausreichen. Keine andere Kombination kann das Ergebnis ändern."
Sicherheit: In kritischen Bereichen (wie Medizin oder Finanzwesen) reicht „wahrscheinlich" nicht. Man braucht 100%ige Sicherheit. Wenn die KI sagt „Dieser Patient ist gesund", muss man beweisen können, dass auch bei kleinsten Änderungen der Daten (z. B. Messfehler) die Diagnose „gesund" bleibt.
Geschwindigkeit: Während andere Methoden Tage brauchen würden, um die perfekte Erklärung zu finden, erledigt dieser Algorithmus die Aufgabe in Sekunden oder Minuten.

Zusammenfassung in einem Satz

Die Autoren haben einen Weg gefunden, wie man bei einer speziellen, gut strukturierten KI (NAM) die wichtigsten Entscheidungsgründe nicht nur schnell findet, sondern auch mathematisch unanfechtbar beweist, indem sie die Zutaten zuerst parallel sortieren und dann wie in einem Suchspiel die perfekte Menge herauspicken.

Das ist ein riesiger Schritt hin zu KI, der wir wirklich vertrauen können, weil wir genau wissen, warum sie entscheidet – und nicht nur, dass sie entscheidet.

Titel: Provably Explaining Neural Additive Models

Veröffentlicht bei: ICLR 2026
Autoren: Shahaf Bassan, Yizhak Yisrael Elboher, Tobias Ladner, Volkan Şahin, Jan Kretínský, Matthias Althoff, Guy Katz

1. Problemstellung

Hintergrund-Methoden (Post-hoc) zur Erklärung von neuronalen Netzen (z. B. LIME, SHAP) sind oft heuristisch und bieten keine mathematisch beweisbaren Garantien. Ein vielversprechender Ansatz ist die Identifizierung einer kardinal-minimalen Teilmenge von Eingangsmerkmalen, die ausreicht, um die Vorhersage des Modells zu garantieren (eine „hinreichende Erklärung").

Für Standard-Neuronale Netze ist die Berechnung solcher Erklärungen jedoch computational unlösbar (intractable):

Im schlimmsten Fall erfordert dies eine exponentielle Anzahl von Verifikationsabfragen ( $O(2^n)$ ).
Jede einzelne Abfrage ist NP-schwer.
Bestehende Methoden konzentrieren sich daher oft auf subset-minimale Erklärungen (die nicht unbedingt die kleinste Kardinalität haben) oder nutzen Sampling-Verfahren, die keine strengen Garantien bieten und in sicherheitskritischen Domänen irreführend sein können.

Das Ziel der Arbeit ist es, zu zeigen, dass für eine spezifische Klasse von Architekturen – Neural Additive Models (NAMs) – diese Berechnung effizient und mit strengen Beweisen möglich ist.

2. Methodik

Die Autoren entwickeln einen modell-spezifischen Algorithmus, der die additive Struktur von NAMs ausnutzt, um die Komplexität von exponentiell auf logarithmisch zu reduzieren. Ein NAM ist definiert als:
$f(x) = \beta_0 + \sum_{i=1}^k f_i(x_i)$
wobei jedes $f_i$ ein univariates neuronales Netz ist.

Der Algorithmus besteht aus zwei Hauptphasen:

Phase 1: Paralleles Intervall-Importance-Sorting (Alg. 2)

Ziel ist es, eine totale Ordnung der Merkmale nach ihrer „Wichtigkeit" zu ermitteln.

Konzept: Ein Merkmal $i$ ist wichtiger als $j$ , wenn eine Störung von $i$ zu einer größeren Änderung der Vorhersage führt als eine Störung von $j$ .
Umsetzung: Da NAMs additiv sind, kann die Analyse für jedes univariate $f_i$ unabhängig durchgeführt werden.
Verfahren:
1. Für jedes Merkmal $i$ werden mittels eines neuronalen Netz-Verifiers (z. B. $\alpha$ - $\beta$ -CROWN) untere und obere Schranken ( $l_i, u_i$ ) für den minimalen Wert von $f_i$ im Störbereich $\epsilon_p$ berechnet.
2. Ein paralleler Binärsuch-Algorithmus verfeinert diese Schranken, bis die Intervalle der relativen Änderungen ( $\Delta l_i, \Delta u_i$ ) nicht mehr überlappen.
3. Dies ermöglicht eine totale Sortierung der Merkmale nach ihrer Wichtigkeit.
Komplexität: Dank Parallelisierung und der Nutzung univariater Komponenten (die viel kleiner und schneller zu verifizieren sind als das Gesamtmodell) erfolgt dies mit logarithmischer Anzahl an Verifikationsabfragen in Bezug auf die Präzision.

Phase 2: Feature-Auswahl via Binärsuche (Alg. 4)

Anstatt alle Merkmale linear zu prüfen (wie bei einem Greedy-Ansatz), nutzt der Algorithmus die in Phase 1 ermittelte totale Ordnung.

Logik: Aufgrund der additiven Struktur und der garantierten Ordnung gilt: Wenn eine Menge der $k$ wichtigsten Merkmale eine hinreichende Erklärung ist, dann ist auch jede Menge der $k+1$ wichtigsten Merkmale hinreichend.
Verfahren: Ein Binärsuch-Algorithmus durchsucht die sortierte Liste der Merkmale, um den kleinsten Index $k$ zu finden, bei dem die Menge der $k$ wichtigsten Merkmale eine hinreichende Erklärung bildet.
Ergebnis: Der Algorithmus findet garantiert die kardinal-minimale Erklärung (die absolut kleinste Menge an Merkmalen), nicht nur eine subset-minimale.

3. Schlüsselbeiträge

Erste Methode für NAMs: Dies ist der erste Ansatz, der provabel kardinal-minimale hinreichende Erklärungen für Neural Additive Models generiert.
Komplexitätsreduktion: Der Algorithmus reduziert die Anzahl der erforderlichen Verifikationsabfragen von exponentiell ( $O(2^n)$ ) für allgemeine Netze auf logarithmisch ( $O(\log n)$ ) für NAMs.
Parallelisierung: Durch die Aufteilung auf univariate Komponenten können die aufwendigen Verifikationsabfragen massiv parallelisiert werden.
Überlegenheit gegenüber Sampling: Die Arbeit zeigt, dass rein sampling-basierte Methoden (die oft für NAMs verwendet werden) irreführend sein können, da sie Extremwerte in den univariaten Funktionen übersehen können. Die vorgeschlagene Methode bietet mathematische Sicherheit.
Theoretische Beweise: Die Autoren liefern formale Beweise für die Korrektheit der Sortierung, die Kardinal-Minimalität der Ergebnisse und die Komplexitätsgrenzen (OptP-Härte für das allgemeine Problem, aber effiziente Lösbarkeit für NAMs).

4. Ergebnisse und Evaluation

Die Methode wurde auf drei Datensätzen evaluiert: Breast Cancer, CREDIT und FICO HELOC (alle in sicherheitskritischen Domänen relevant). Als Verifier wurde der State-of-the-Art-Verifier $\alpha$ - $\beta$ -CROWN verwendet.

Erklärunggröße: Die vorgeschlagene Methode liefert signifikant kleinere Erklärungen als bestehende Algorithmen, die nur subset-minimale Erklärungen finden (z. B. im CREDIT-Datensatz: 3.76 vs. 12.42 Merkmale).
Rechenzeit: Trotz der strengeren Anforderung (kardinal-minimal vs. subset-minimal) ist die Methode deutlich schneller (z. B. im Breast-Cancer-Datensatz: 35.6s vs. 634.9s).
Vergleich mit Sampling: Sampling-basierte Methoden waren zwar schneller, lieferten aber nur in ca. 25–31% der Fälle verifizierbare (hinreichende) Erklärungen. Die vorgeschlagene Methode erreicht 100% Verifizierbarkeit.
Skalierbarkeit: Die Methode skaliert gut mit der Anzahl der Prozessoren, da die Sortierphase parallelisiert werden kann.

5. Bedeutung und Fazit

Diese Arbeit ist ein bedeutender Schritt in Richtung formaler Explainable AI (XAI):

Sie beweist, dass für bestimmte interpretierbare Architekturen (NAMs) die Berechnung von optimalen, beweisbaren Erklärungen effizient möglich ist.
Sie schließt die Lücke zwischen der hohen Expressivität neuronaler Netze und der Notwendigkeit strenger Sicherheitsgarantien.
Die Ergebnisse zeigen, dass NAMs nicht nur interpretierbar durch Visualisierung sind, sondern auch durch formale Verifikation, was sie für den Einsatz in sicherheitskritischen Bereichen (z. B. Medizin, Finanzen) deutlich vertrauenswürdiger macht.
Die Arbeit legt den Grundstein für zukünftige Forschung, die Modelle entwickelt, die sowohl hohe Genauigkeit als auch effiziente, beweisbare Erklärbarkeit bieten.

Zusammenfassend demonstriert das Paper, dass durch die Ausnutzung spezifischer Modellstrukturen (Additivität) das Problem der exponentiellen Komplexität bei der Erklärung neuronaler Netze umgangen werden kann, was zu schnelleren, kleineren und mathematisch fundierten Erklärungen führt.