🤖 machine learning

Steering Neural Network Training through Interpretable Constraints Based on Partial Dependence

Dieses Paper führt einen durch Erklärungen gesteuerten Lernansatz ein, der das Training neuronaler Netze mittels partieller Abhängigkeitsbeschränkungen steuert, um das Modellverhalten mit Domänenwissen in Einklang zu bringen, und demonstriert dabei eine verbesserte Leistung, Dateneffizienz und Interpretierbarkeit bei Regressionsaufgaben im Vergleich zu unbeschränkten Modellen.

Ursprüngliche Autoren: Yann Claes, Pierre Geurts, Vân Anh Huynh-Thu

Veröffentlicht 2026-07-10

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yann Claes, Pierre Geurts, Vân Anh Huynh-Thu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem superintelligenten, aber etwas schelmischen Roboter bei, das Wetter vorherzusagen. Sie geben ihm Berge von Daten, und er lernt, die Temperatur zu erraten. Aber hier ist der Haken: Der Roboter ist eine „Black Box“. Er liefert zwar das richtige Ergebnis, aber manchmal aus den falschen Gründen. Vielleicht hat er gelernt, dass „Wolken Regen bedeuten“, obwohl eigentlich die Luftfeuchtigkeit entscheidend ist und es nur so aussah, als kämen Wolken und Regen oft zusammen auf.

Dies ist das Problem, das die Autoren Yann Claes und sein Team lösen wollen. Sie wollen verhindern, dass der Roboter nur rät, und ihn stattdessen dazu bringen, aus Verständnis zu lernen, das auf dem basiert, was Menschen bereits wissen.

Der Kompass der „Partiellen Abhängigkeit“

Die Autoren führen einen neuen Weg ein, um diese neuronalen Netze (die Roboter) mithilfe von etwas zu steuern, das man Partielle Abhängigkeit (Partial Dependence, PD) nennt. Betrachten Sie PD als eine „marginale Effekt“-Karte. Wenn Sie fragen: „Wie verändert sich die Temperatur nur aufgrund der Luftfeuchtigkeit, wenn man alles andere ignoriert?“, zeigt Ihnen die PD-Karte genau diese spezifische Beziehung.

Normalerweise schauen wir uns diese Karten erst nachdem der Roboter gelernt hat, um zu sehen, ob sie Sinn ergeben. Aber dieses Paper schlägt einen anderen Ansatz vor: Erklärungsgesteuertes Lernen (Explanation-Guided Learning). Anstatt darauf zu warten, zu sehen, ob der Roboter recht hat, überreichen Sie ihm einen Kompass, bevor er überhaupt mit dem Lernen beginnt. Sie sagen: „Hey Roboter, wir wissen, dass Luftfeuchtigkeit und Temperatur eine bestimmte Beziehung haben (wie eine Kurve oder eine gerade Linie). Sorge dafür, dass deine interne Karte so aussieht wie diese.“

Das Duell: „In-Distribution“ vs. „Linspace“

Das Team testete zwei Wege, um diesem Roboter diesen Kompass zu geben:

In-Distribution Constraints (Beschränkungen innerhalb der Verteilung): Das ist so, als würden Sie dem Roboter sagen: „Stelle sicher, dass deine Karte nur an den Stellen richtig aussieht, an denen wir auch tatsächlich Daten haben.“ Wenn Sie nur Wetterdaten aus dem Sommer haben, verspricht der Roboter nur, die sommerliche Beziehung richtig darzustellen.
Linspace Constraints: Dies ist der Star des Papers. Hier sagen Sie dem Roboter: „Stelle sicher, dass deine Karte über ein ganzes Gitter von gleichmäßig verteilten Punkten hinweg korrekt aussieht, selbst an Orten, an denen wir keine Daten haben.“ Es ist, als würde man eine glatte, perfekte Kurve über die gesamte Karte zeichnen, nicht nur an den Stellen, an denen man einen Pin platziert hat.

Das große Ergebnis:
In ihren Experimenten – die die Vorhersage der Betonfestigkeit, der Wasserchemie und sogar das Schwingen eines gedämpften Pendels umfassten – war die Linspace-Methode der klare Gewinner.

Wenn der Roboter mit sehr wenigen Daten trainiert wurde (manchmal nur 25 oder 50 Stichproben), wurde der „In-Distribution“-Roboter verwirrt und vergaß die Regeln außerhalb der Daten, die er gesehen hatte. Aber der Linspace-Roboter? Er behielt die Form der Beziehung bei, selbst wenn er über Wetterbedingungen raten musste, die er noch nie zuvor gesehen hatte.

Ein Beispiel: Im Experiment zur Betonfestigkeit wussten sie, dass die Festigkeit von Beton, wenn er älter wird, auf eine bestimmte logarithmische Weise ansteigt.

Der unbeschränkte Roboter (ohany Kompass) und der In-Distribution-Roboter (begrenzter Kompass) scheiterten beide, wenn sie gefragt wurden, die Festigkeit für sehr alten Beton vorherzusagen (Daten außerhalb des Trainingsbereichs). Sie vergaßen die Kurve.
Der Linspace-Roboter hingegen erinnerte sich an die Form. Er sagte die Festigkeit von altem Beton viel besser voraus, obwohl er während des Trainings nur jungen Beton gesehen hatte.

Was sie explizit ausschließen

Die Autoren betonen sorgfältig, was ihre Methode nicht ist.

Es ist nicht im traditionellen Sinne „physikbasiert“: Sie verglichen ihre Methode mit anderen Techniken, die versuchen, Physik-Gleichungen direkt in den Code einzubauen (wie das Hinzufügen einer Physikformel in das Gehirn des Roboters). Sie fanden heraus, dass diese Methoden, die Physik mischen, scheitern können, wenn die reale Welt chaotisch und nicht perfekt additiv ist (das heißt, die Teile lassen sich nicht einfach nur addieren). Ihre Methode ist flexibler, weil sie nicht das gesamte Modell dazu zwingt, eine einfache Summe von Teilen zu sein; sie erzwingt lediglich die Form der Beziehung.
Es ist keine Magie: Wenn Sie dem Roboter einen Kompass mit der falschen Richtung geben (falsch spezifiziertes Wissen), wird er nicht perfekt funktionieren. Sie fanden jedoch heraus, dass selbst ein vager oder leicht falscher Kompass (wie die Annahme einer Quadratwurzel-Beziehung statt einer logarithmischen) immer noch besser war als gar kein Kompass, wenn die Daten knapp waren.

Wie sicher sind sie sich?

Die Autoren sind sehr zuversichtlich in ihre Ergebnisse, aber sie sind spezifisch darin, woher dieses Vertrauen kommt.

Sie haben dies an reellen Datensätzen gemessen (wie Betonfestigkeit und Wasser-pH-Wert) und auf synthetischen Problemen (wie dem berühmten „Friedman-Problem“ und einem schwingenden Pendel) simuliert.
Sie haben nicht nur gesagt: „Es sieht gut aus.“ Sie haben die Zahlen immer und immer wieder überprüft (10 verschiedene Trainingsstarts für synthetische Probleme, 20 Aufteilungen für reale Daten) und gezeigt, dass die Linspace-Methode konsistent geringere Fehler und bessere „Karten“ (PD-Schätzungen) aufwies als die anderen Methoden.
Sie stellen explizit fest, dass die Methode zwar etwas mehr Rechenzeit beansprucht (da der Roboter seine Karte ständig gegen das Gitter prüfen muss), dies aber für die Genauigkeit absolut lohnenswert ist, besonders wenn man wenig Daten zur Verfügung hat.

Das Fazit für einen neugierigen Teenager

Stellen Sie sich vor, Sie lernen, einen Berg zu zeichnen.

Der unbeschränkte Roboter betrachtet ein paar Fotos von Bergen und versucht, die Form zu erraten. Wenn er keinen schneebedeckten Gipfel gesehen hat, zeichnet er vielleicht einen flachen Hügel.
Der In-Distribution-Roboter verspricht, die Berge exakt so zu zeichnen, wie sie auf den Fotos erscheinen. Aber wenn Sie ihn bitten, einen Berg zu zeichnen, den er noch nie gesehen hat, erstarrt er oder zeicht etwas Seltsames.
Der Linspace-Roboter bekommt eine Regel: „Berge gehen immer in einer glatten Kurve nach oben und dann wieder nach unten.“ Selbst wenn er auf den Fotos nur den Fuß des Berges sieht, nutzt er diese Regel, um den Gipfel korrekt zu zeichnen.

Das Paper legt nahe, dass wir, indem wir den KI dazu zwingen, diese „glatte Kurven“-Regeln (Partial Dependence Constraints) über die gesamte Karte hinweg zu befolgen und nicht nur in den Teilen, die wir gesehen haben, smartere und zuverlässigere Modelle bauen können, die nicht die Orientierung verlieren, wenn die Daten knapp werden oder sich die Situation ändert. Es ist ein Weg, den Roboter zu lehren, die „Gesetze des Landes“ zu respektieren, noch bevor er überhaupt mit der Erkundung beginnt.

Technisches Resümee: Steuerung des Trainings neuronaler Netzwerke durch interpretierbare Constraints basierend auf partieller Abhängigkeit

Problemstellung

Das Feld der Erklärbaren Künstlichen Intelligenz (XAI) hat signifikante Fortschritte bei der Entwicklung von Techniken zur Interpretation von Modellentscheidungen gemacht. Es bleibt jedoch eine kritische Lücke bei der Bewertung der Qualität dieser Erklärungen und, noch wichtiger, bei der Anpassung von Modellen, um sicherzustellen, dass ihre Erklärungen mit vorhandenem Domänenwissen übereinstimmen. Bestehende Ansätze im Bereich des „erklärungsgesteuerten Lernens“ (Explanation-Guided Learning, EGL) konzentrieren sich primär auf Klassifikationsaufgaben (oft mit Bildern oder Texten) und setzen typischerweise Wissen über Merkmalswichtigkeit oder spezifische Eingangsregionen voraus. Darüber hinaus konzentrieren sich viele Methoden, die Constraints einbeziehen, auf strukturelle Eigenschaften der Funktion (z. B. Konvexität, Monotonie) statt auf die Erklärungen selbst.

Diese Arbeit adressiert die Herausforderung, das Training neuronaler Netze für Regressionsprobleme – insbesondere einschließlich der Vorhersage dynamischer Systeme – so zu steuern, dass die durchschnittliche Reaktion des Modells auf bestimmte Merkmale (seine partielle Abhängigkeit) mit einer bekannten funktionalen Form des Domänenwissens übereinstimmt. Das Ziel ist es, Modelle zu erzeugen, die nicht nur dateneffizienter und robuster gegenüber Out-of-Distribution (OOD)-Verschiebungen sind, sondern auch Erklärungen liefern, die der bereitgestellten Prioritätsinformation treu sind.

Methodik

Partielle Abhängigkeit als Constraint

Die Autoren definieren das Problem als das Lernen eines differenzierbaren Modells $h_\theta(x)$ , sodass dessen partielle Abhängigkeit (Partial Dependence, PD) auf einer Teilmenge von Merkmalen $x_k$ mit einer bekannten funktionalen Form übereinstimmt. Die PD einer Funktion $f$ auf $x_k$ ist definiert als der Erwartungswert der Funktion über die Randverteilung der verbleibenden Merkmale $x_{-k}$ :
$PD_\infty(f, x_k) = \mathbb{E}_{x_{-k}}[f(x_k, x_{-k})]$

Die Autoren nehmen an, dass die wahre PD einer algebraischen Form $h^\phi_k(x_k)$ folgt, die durch $\phi$ parametrisiert ist. Diese Form kann eine bekannte physikalische Beziehung (z. B. logarithmisch, sinusförmig) bis hin zu Skalierungs- und Bias-Konstanten darstellen.

Trainingsalgorithmus

Das Trainingsziel minimiert eine kombinierte Verlustfunktion $L_\lambda$ , die die Vorhersagegenauigkeit und die Einhaltung des PD-Constraints ausbalanciert:
$L_\lambda(h_\theta, h^\phi_k, f; LS) = (1 - \lambda)L_{tot}(h_\theta, f; LS) + \lambda L_{PD}(h_\theta, h^\phi_k; LS)$
Wobei:

$L_{tot}$ der Standard-Mittlere Quadratfehler auf dem Trainingsdatensatz ist.
$L_{PD}$ die quadratische Differenz zwischen der geschätzten PD des Modells und der Zielfunktion $h^\phi_k$ misst, evaluiert auf einem spezifischen Satz von Punkten $x_k$ .
$\lambda \in [0, 1]$ den Trade-off steuert.

Optimierungsstrategie:
Die Autoren schlagen ein alternierendes Optimierungsverfahren (Algorithmus 1) vor:

Initialisierung: Die Zielfunktion $h^\phi_k$ wird über eine festgelegte Anzahl von Epochen auf die Rohausgaben gefittet, um $\phi$ zu initialisieren.
Alternierende Schritte: Die Modellparameter $\theta$ und die Prior-Parameter $\phi$ werden in alternierenden Blöcken aktualisiert. Alle $S$ Epochen wird $\phi$ aktualisiert, um den PD-Verlust gegeben das aktuelle $\theta$ zu minimieren, und anschließend wird $\theta$ aktualisiert, um den kombinierten Verlust zu minimieren.
Datensatzkonstruktion: Eine entscheidende Komponente ist die Konstruktion eines separaten Datensatzes $LS_{PD}$ $L S_{P D}$ für den Constraint-Term. Dieser Datensatz kann entweder sein:
- In-distribution (ID): Stichproben, die aus der Trainingsverteilung $p(x_k)$ gezogen wurden.
- Linspace (L): Ein Satz gleichmäßig verteilter Werte, die den Eingangsraum abdecken (potenziell über die Trainingsverteilung hinausgehend). Die Autoren argumentieren, dass die Beschränkung auf gleichmäßig verteilte Punkte hilft, das Modell in schlecht gesampelten Regionen und bei OOD-Daten zu generalisieren.

Zentrale Beiträge

Neuer EGL-Framework für Regression: Im Gegensatz zu bisherigen EGL-Arbeiten, die auf Merkmalswichtigkeit in der Klassifikation fokussiert sind, beschränkt sich dieser Ansatz auf die Einschränkung der funktionalen Form der partiellen Abhängigkeit in Regressionsaufgaben, einschließlich dynamischer Systeme.
Linspace-Constraint-Konfiguration: Die Arbeit führt die Verwendung von „Linspace“-Constraints (Beschränkung der PD auf gleichmäßig verteilte Punkte über den gesamten Bereich) als überlegene Alternative zu In-Distribution-Constraints ein und validiert diese empirisch. Diese Konfiguration zwingt das Modell dazu, die korrekte funktionale Form selbst in Regionen mit spärlichen Trainingsdaten zu lernen.
Robustheit gegenüber Datenknappheit und OOD-Verschiebungen: Die Methode zeigt sich besonders effektiv in Szenarien mit geringer Datenmenge und wenn die Testdaten zum Zeitpunkt der Evaluierung außerhalb der Trainingsverteilung liegen.
Vergleich mit Physik-informierter ML: Die Autoren vergleichen ihren Single-Model-Constraint-Ansatz mit physik-informierten Hybridmodellen (z. B. APHYNITY, PD-Hybrid). Sie zeigen auf, dass ihre Methode oft eine bessere Vorhersageleistung und treffendere PD-Schätzungen liefert, insbesondere wenn das zugrunde liegende Problem nicht strikt die Additivitätsannahmen erfüllt, die für Hybridmodelle erforderlich sind.

Experimentelle Ergebnisse

Die Autoren evaluierten die Methode anhand synthetischer Probleme (Friedman, Product), realer Datensätze (Concrete Compressive Strength, PHALK) und eines dynamischen Systems (gedämpftes Pendel).

Vorhersageleistung: Modelle, die mit PD-Constraints trainiert wurden, übertrafen unbeschränkte Modelle konsistent, insbesondere wenn die Größe des Trainingsdatensatzes abnahm (z. B. 50 Samples). In vielen Fällen erreichten die mit 50 Samples trainierten, beschränkten Modelle eine Leistung, die vergleichbar mit unbeschränkten Modellen war, die auf 300 Samples trainiert wurden.
Qualität der Erklärung: Die PD-Schätzungen der beschränkten Modelle stimmten signifikant besser mit dem Vorwissen (Ground Truth oder Approximation) überein als die der unbeschränkten Modelle.
Linspace vs. In-Distribution: In allen Experimenten übertrafen Linspace-Constraints (Beschränkung auf gleichmäßig verteilte Punkte) die In-Distribution-Constraints generell. Dies war besonders deutlich in Extrapolationsszenarien, in denen die Testdaten außerhalb des Trainingsbereichs lagen. Linspace-Constraints halfen dabei, die Auswirkungen von Domänenverschiebungen zu dämpfen, während In-Distribution-Constraints oft daran scheiterten, über den Trainingsbereich hinaus zu generalisieren.
Robustheit gegenüber Fehlspezifikation des Wissens: Selbst wenn das Vorwissen unvollkommen war (z. B. Annahme einer Quadratwurzel-Beziehung statt einer logarithmischen oder Verwendung einer Fourier-Reihe mit falschen Frequenzen), blieben die Linspace-beschränkten Modelle robust. Sie übertrafen oft unbeschränkte Modelle und produzierten in Extrapolationssettings PD-Formen, die näher an der wahren zugrunde liegenden Funktion lagen als Modelle, die mit In-Distribution-Constraints trainiert wurden.
Dynamische Systeme: Die Methode wurde erfolgreich auf die Vorhersage dynamischer Systeme (Neural ODEs) ausgeweitet, wobei sie eine verbesserte Trajektorienvorhersage und PD-Ausrichtung zeigte, insbesondere wenn die Anfangszustände Out-of-Distribution waren.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Steuerung neuronaler Netze über partielle Abhängigkeits-Constraints ein leistungsfähiger Mechanismus für das erklärungsgesteuerte Lernen in der Regression ist. Die primäre Bedeutung liegt in der Fähigkeit:

Dateneffizienz zu verbessern: Hohe Vorhersagegenauigkeit mit signifikant weniger Trainingsproben zu erreichen, indem funktionales Prioritätswissen genutzt wird.
Generalisierung zu erhöhen: Modelle zu erzeugen, die besser auf Out-of-Distribution-Daten generalisieren, indem die korrekte funktionale Form über den gesamten Eingangsraum erzwungen wird, nicht nur dort, wo die Daten dicht liegen.
Treue der Erklärungen zu gewährleisten: Sicherzustellen, dass die Interpretierbarkeit des Modells (via PD-Plots) das Wissen des Domänenexperten widerspiegelt und verhindert, dass das Modell „korrekte“ Vorhersagen aus den „falschen“ Gründen lernt.

Die Autoren merken an, dass die Methode zwar höhere Rechenkosten verursacht (aufgrund der Schätzung der partiellen Abhängigkeit, die Modell-Evaluierungen über mehrere Merkmalskombinationen erfordert), dies jedoch ein vertretbarer Kompromiss für Low-Data-Regime ist, in denen Generalisierung und Interpretierbarkeit von zentraler Bedeutung sind. Sie kommen zu dem Schluss, dass dieser Ansatz eine generischere Alternative zu physik-informierten Hybridmodellen bietet, da er keine explizite additive Zerlegung des Problems erfordert.