🤖 machine learning

From Hybrid Mechanistic--Data-Driven Modeling Toward Neuro-Symbolic AI: What, Why, and How

Dieses Paper schlägt eine Brücke zwischen hybrider mechanistischer-datengetriebener Modellierung und neuro-symbolischer KI, indem es ein „Hybrid-to-NeSy“ (H2N)-Framework einführt, das bestehende Designs in eine einheitliche semantische Schnittstelle rekonstruiert und so die Ableitung neuer Metriken (Strukturverletzungsrate und Glaubensdispersion) ermöglicht, um die epistemische Unsicherheit und die strukturelle Adhärenz zur verbesserten Modellverifizierung und Extrapolation explizit zu quantifizieren.

Ursprüngliche Autoren: Moein E. Samadi, Andreas Schuppert

Veröffentlicht 2026-07-28

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Moein E. Samadi, Andreas Schuppert

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Der Detektiv und die Kristallkugel

Stellen Sie sich vor, Sie versuchen, das Wetter vorherzusagen. Sie haben zwei Möglichkeiten dazu. Die erste ist der „Old School“-Weg: Sie kennen die Gesetze der Physik. Sie wissen, dass warme Luft aufsteigt und dass Wolken entstehen, wenn Feuchtigkeit abkühlt. Das ist wie ein mechanistisches Modell – es basiert auf Regeln, die immer wahr sind, wie etwa die Schwerkraft. Der zweite Weg ist der „New School“-Weg: Sie betrachten einen riesigen Stapel vergangener Wetterfotos und nutzen einen superintelligenten Computer, um basierend auf Mustern zu erraten, was als Nächstes passiert. Dies ist ein datengetriebenes Modell. Es ist großartig darin, Trends zu erkennen, versteht aber nicht wirklich, war Warum der Regen fällt.

Lange Zeit haben Wissenschaftler versucht, diese beiden Ansätze zu einem Hybridmodell zu mischen. Stellen Sie sich das wie einen Detektiv vor, der die Gesetze der Physik kennt (die Spielregeln), aber auch eine Kristallkugel (die Daten) nutzt, um die fehlenden Teile zu ergänzen. Dies ist in der Ingenieurwissenschaft und der Wissenschaft unglaublich nützlich, da es uns ermöglicht, Systeme zu bauen, die sowohl intelligent als als auch zuverlässig sind. Aber hier liegt das Problem: Wenn man ein Regelwerk mit einer Kristallkugel mischt, wird es schwierig zu sagen, welcher Teil die Arbeit verrichtet hat. Wenn die Vorhersage falsch läuft, liegt es daran, dass die Regeln zu streng waren? Oder hat die Kristallkugel einfach einen schlechten Tag? Wir brauchen eine Möglichkeit, zu messen, wie sehr die „Regeln“ respektiert werden und wie sehr das „Raten“ schwankt.

Die große Idee des Papers: Die Übersetzung des Mysteriums

Dieses Paper mit dem Titel „From Hybrid Mechanistic–Data-Driven Modeling Toward Neuro-Symbolic AI“ schlägt eine clevere neue Art vor, diese hybriden Modelle zu betrachten. Die Autoren, Moein E. Samadi und Andreas Schuppert, schlagen vor, dass wir aufhören sollten, diese hybriden Modelle nur als Computercode zu betrachten, und stattdatt sie als ein neuro-symbolisches (NeSy) System behandeln sollten.

Um dies zu verstehen, stellen Sie sich einen Gerichtssaal vor.

Die Logik-Seite (Der Richter): Dies repräsentiert die harten Gesetze des Universums, wie die Gesetze der Physik oder die Struktur einer Maschine. Der Richter entscheidet, was zulässig (erlaubt) ist und was eine Verletzung darstellt.
Die Glaubens-Seite (Die Jury): Dies repräsentiert den datengetriebenen Teil. Die Jury betrachtet die Beweise und entscheidet, was plausibel oder wahrscheinlich ist.

Das Paper argumentiert, dass jedes hybride Modell in dieses „Gerichtssaal“-Setup übersetzt werden kann. Sie nennen diese Übersetzung H2N (Hybrid-to-NeSy). In dieser neuen Sichtweise sind die festen Gleichungen die Gesetze des Richters, und die gelernten Computerteile sind die Überzeugungen der Jury. Diese Trennung ist deshalb so leistungsstark, weil sie uns erlaubt, zwei sehr spezifische Fragen zu stellen, die zuvor schwer zu beantworten waren:

Hat die Jury gegen die Regeln des Richters verstoßen? (Dies wird durch etwas gemessen, das Structural Violation Rate genannt wird).
Ist die Jury verwirrt? (Dies wird durch Belief Dispersion gemessen).

Was sie herausgefunden haben: Das Vertrauen der Kristallkugel

Die Autoren testeten diese Idee an einem spezifischen Typ von hybriden Modellen, die für die binäre Klassifizierung verwendet werden (im Grunde das Sortieren von Dingen in zwei Kategorien, wie „Spam“ oder „kein Spam“), wobei die Trainingsdaten ein gewisses „Rauschen“ (Fehler in den Labels) aufwiesen. Sie haben nicht nur geraten; sie führten Simulationen mit 50 verschiedenen „Seeds“ (Startpunkten) durch, um zu sehen, wie sich die Modelle verhalten.

Hier sind ihre Erkenntnisse:

1. Der „Verwirrungs“-Meter funktioniert
Sie fanden eine starke Verbindung zwischen der „Zerstreuung“ der Überzeugungen der Jury und der Unvorhersehbarkeit der Genauigkeit des Modells. Sie nannten diese Zerstreutheit Belief Dispersion (BD).

Wenn das Modell sehr sicher war (niedrige BD), war seine Genauigkeit stabil und hoch.
Wenn das Modell verwirrt war (hohe BD), war seine Genauigkeit völlig unbeständig.
In ihren Simulationen stieg mit zunehmendem Rauschen in den Trainingsdaten die Belief Dispersion von 0 auf fast 4 an. Gleichzeitig stieg die Standardabweichung (das „Schwanken“) der Testgenauigkeit von 0 auf etwa 0,073.
Entscheidend ist: Dieses „Schwanken“ konnte vorhergesagt werden, noch bevor das Modell die Testdaten überhaupt sah. Das Paper legt nahe, dass man durch das Betrachten der Belment Dispersion wissen kann, wie instabil die Genauigkeit eines Modells sein wird, während traditionelle Methoden erst dann etwas aussagen, wenn man das Modell bereits getestet hat und das Scheitern feststellt.

2. Der „Regelbruch“-Meter
Sie maßen auch die Structural Violation Rate (SVR), welche prüft, ob das Modell die harten Regeln ignoriert.

In ihren Experimenten blieb die SVR bei 0,000, solange das Modell innerhalb eines bestimmten „Budgets“ erlaubter Fehler blieb (eine Toleranz von κ = ⌊0.5 S⌋, wobei S die Anzahl der Stichproben ist).
Erst als das Rauschen extrem hoch wurde (45 % Label-Rauschen), sprang die SVR auf 0,428 hoch, was bedeutet, dass das Modell häufig die Regeln brach.
Dies zeigt, dass das Modell viel Rauschen verkraften kann, ohne die Gesetze der Physik zu brechen, sol solange die „Verwirrung“ (BD) nicht zu hoch ist.

3. Die Zukunft sehen (Extrapolation)
Die spannendste Erkenntnis betraf die „Extrapolation“ – die Vorhersage von Dingen, die das Modell noch nie gesehen hat.

Sie versteckten bestimmte Teile der Daten vor dem Modell während des Trainings (wie das Verbergen bestimmter Zeilen in einer Tabelle).
Sie fanden heraus, dass sich die Belief Dispersion in zwei Teile aufteilen lässt: das, was das Modell gesehen hat (BD_seen), und das, was es nicht gesehen hat (BD_unseen).
Der Teil BD_unseen konnte sofort berechnet werden, indem man lediglich betrachtete, welche Zeilen fehlten, noch bevor das Modell überhaupt eine neue Vorhersage versuchte.
In ihren Tests, als sie 4 Zeilen versteckten, sprang die BD_unseen auf 0,68, und die Genauigkeit auf diesen neuen, ungesehenen Zeilen brach auf 0,56 ein. Die traditionelle Metrik der „Testgenauigkeit“ zeigte dieses Versagen erst im Nachhinein an, aber die BD-Metrik warnte sie bereits im Voraus.

Warum das wichtig ist

Das Paper behauptet nicht, die gesamte künstliche Intelligenz gelöst zu haben. Stattdessen bietet es eine neue „Linse“ oder eine neue Sprache, um über hybride Modelle zu sprechen. Durch die Übersetzung dieser komplexen technischen Designs in das „Richter und Jury“-Framework können Wissenschaftler endlich die epistemische Unsicherheit messen – was eine schicke Art zu sagen ist: „Wie viel das Modell über seine eigenen Regeln weiß.“

Die Autoren legen nahe, dass dieser Ansatz es ermöglicht, die „Logik“ (die unveränderlichen Regeln) von der „Überzeugung“ (den datengetriebenen Vermutungen) zu trennen. Das bedeutet: Wenn ein Modell scheitert, können wir feststellen, ob es daran lag, dass die Regeln zu streng waren, oder ob das Modell einfach nur wild herumrät. Es verwandelt eine Black Box in ein transparentes System, in dem wir genau sehen können, wo die Unsicherheit liegt, was Ingenieuren hilft, sicherere und zuverlässigere KI-Systeme für die reale Welt zu bauen.

Technisches Resümee: Von hybrider mechanistisch–datengesteuerter Modellierung hin zu Neuro-Symbolischer KI

1. Problemstellung

Hybride mechanistisch–datengesteuerte Modelle (auch bekannt als semiparametrische oder Grey-Box-Modelle) werden zunehmend in der Verfahrenstechnik und im wissenschaftlichen maschinellen Lernen eingesetzt, um Systeme zu adressieren, die nur teilweise verstanden sind. Diese Modelle betten feste physikalische Prinzipien (z. B. Massenbilanzen, Stöchiometrie) ein, während sie unbekannte Komponenten (z. B. konstitutive Abschlüsse, unobservierte Raten) aus Daten lernen.

Trotz ihres Nutzens stehen aktuelle Praktiken der hybriden Modellierung vor zwei primären Einschränkungen:

Fehlende gemeinsame semantische Schnittstelle: Designs werden typischerweise über Architekturen und Trainingsverlustfunktionen spezifiziert. Dieser Fokus auf die Architektur behindert den domänenübergreifenden Vergleich und die Verifizierung, da es keine einheitliche semantische Erklärung dafür gibt, was ein hybrides Modell als Inferenzobjekt repräsentiert.
Unzureichende Unsicherheitsrepräsentation: Es gibt oft keine prinzipielle Methode, um epistemische Unsicherheit spezifisch innerhalb des mechanistischen Teils des Modells darzustellen oder zu propagieren. Standardmetriken wie die Testgenauigkeit zeigen lediglich Leistungsverschiebungen post hoc auf, versäumen es jedoch, Unsicherheit während der Extrapolation oder bei strukturellen Verteilungsverschiebungen vor dem Einsatz zu quantifizieren.

Das Paper postuliert, dass diese Probleme auf einen Mangel an einer formalen Trennung zwischen der „Logik“ (strukturelle Zwänge) und der „Überzeugung“ (gelernte Plausibilität) innerhalb hybrider Modelle zurückzuführen sind.

2. Methodik: Hybrid-to-NeSy (H2N) Translation

Die Autoren schlagen ein systematisches Translationsverfahren vor, Hybrid-to-NeSy (H2N), welches hybride mechanistisch–datengesteuerte Modelle als Instanzen von Neuro-Symbolischer (NeSy) KI rekonstruiert, insbesondere unter Einhaltung der allgemeinen Definition von De Smet und De Raedt.

2.1 Das NeSy-Framework

Ein NeSy-Modell wird als Tupel $(L, \mu, \Omega, b_\theta)$ definiert:

$L$ : Eine Sprache mit Semantik $\mu$ über einem Interpretationsraum $\Omega$ .
$b_\theta$ : Eine Überzeugungs-Gewichtsfunktion (Belief Weight Function).
Inferenzfunktional: Definiert als $F_{\theta,x}(\phi) = \int_{\Omega'} l(\phi, \omega) b_{\theta,x}(\omega) dm(\omega)$ , welche eine Logikfunktion $l$ (Bewertung von Abfragen) mit der Überzeugung $b_\theta$ kombiniert.

2.2 Die Translationsprinzipien

Das H2N-Verfahren bildet hybride Designs auf das NeSy-Tupel basierend auf fünf Prinzipien ab:

Mechanistische Struktur als Sprache ( $L$ ): Strukturelle Kerngleichungen (z. B. Bilanzgesetze) und Kompositionsmuster definieren die Sprache und deren Semantik.
Operationale Semantik ( $\mu, l$ ): Die Logikfunktion $l$ implementiert Admissibilität oder Scoring und bestimmt, was strukturell gültig ist.
Gelernte Module als Überzeugung ( $b_\theta$ ): Gelernte Komponenten induzieren eine Überzeugungsfunktion über unbekannte Größen (Parameter, Abschlüsse, latente Zustände). Deterministische Lerner entsprechen Dirac-Überzeugungen; stochastische Lerner entsprechen nicht-degenerierten Verteilungen.
Gültigkeitsbereiche als Logik: Harte Zwänge und Gültigkeitsbereiche werden auf der Logikseite platziert (Einschränkung des Integrationsbereichs $\Omega'$ oder via $l$ ), anstatt auf der Überzeugungsseite. Dies stellt eine datenunabhängige Admissibilität sicher, da physikalische Gesetze nicht von der Stichprobengröße abhängen sollten.
Architektonische Faktorisierung: Serielle, parallele und Mixture-of-Experts-Muster werden durch Faktorisierungen von $l$ und/oder $b_{\theta,x}$ gespiegelt.

Diese Translation liefert ein explizites Inferenzfunktional für jedes hybride Design, welches die strukturelle Admissibilität (Logikseite) von der gelernten Plausibilität (Überzeugungsseite) trennt.

3. Zentrale Beiträge

Das Paper leistet vier spezifische Beiträge:

Prinzipielles Translationsverfahren: Eine Methode, um jede Beschreibung eines hybriden Modells in ein NeSy-Tupel $(L, \mu, \Omega, b_\theta)$ mit einem expliziten Inferenzfunktional abzubilden.
Mapping-Tabelle: Eine kompakte Referenz (Tabelle 1), die kanonische hybride Designmuster (z. B. serieller Abschluss, paralleler Residuum, Mixture-of-Experts) ihren NeSy-Elementen und deren spezifischen Auswirkungen auf das Inferenzfunktional zuordnet.
Evaluierungsprotokoll mit zwei Metriken: Die Ableitung zweier Metriken basierend auf der Logik–Überzeugungs-Dekomposition:
- Strukturelle Verletzungsrate (Structural Violation Rate, SVR): Misst die Überzeugungsmasse, die auf Interpretationen fällt, welche die strukturellen Zwänge verletzen. Sie operiert auf der Logikseite und ist toleranzabhängig.
- Überzeugungsdispersion (Belief Dispersion, BD): Misst die Konzentration der gelernten Überzeugung (epistemische Unsicherheit). Sie operiert auf der Überzeugungsseite, ist toleranzunabhängig und ist Null bei Dirac-Überzeugungen.
Empirische Instanziierung: Anwendung von H2N auf ein strukturiertes hybrides Modell für die binäre Klassifikation unter Label-Rauschen, wobei demonstriert wird, wie die Metriken Unsicherheit quantifizieren, die durch die Testgenauigkeit allein nicht erkennbar ist.

4. Ergebnisse: Fallstudie zur verrauschten binären Klassifikation

Die Autoren haben H2N auf strukturierte Boole’sche Netzwerke angewendet, wobei der mechanistische Teil Feature-Gruppierungen definiert und der gelernte Teil die Wahrheitstabellen der Module identifiziert (unter Verwendung der NoiseCut-Strategie).

4.1 Quantifizierung der Unsicherheit im mechanistischen Teil

Korrelation mit der Genauigkeit: Mit zunehmendem Label-Rauschen sank die Testgenauigkeit, während die Belief Dispersion (BD) anstieg. BD und die Testgenauigkeit waren stark antikoreliert ( $\rho = -0.94$ ).
Prädiktive Variabilität: Entscheidend war die Feststellung, dass BD die Variabilität der Testgenauigkeit vorhersagt. Modelle mit höherer BD wiesen eine größere Standardabweichung der Testgenauigkeit zwischen verschiedenen Seeds auf.
A priori Schätzung: Da BD eine Funktion der Trainings-Label-Anzahlen und der mechanistischen Struktur ist, liefert sie eine a priori Schätzung der Modellunsicherheit zum Zeitpunkt des Einsatzes, während die Testgenauigkeit dies erst nach dem Sammeln gelabelter Testdaten berichten kann.

4.2 Quantifizierung der Unsicherheit während der Extrapolation

Dekomposition: Unter strukturellen Verteilungsverschiebungen (Zurückhalten spezifischer Zeilen der zweiten Ebene) zerlegt sich BD exakt in $BD = BD_{seen} + BD_{unseen}$ .
Frühwarnsystem: $BD_{unseen}$ ist allein aus der Zeilenabdeckung berechenbar, noch bevor eine Out-of-Distribution (OOD)-Probe beobachtet wird. In Experimenten stieg $BD_{unseen}$ mit zunehmender Anzahl der zurückgehaltenen Zeilen monoton an, während die In-Distribution-Genauigkeit hoch blieb und die OOD-Genauigkeit kollabierte.
Bedeutung: Dies zeigt, dass H2N in der Lage ist, den epistemischen Zustand eines Modells hinsichtlich der Abdeckung und des Extrapolationsrisikos zu quantifizieren, bevor ein Fehler auftritt – eine Fähigkeit, die unter Standard-Architektur- und Loss-Beschreibungen fehlt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass die H2N-Translation eine gemeinsame semantische Schnittstelle für die hybride Modellierung bietet, die einen systematischen Vergleich und eine Verifizierung über Domänen hinweg ermöglicht.

Entkopplung von Logik und Überzeugung: Durch die strikte Trennung von struktureller Admissibilität (Logik) und gelernter Plausibilität (Überzeugung) klärt das Framework, welche Annahmen harte Zwänge sind und welche datenabhängig sind. Dies ermöglicht gezielte Interventionen: Modifikation von $l$ für Regimewechsel versus Modifikation von $b_\theta$ für Unsicherheit.
Neue diagnostische Fähigkeiten: Die Metriken SVR und BD bieten diagnostische Werkzeuge, die unter traditionellen architektonischen Beschreibungen nicht definiert sind. Insbesondere dient BD als Proxy für die epistemische Unsicherheit in der mechanistischen Komponente und ermöglicht die Erkennung von strukturellen Verteilungsverschiebungen und Extrapolationsrisiken vor dem Deployment.
Beidseitiger Nutzen: Die Arbeit schlägt eine Brücke zwischen zwei Feldern. Sie gibt hybriden Modellierern eine rigorose semantische Schnittstelle und bietet NeSy-Forschern einen vorverarbeiteten Katalog strukturierter Unsicherheitsdesigns (z. B. Gültigkeitsbereiche, Residuenprüfungen), die aus der Ingenieurspraxis abgeleitet sind.

Die Autoren bleiben hinsichtlich der Limitationen bescheiden und merken an, dass die Translation nicht eindeutig ist (obwohl die Prinzipien P1–P5 eine kanonische Platzierung festlegen) und dass Diagnosen für große oder kontinuierliche Räume auf approximierter Inferenz beruhen, welche die Kalibrierungsfehler der Inferenz erbt.