💻 computer science

NeSyCat Torch: A Differentiable Tensor Implementation of Categorical Semantics for Neurosymbolic Learning

NeSyCat Torch vereinheitlicht diverse neurosymbolische Semantiken unter einem einzigen monadischen Framework, indem es ein differenzierbares Tensor-basiertes Training über ein latentes Log-Tensor-Monad implementiert, wodurch es im Vergleich zu bestehenden Systemen eine überlegene Geschwindigkeit und Genauigkeit bei der MNIST-Addition erreicht, während es gleichzeitig eine einheitliche Struktur beibehält, die an verschiedene Prädikatenlogik-Ansätze anpassbar ist.

Ursprüngliche Autoren: Daniel Romero Schellhorn, Till Mossakowski, Björn Gehrke

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Daniel Romero Schellhorn, Till Mossakowski, Björn Gehrke

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Zu viele Sprachen

Stellen Sie sich vor, Sie haben ein Team von Experten, die versuchen, einem Roboter beizubringen, wie man denkt.

Der klassische Experte spricht in strenger „Ja/Nein“-Logik.
Der Fuzzy-Experte spricht in „Vielleicht“ oder „So lala“.
Der probabilistische Experte spricht in Prozentsätzen und Wahrscheinlichkeiten.
Der neuronale Experte (die KI) lernt, indem er Bilder betrachtet und Muster errät.

Das Problem ist, dass diese Experten alle verschiedene Sprachen sprechen. Sie haben unterschiedliche Regeln dafür, was als „wahr“ gilt. Wenn der klassische Experte eine Regel schreibt, kann der probabilistische Experte sie nicht verstehen, und der neuronale Experte kann nicht von ihr lernen. Dies nennt man Fragmentierung.

Die Lösung: Ein universeller Übersetzer (NeSyCat)

Die Autoren haben zuvor einen „universellen Übersetzer“ namens NeSyCat entwickelt. Betrachten Sie dies als einen Master-Bauplan, der die Sprache all dieser Experten in ein einziges, einheitliches Regelwerk übersetzen kann. Er verwendet ein mathematisches Werkzeug namens Monade (die man sich als „Container“ oder „Wrapper“ vorstellen kann), um die Logik zu halten.

Doch bis jetzt hatte dieser Übersetzer ein fehlendes Teil: Er konnte zwar die Regeln beschreiben, aber er konnte dem neuronalen Experten (der KI) nicht wirklich beibringen, wie man sie lernt. Es war, als hätte man einen Bauplan für ein Auto, aber keinen Motor.

Hier kommt NeSyCat Torch: Der Motor

NeSyCat Torch ist der fehlende Motor. Er nimmt diesen universellen Bauplan und steckt ihn direkt in moderne KI-Werkzeuge (wie PyTorch und JAX). Er ermöglicht es der KI, aus den Regeln zu lernen, anstatt nur zu raten.

So funktioniert es, unterteilt in drei einfache Ebenen:

1. Der „träge“ Buchhalter (Das Trainings-Monad)

Wenn eine KI lernt, macht sie viel Mathematik. Wenn man versucht, jede einzelne Möglichkeit auf einmal zu berechnen, werden die Zahlen unübersichtlich und der Computer stürzt ab (oder braucht ewig).

Die Analogie: Stellen Sie sich einen Koch vor, der eine Suppe probiert. Wenn er jedes einzelne Salzkorn einzeln probieren müsste, würde er niemals fertig werden. Stattdessen probiert er den ganzen Topf auf einmal.
Der Trick des Papers: Die Autoren verwenden einen „faulen“ (lazy) Ansatz. Sie berechnen nicht sofort die Wahrscheinlichkeit für jedes einzelne Ergebnis. Sie warten bis ganz am Ende, um die Mathematik zu betreiben. Sie verwenden einen speziellen „Log-Tensor“-Container, der die Zahlen stabil und leicht handhabbar hält – so als würde man ein Rezept in einem Notizbuch aufbewahren, das nur dann aktualisiert wird, wenn man tatsächlich kocht.

2. Das „Batch“-Förderband (Das Batch-Monad)

Normalerweise lernt eine KI, indem sie sich ein Bild ansieht, eine Vermutung anstellt und dann zum nächsten Bild übergeht. Das ist langsam.

Die Analogie: Stellen Sie sich eine Fabrikstraße vor. Anstatt jedes Auto einzeln zu inspizieren, legt man 32 Autos auf ein Förderband und inspiziert sie alle gleichzeitig.
Der Trick des Papers: Sie verwenden ein „Batch-Monad“, um eine ganze Gruppe von Daten (einen Mini-Batch) zusammenzufassen. Die KI verarbeitet die ganze Gruppe auf einmal, was das Training unglaublich schnell macht.

3. Die „Zwei-Wege“-Brücke

Das System muss mit dem neuronalen Netzwerk (das verschwommene Bilder sieht) und den Logikregeln (die klare Antworten benötigen) kommunizieren.

Die Analogie: Denken Sie an einen Übersetzer, der sowohl „verschwommene Bilder“ als auch „klare Logik“ spricht.
Der Trick des Papers: Sie haben eine Brücke gebaut. Wenn die KI ein verschwommenes Bild einer „7“ sieht, rät sie nicht einfach „7“. Sie erstellt eine „Wolke von Möglichkeiten“ (eine Wahrscheinlichkeitsverteilung). Das System nutzt dann Mathematik, um diese Wolken zu kombinieren (wie das Mischen von Farben), um zu sehen, ob das Endergebnis mit der Regel übereinstimmt (z. B. „Ist dieses Bild plus jenes Bild gleich 15?“).

Der Test: Hinzufügen von handgeschriebenen Ziffern

Um zu beweisen, dass es funktioniert, testeten die Autoren das System an einer klassischen Aufgabe: MNIST-Addition.

Die Aufgabe: Zeigen Sie der KI zwei handgeschriebene Zahlen (wie eine 3 und eine 4), aber verstecken Sie die Zahlen selbst. Die KI sieht nur die Summe (7).
Das Ziel: Die KI muss lernen, die einzelnen Ziffern zu erkennen, indem sie nur weiß, was sie addieren.
Das Ergebnis: Die KI lernte, die Ziffern mit einer Genauigkeit von etwa 97 % zu erkennen.

Warum es eine große Sache ist (Die Ergebnisse)

Die Autoren verglichen NeSyCat Torch mit anderen berühmten KI-Logiksystemen (wie LTN und DeepProbLog).

Geschwindigkeit: Es war viel schneller. Während andere Systeme bei schwierigeren Problemen Zeitüberschreitungen hatten oder stecken blieben, lief NeSyCat Torch reibungslos weiter.
Genauigkeit: Es war genauer als LTN und DeepProbLog und fast so genau wie das sehr beste System (DeepStochLog).
Flexibilität: Das Beste daran ist, dass man, da es auf diesem „universellen Übersetzer“ (dem Monad) basiert, den „Container“ austauschen kann, um die Art und Weise zu ändern, wie die KI denkt. Man kann von „Wahrscheinlichkeiten“ zu „Fuzzy-Logik“ wechseln, indem man nur eine Einstellung im Code ändert, ohne das gesamte Programm neu zu schreiben.

Zusammenfassung

NeSyCat Torch ist ein neuer Weg, KI zu bauen, die strikte Logik mit flexiblem Lernen kombiniert. Es nutzt einen cleveren „faulen“ Mathematik-Trick, um sich nicht in Berechnungen zu verzetteln, und einen „Batching“-Trick, um Daten schnell zu verarbeiten. Es hat bewiesen, dass man einer KI beibringen kann, handgeschriebene Zahlen zu erkennen, indem man ihr lediglich die Regeln der Addition gibt – und das schneller und genauer als bisherige Methoden.

Technisches Resümee: NeSyCat Torch

Problemstellung

Neurosymbolische (NeSy) KI zielt darauf ab, die perzeptiven Fähigkeiten neuronaler Netze mit der strukturierten Argumentation der symbolischen Logik zu kombinieren. Das Feld leidet jedoch unter Fragmentierung: Klassische, Fuzzy- und probabilistische Systeme definieren Wahrheit jeweils durch unterschiedliche induktive Regeln, was den Transfer von Wissensbasen und Lernzielen zwischen ihnen verhindert. Während das Unified Language for Learning and Reasoning (ULLER) diese Semantiken zuvor unter einem einzigen kategorischen Rahmenwerk basierend auf Monaden vereinheitlicht hat, fehlte eine Implementierung für durch neuronale Netze gelernte Prädikate und Funktionen. Zudem haben bestehende Implementierungen oft Schwierigkeiten mit der Skalierbarkeit und numerischen Stabilität beim Übergang von diskreten zu kontinuierlichen oder großflächigen Batch-Settings.

Methodik

Das Paper stellt NeSyCat Torch vor, eine differenzierbare Tensor-Implementierung des NeSyCat-kategorialen Frameworks. Die Kernmethodik besteht darin, computationalen Symbole über neuronale Netze innerhalb einer einheitlichen, monaden-parametrisierten Architektur zu interpretieren.

1. Kategoriales Framework und Monaden

Das Framework erweitert die kategoriale Semantik von Johnstone (2002), indem es Syntax und Semantik in vier Schichten organisiert: kategorial, logisch, Domäne und Grammatik. Der Vereinheitlichungsmechanismus ist das starke Monad $M$ , welches den Effekt (z. B. Wahrscheinlichkeit, Tensor-Gewichte) parametrisiert. Das Paper nutzt drei spezifische Monaden-Schichten (Tabelle 1):

Distributions-Monad ( $D$ ): Repräsentiert endlich unterstützte Wahrscheinlichkeitsverteilungen. Sie dient als Referenzsemantik und metrischer Readout, wobei der Bind-Operator ( $>>=$ ) die Marginalisierung (Gesetz der totalen Wahrscheinlichkeit) durchführt.
Tensor-Monad ( $T$ ) / Log-Tensor-Monad ( $T_{log}$ ): Implementiert die Distributions-Monad auf eine differenzierbare Weise unter Verwendung reeller Zahlen (Logits) anstelle von Wahrscheinlichkeiten. $T_{log}$ operiert über das Log-Semiring $(\mathbb{R}, \text{logsumexp}, +)$ , um numerische Stabilität und Differenzierbarkeit zu gewährleisten und die mit Fuzzy-Operatoren in $[0,1]$ verbundene Gradienten-Degeneration zu vermeiden.
Batch-Monad ( $B$ ): Eine Reader-Monad über einem Batch-Index-Set, die die parallele Verarbeitung von Mini-Batches ermöglicht, ohne Zufälligkeit einzuführen.

2. Syntax und Semantik

Das System unterstützt drei Arten von Symbolen:

Tarski: Deterministische Abbildungen (Standard-FOL).
Kleisli: Effektvolle Abbildungen in $M$ .
NeSy: Neuronale Abbildungen, die monadische Carrier als Input nehmen und monadische Carrier als Output produzieren.

Formeln werden mittels Do-Notation (syntaktischer Zucker für das monadische Binden) konstruiert. Eine zentrale Innovation ist die Behandlung von computationalen Funktionssymbolen (z. B. $digit: \text{Image} \to M \text{Digit}$ ) und Prädikaten. Die Semantik wird induktiv definiert:

Bind ( $\leftarrow$ ): Führt die Marginalisierung in $D$ und die Log-Space-Konvolution in $T$ durch.
Quantoren: Aggregieren monadische Wahrheitswerte über endliche Domänen.
Lazy Evaluation: Das Framework verwendet „lazy monads“, um die Berechnung der marginalisierten Wahrscheinlichkeiten aufzuschieben, bis sie strikt notwendig sind, wodurch unnötige Zweige beschnitten werden.

3. Training und Inferenz

Das Training minimiert den Knowledge Loss (den mittleren negativen Log-Wahrheitswert von Axiomen) über einen Datensatz.

Batching: Anstatt das Do-Notation-Programm $N$ -mal für $N$ Samples auszuführen, führt das System es einmal auf einem Batch-Tensor aus. Die Batch-Monad $B$ wird mit der Tensor-Monad $T$ komponiert ( $B \circ T$ ).
Datenverarbeitung: Beobachtungen werden als „sichere“ Werte behandelt (One-Hot-kodiert im Log-Space), die via liftB in die Formel eintreten.
Implementierung: Das Framework ist in Haskell (HaskTorch), Python (JAX) und Python (PyTorch) implementiert. Das JAX-Backend nutzt JIT-Kompilierung für Log-Space-Konvolution und Differenzierung.

Zentrale Beiträge

Neuronale Implementierung von NeSyCat: Bietet die erste neuronale Implementierung des NeSyCat-Frameworks und schließt die Lücke zwischen abstrakter kategorialer Semantik und praktischem Deep Learning.
Einheitliche Monaden-Parametrizität: Demonstriert, dass ein einziger Codebase, geschrieben in monadischer Do-Notation, verschiedene Semantiken (probabilistisch, fuzzy, klassisch) instanziieren kann, indem lediglich die zugrunde liegende Monade geändert wird.
Differenzierbare Log-Tensor-Monad: Führt ein numerisch stabiles, differenzierbares Trainings-Backend unter Verwendung des Log-Semirings ein, welches die Notwendigkeit einer expliziten Softmax-Normalisierung während der Zwischenschritte vermeidet (diese wird erst an der Grenze delegiert).
Skalierbarkeit durch Laziness: Ermöglicht effizientes Training auf Batches und Multi-Digit-Problemen durch das Aufschieben von Marginalisierungsberechnungen.

Experimentelle Ergebnisse

Die Autoren evaluierten das Framework bei der MNIST-Addition (Distant Supervision: Nur die Summe zweier handgeschriebener Ziffern wird beobachtet, nicht die Ziffern selbst).

Genauigkeit:
- Einzelne Ziffer ( $N=1$ ): NeSyCat Torch erreichte 94,6 % (LTN-Stil) und 94,2 % (DeepProbLog-Stil) und übertraf damit LTN (93,5 %) und DeepProbLog (92,2 %).
- Mehrere Ziffern ( $N=4$ ): NeSyCat Torch erreichte eine Genauigkeit von 92,0 %. Im Gegensatz dazu liefen LTN und DeepProbLog bei dieser Aufgabe in einen Timeout (T/O).
- Vergleich: Der Ansatz erreicht eine Genauigkeit, die nahe an DeepStochLog (92,7 % für $N=4$ ) liegt, welcher derzeit der genaueste Baseline-Ansatz ist, während er gleichzeitig ein einheitliches Framework für verschiedene First-Order-Ansätze bietet.
Effizienz:
- Trainingsschritte auf einer einzelnen A100 GPU waren signifikant schneller als LTN (0,52 ms vs. 5,36 ms pro Schritt für LTN-Stil auf älterer Hardware).
- Das System konvergiert schnell; der vollständige 15-Seed-Sweep für die Single-Digit-Addition dauerte etwa 1,5 Minuten.
Generalisierung: Das Netzwerk lernte, Ziffern mit einer Genauigkeit von ca. 97 % allein aus den beobachteten Summen zu erkennen, ohne Ziffer-Labels zu verwenden.

Bedeutung und Behauptungen

Das Paper behauptet, dass NeSyCat Torch die Generalisierbarkeit des kategorialen NeSyCat-Frameworks erfolgreich auf die Ebene der neuronalen Implementierung skaliert. Die primäre Bedeutung liegt in:

Vereinheitlichung: Es bietet ein einziges, einheitliches Framework, das auf viele erste-ordnung NeSy-Ansätze (klassisch, fuzzy, probabilistisch) anwendbar ist, indem man lediglich die Monade instanziiert, anstatt separate Definitionen für jeden zu benötigen.
Skalierbarkeit: Durch die Nutzung von Lazy Monads und Tensor-Strukturen überwindet es die computationalen Engpässe (wie das #P-harte Weighted Model Counting in DeepProbLog), die andere Methoden bei größeren Problemen (z. B. $N=4$ Ziffern) einschränken.
Erweiterbarkeit: Das Framework ist parametrisch; während sich die aktuelle Arbeit auf endliche Domänen und diskrete Verteilungen konzentriert, merken die Autoren an, dass die Instanziierung mit der Giry-Monad den Ansatz auf kontinuierliche Wahrscheinlichkeit erweitern könnte (obwohl eine neuronale Repräsentation hierfür als zukünftige Arbeit offen bleibt).

Die Autoren merken bescheiden an, dass die aktuelle Implementierung zwar endliche Domänen und diskrete Verteilungen effektiv handhabt, die Generalisierung auf unendliche Domänen und effiziente neuronale Repräsentationen kontinuierlicher Wahrscheinlichkeit jedoch eine offene Herausforderung für die zukünftige Forschung bleibt.