Technische Zusammenfassung: Logik der Hypothesen (LoH)

Problemstellung

Die neurosymbolische Integration (NeSy) zielt darauf ab, die deduktive Kraft symbolischer Logik mit den Lernfähigkeiten neuronaler Netze zu vereinen. Bestehende Ansätze besetzen typischerweise entgegengesetzte Enden eines Spektrums:

1. Wissenseinspeisung: Methoden wie DeepProbLog und LTN verlassen sich darauf, dass Domänenexperten hochwertige logische Formeln als Priors oder Constraints bereitstellen. Dies geht davon aus, dass solche Regeln readily verfügbar sind, und berücksichtigt keine Szenarien, in denen Regeln gelernt oder teilweise revidiert werden müssen.
2. Regelinduktion: Methoden wie SATNet, DSL und Inductive Logic Programming (ILP) lernen symbolische Regeln direkt aus Daten. Obwohl flexibel, haben sie oft Schwierigkeiten, partielle Vorwissen zu integrieren oder spezifische syntaktische Vorlagen (z. B. feste Klausellängen) ohne ad-hoc-Mechanismen durchzusetzen.

Eine signifikante Lücke bleibt bei der Behandlung intermediärer Szenarien, bei denen eine partielle logische Struktur bereitgestellt wird, aber fehlende Komponenten gelernt werden müssen, oder bei denen gelernte Regeln spezifischen syntaktischen Constraints folgen müssen. Aktuelle differenzierbare NeSy-Modelle fehlt es oft an der Flexibilität, dieses Spektrum von „null bis vollem Wissen" innerhalb eines einzigen, prinzipiellen Rahmens zu überbrücken. Darüber hinaus leiden viele bestehende Modelle, die unscharfe Logik verwenden (z. B. Produkt- oder Łukasiewicz-t-Normen), unter einer Diskrepanz zwischen ihrer kontinuierlichen Trainingsleistung und ihrer diskreten, interpretierbaren Regelentnahme, was zu Genauigkeitsverlusten bei der Binarisierung führt.

Methodik: Die Logik der Hypothesen (LoH)

Die Autoren schlagen Logik der Hypothesen (LoH) vor, ein neuartiges logisches Formalismus, der Wissenseinspeisung und Regelinduktion vereint.

1. Der Wahloperator

LoH erweitert die Syntax der klassischen Aussagenlogik um einen Wahloperator $[\Phi_1, \dots, \Phi_n]$.

• Syntax: Eine Formel $\Phi$ kann Wahloperatoren enthalten, die eine Teilformel aus einem endlichen Pool von Kandidaten auswählen.
• Semantik: Eine einzelne LoH-Formel repräsentiert einen Hypothesenraum $\mathcal{H}(\Phi)$, der die Menge aller klassischen Aussagenformeln darstellt, die durch die Auswahl genau einer Teilformel für jeden Wahloperator erhalten werden.
• Flexibilität: Dies ermöglicht die Darstellung von unvollständig spezifizierten Formeln. Durch Anpassung des Vorhandenseins von Wahloperatoren kann LoH alles von einer vollständig spezifizierten Regel (keine Wahlmöglichkeiten) bis hin zu einem vollständig datengesteuerten Suchraum (alle Wahlmöglichkeiten) repräsentieren.

2. Kompilierung zu differenzierbaren Graphen

Um Lernen durch Backpropagation zu ermöglichen, werden LoH-Formeln in differenzierbare Berechnungsgraphen kompiliert:

• Gewichtete Gatter: Jeder Kandidaten-Teilformel $\Phi_i$ in einem Wahloperator wird ein lernbares Gewicht $w_i \in [0, 1]$ zugewiesen.
• Duale Kompilierung: Der Wahloperator wird unter Verwendung entweder einer disjunktiven Kompilierung ($\bigvee w_i \land \Phi_i$) oder einer konjunktiven Kompilierung ($\bigwedge \neg w_i \lor \Phi_i$) in eine Aussagenformel umgewandelt. Die Wahl zwischen diesen hängt vom Kontext des Operators ab (z. B. innerhalb einer Konjunktion vs. einer Disjunktion), um den Gradientenfluss zu optimieren.
• Semantik der unscharfen Logik: Die kompilierten Formeln werden unter Verwendung der Gödel-unscharfen Logik interpretiert (wobei die Konjunktion $\min$ und die Disjunktion $\max$ ist). Dies ermöglicht, dass die logischen Operationen differenzierbar sind.

3. Der Gödel-Trick und Diskretisierung

Ein kritischer Bestandteil ist der Mechanismus zum Erlernen diskreter Entscheidungen bei gleichzeitiger Beibehaltung der Differenzierbarkeit:

• Parametrisierung: Anstatt Gewichte $w_i$ direkt zu lernen, lernt das Modell Logits $z_i$.
• Stochastische lokale Suche: Während des Vorwärtsdurchlaufs wird den Logits Gumbel-Rauschen hinzugefügt. Die Werte werden dann so verschoben, dass genau ein Logit positiv ist, und eine Sigmoid-Funktion wird angewendet, um Gewichte zu erzeugen.
• Theorem 1 (Verlustfreie Extraktion): Unter Ausnutzung der Eigenschaften der Gödel-Logik beweisen die Autoren, dass für jede unscharfe Interpretation das Abrunden der Ausgabewerte unter Verwendung eines Schwellenwerts von 0,5 eine boolesche Interpretation ergibt, die mit dem kontinuierlichen Modell konsistent ist. Dies stellt sicher, dass die Diskretisierung des gelernten Modells im Vergleich zur kontinuierlichen Version keinen Genauigkeitsverlust verursacht, eine Eigenschaft, die bei anderen unscharfen Logiken wie Produkt oder Łukasiewicz nicht garantiert ist.

4. Architektonische Integration

LoH kann auf neuronale Netze (z. B. CNNs) gestapelt werden, um Perzeption-zu-Symbol-Mappings end-to-end zu lernen. Die Wahloperatoren können auch verwendet werden, um syntaktische Vorlagen (z. B. feste Klauselbreiten) durchzusetzen oder Teilmengen einer bekannten Wissensbasis auszuwählen.

Hauptbeiträge

1. Neue Sprache (LoH): Ein Formalismus, der die Aussagenlogik um einen Wahloperator erweitert, wodurch die kompakte Darstellung von Hypothesenräumen und die flexible Integration von partiellen Vorwissen ermöglicht wird.
2. Differenzierbare Kompilierung: Ein Verfahren zur Kompilierung von LoH-Formeln in Berechnungsgraphen unter Verwendung der Gödel-unscharfen Logik und des Gödel-Tricks. Dies ermöglicht das end-to-end-Lernen diskreter logischer Regeln ohne Genauigkeitsverschlechterung bei der Binarisierung.
3. Vereinheitlichender Rahmen: LoH umfasst bestehende NeSy-Paradigmen. Es kann als reiner Regelinduktor (null Wissen), als Wissenseinspeiser (volles Wissen) oder als hybrides System für intermediäre Szenarien (partielles Wissen, Vorlagenbeschränkungen) fungieren.
4. Empirische Validierung: Der Rahmen zeigt starke Leistung auf tabellarischen Daten und perzeptiven Aufgaben (Visuelles Tic-Tac-Toe) und übertrifft oder entspricht State-of-the-Art-Modellen wie MLLP und DLN, während er interpretierbare, diskrete Regeln bereitstellt.

Experimentelle Ergebnisse

Die Autoren bewerteten LoH in zwei Hauptbereichen:

1. Tabellarische Klassifikation (12 UCI-Datensätze)

• Setup: LoH-Modelle wurden gegen Entscheidungsbäume (DT), Random Forests (RF), XGBoost, Standard-Neuronale Netze (NN), Differenzierbare Logik-Netze (DLN) und Multi-Layer-Logische Perzeptronen (MLLP) verglichen.
• Ergebnisse:
  • LoH erzielte wettbewerbsfähige F1-Scores und entsprach oft oder übertraf die Leistung von Standard-NNs und MLLP.
  • Im Gegensatz zu MLLP, bei dem die extrahierten Regeln (CRS) oft einen signifikanten Leistungsabfall im Vergleich zum kontinuierlichen Modell aufweisen, behalten LoHs diskrete Regeln dank der Gödel-Semantik die gleiche Genauigkeit wie das kontinuierliche Modell.
  • LoH übertraf CRS und DLN (in seiner diskreten Form) auf den meisten Datensätzen konsistent, insbesondere in Mehrklassenszenarien mit weniger Klassen.

2. Visuelles Tic-Tac-Toe

• Setup: Eine perzeptive Aufgabe, bei der die Eingabe ein $3 \times 3$-Gitter aus MNIST-Ziffern ist (0=X, 1=O, 2=Leer) anstelle von symbolischen Eingaben. Das Ziel ist die Vorhersage, ob 'X' gewinnt.
• Ergebnisse:
  • LoH (speziell die DNF-Variante) erzielte die höchste Leistung und fand in 4 von 30 Läufen die zu 100 % korrekte logische Formel.
  • Andere Modelle (MLLP, DLN) hatten Schwierigkeiten mit der symbolischen Auswertung nach dem Training und scheiterten oft daran, trotz vernünftiger kontinuierlicher Leistung genaue diskrete Regeln zu produzieren.
  • Das Modell lernte erfolgreich, Symbole zu verankern (Identifizierung von X, O und Leer aus Bildern) und gleichzeitig die zugrunde liegende logische Struktur zu entdecken.

3. Wildfire-Risiko-Simulation (Wissensregime)

• Setup: Eine synthetische Aufgabe, die verschiedene Stufen von Vorwissen testet: Vollständiges Wissen, Auswahl zuverlässiger Regeln, Auswahl einer Regel pro Menge und Partielles Wissen.
• Ergebnisse: LoH passte sich erfolgreich allen Regimen an. Im Vergleich zu einer modifizierten $\partial$ILP-Baseline übertraf LoH diese in Regimen, die große Hypothesenräume umfassten, und zeigte überlegene Effizienz bei der Handhabung komplexer Regelauswahl und partieller Wissensintegration.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LoH einen einzelnen, prinzipiellen Lernrahmen bietet, der die Lücke zwischen Wissenseinspeisung und Regelinduktion überbrückt. Seine primäre Bedeutung liegt in:

• Flexibilität: Es ermöglicht Forschern, die genaue Menge des verfügbaren Vorwissens von „null" bis „voll" zu spezifizieren und intermediäre Fälle zu behandeln, in denen Regeln revidiert oder vervollständigt werden müssen.
• Verlustfreie Diskretisierung: Durch die Nutzung der Gödel-Logik und des Gödel-Tricks garantiert LoH, dass die aus dem Modell extrahierten diskreten, interpretierbaren Regeln genauso genau sind wie das während des Trainings verwendete kontinuierliche Modell. Dies adressiert eine wesentliche Einschränkung früherer neurosymbolischer Ansätze.
• End-to-End-Lernen: Es ermöglicht das gleichzeitige Lernen symbolischer Regeln und Perzeption-zu-Symbol-Mappings, wodurch abstrakte Konzepte in Rohdaten verankert werden, ohne vortrainierte symbolische Komponenten zu benötigen.

Die Autoren erkennen Einschränkungen an und stellen fest, dass die aktuelle Implementierung aussagenlogisch ist und dass die Skalierbarkeit aufgrund der kombinatorischen Explosion von Groundings eine Herausforderung für Erweiterungen auf die Prädikatenlogik erster Stufe bleibt. Sie vertreten jedoch die Auffassung, dass LoH ein robustes Fundament für zukünftige Entwicklungen in der neurosymbolischen KI bietet.