Technische Samenvatting: Logica van Hypothesen (LoH)

Probleemstelling

Neurosymbolische integratie (NeSy) streeft ernaar de deductieve kracht van symbolische logica te combineren met de leercapaciteiten van neurale netwerken. Bestaande benaderingen nemen doorgaans tegenovergestelde uiteinden van een spectrum in:

1. Kennisinjectie: Methoden zoals DeepProbLog en LTN vertrouwen erop dat domeinexperts hoogwaardige logische formules leveren als priors of beperkingen. Dit gaat ervan uit dat dergelijke regels direct beschikbaar zijn en houdt geen rekening met scenario's waarin regels moeten worden geleerd of gedeeltelijk herzien.
2. Regelinductie: Methoden zoals SATNet, DSL en Inductieve Logica-programmering (ILP) leren symbolische regels direct uit data. Hoewel ze flexibel zijn, hebben ze vaak moeite om gedeeltelijke voorkennis op te nemen of specifieke syntactische sjablonen af te dwingen (bijv. vaste lengte clausules) zonder ad-hoc mechanismen.

Er blijft een aanzienlijke kloof bestaan in het hanteren van intermediaire scenario's waarbij een gedeeltelijke logische structuur wordt aangeleverd, maar ontbrekende componenten moeten worden geleerd, of waar geleerde regels moeten voldoen aan specifieke syntactische beperkingen. Huidige differentieerbare NeSy-modellen missen vaak de flexibiliteit om dit spectrum van "nul tot volledige kennis" binnen één, principieel raamwerk te overbruggen. Bovendien lijden veel bestaande modellen die fuzzy logica gebruiken (bijv. Product- of Łukasiewicz-t-normen) aan een discrepantie tussen hun continue trainingsprestaties en hun discrete, interpreteerbare regelonttrekking, wat leidt tot nauwkeurigheidsverlies bij binarisering.

Methodologie: De Logica van Hypothesen (LoH)

De auteurs stellen Logica van Hypothesen (LoH) voor, een nieuw logisch formalisme dat kennisinjectie en regelinductie verenigt.

1. De Keuze-operator

LoH breidt de standaard syntaxis van propositielogica uit met een keuze-operator $[\Phi_1, \dots, \Phi_n]$.

• Syntaxis: Een formule $\Phi$ kan keuze-operators bevatten die één subformule selecteren uit een eindige pool van kandidaten.
• Semantiek: Een enkele LoH-formule vertegenwoordigt een hypothese-ruimte $\mathcal{H}(\Phi)$, welke de verzameling is van alle klassieke propositieformules die worden verkregen door voor elke keuze-operator precies één subformule te selecteren.
• Flexibiliteit: Dit maakt de representatie van ondergespecificeerde formules mogelijk. Door de aanwezigheid van keuze-operators aan te passen, kan LoH alles vertegenwoordigen, van een volledig gespecificeerde regel (geen keuzes) tot een volledig datagedreven zoekruimte (alle keuzes).

2. Compilatie naar Differentieerbare Grafen

Om leren via backpropagation mogelijk te maken, worden LoH-formules gecompileerd tot differentieerbare computationele grafen:

• Gewogen Poorten: Elke kandidaat-subformule $\Phi_i$ in een keuze-operator krijgt een leerbare gewicht $w_i \in [0, 1]$ toegewezen.
• Dual Compilatie: De keuze-operator wordt omgezet in een propositieformule met behulp van ofwel Disjunctieve Compilatie ($\bigvee w_i \land \Phi_i$) of Conjunctieve Compilatie ($\bigwedge \neg w_i \lor \Phi_i$). De keuze tussen deze twee hangt af van de context van de operator (bijv. binnen een conjunctie versus een disjunctie) om de gradiëntstroom te optimaliseren.
• Semantiek van Fuzzy Logica: De gecompileerde formules worden geïnterpreteerd met behulp van Gödel fuzzy logica (waarbij conjunctie $\min$ is en disjunctie $\max$). Dit maakt het mogelijk dat de logische operaties differentieerbaar zijn.

3. De Gödel-truc en Discretisatie

Een kritiek onderdeel is het mechanisme voor het leren van discrete beslissingen terwijl differentieerbaarheid behouden blijft:

• Parametrisatie: In plaats van gewichten $w_i$ direct te leren, leert het model logits $z_i$.
• Stochastisch Lokaal Zoeken: Tijdens de forward pass wordt Gumbel-ruis aan de logits toegevoegd. De waarden worden vervolgens verschoven zodat precies één logit positief is, en er wordt een sigmoid-functie toegepast om gewichten te produceren.
• Stelling 1 (Verliesvrije Extractie): Door gebruik te maken van eigenschappen van Gödel-logica bewijzen de auteurs dat voor elke fuzzy-interpretatie het afronden van de uitvoerwaarden met een drempel van 0,5 leidt tot een Booleaanse interpretatie die consistent is met het continue model. Dit garandeert dat discretiseren van het geleerde model geen verlies in nauwkeurigheid oplevert ten opzichte van de continue versie, een eigenschap die niet wordt gegarandeerd door andere fuzzy-logica's zoals Product of Łukasiewicz.

4. Architecturale Integratie

LoH kan worden gestapeld bovenop neurale netwerken (bijv. CNN's) om perceptie-naar-symbolische mapping end-to-end te leren. De keuze-operators kunnen ook worden gebruikt om syntactische sjablonen af te dwingen (bijv. clausules met vaste breedte) of om subsets van een bekende kennisbasis te selecteren.

Belangrijkste Bijdragen

1. Nieuwe Taal (LoH): Een formalisme dat propositielogica uitbreidt met een keuze-operator, wat de compacte representatie van hypothese-ruimtes en de flexibele integratie van gedeeltelijke voorkennis mogelijk maakt.
2. Differentieerbare Compilatie: Een procedure om LoH-formules te compileren tot computationele grafen met behulp van Gödel fuzzy logica en de Gödel-truc. Dit maakt end-to-end leren van discrete logische regels mogelijk zonder nauwkeurigheidsdegradatie bij binarisering.
3. Verenigend Raamwerk: LoH omvat bestaande NeSy-paradigma's. Het kan fungeren als een pure regelinductor (nul kennis), een kennisinjector (volledige kennis) of een hybride systeem dat intermediaire scenario's afhandelt (gedeeltelijke kennis, sjabloonbeperkingen).
4. Empirische Validatie: Het raamwerk toont sterke prestaties op tabulaire data en perceptuele taken (Visueel Drie-op-een-rij), waarbij het state-of-the-art-modellen zoals MLLP en DLN overtreft of gelijktrekt, terwijl het interpreteerbare, discrete regels levert.

Experimentele Resultaten

De auteurs evalueerden LoH op twee hoofdpunten:

1. Tabulaire Classificatie (12 UCI-datasets)

• Opzet: LoH-modellen werden vergeleken met Beslissingsbomen (DT), Random Forests (RF), XGBoost, standaard Neurale Netwerken (NN), Differentieerbare Logica-netwerken (DLN) en Multi-Layer Logical Perceptrons (MLLP).
• Vondsten:
  • LoH behaalde concurrerende F1-scores, waarbij het vaak de prestaties van standaard NN's en MLLP evenaarde of overtrof.
  • In tegenstelling tot MLLP, waarbij de geëxtraheerde regels (CRS) vaak een aanzienlijke prestatiedaling lijden ten opzichte van het continue model, behouden LoH's discrete regels dezelfde nauwkeurigheid als het continue model dankzij de Gödel-semantiek.
  • LoH presteerde consequent beter dan CRS en DLN (in zijn discrete vorm) op de meeste datasets, met name in multi-class settings met minder klassen.

2. Visueel Drie-op-een-rij

• Opzet: Een perceptuele taak waarbij de invoer een $3 \times 3$ raster van MNIST-cijfers is (0=X, 1=O, 2=Leeg) in plaats van symbolische invoer. Het doel is te voorspellen of 'X' wint.
• Vondsten:
  • LoH (specifiek de DNF-variant) behaalde de hoogste prestaties en vond in 4 van de 30 runs de 100% correcte logische formule.
  • Andere modellen (MLLP, DLN) hadden moeite met de symbolische evaluatie na training, waarbij ze vaak faalden om accurate discrete regels te produceren ondanks redelijke continue prestaties.
  • Het model slaagde erin symbolen te leren grondigen (het identificeren van X, O en Leeg uit afbeeldingen) en tegelijkertijd de onderliggende logische structuur te ontdekken.

3. Wildfire Risico Simulatie (Kennisregimes)

• Opzet: Een synthetische taak die verschillende niveaus van voorkennis test: Volledige Kennis, Selectie van Betrouwbare Regels, Selectie van Eén Regel per Set, en Gedeeltelijke Kennis.
• Vondsten: LoH paste zich succesvol aan alle regimes aan. In vergelijking met een gewijzigde $\partial$ILP-baseline, overtrof LoH deze in regimes die grote hypothese-ruimtes omvatten, wat superieure efficiëntie demonstreert bij het hanteren van complexe regelselectie en integratie van gedeeltelijke kennis.

Betekenis en Claims

Het artikel claimt dat LoH een enkel, principieel leerramwerk biedt dat de kloof tussen kennisinjectie en regelinductie overbrugt. De primaire betekenis ligt in:

• Flexibiliteit: Het stelt onderzoekers in staat de exacte hoeveelheid beschikbare voorkennis te specificeren, van "nul" tot "volledig", en intermediaire gevallen af te handelen waarbij regels herzien of voltooid moeten worden.
• Verliesvrije Discretisatie: Door gebruik te maken van Gödel-logica en de Gödel-truc, garandeert LoH dat de discrete, interpreteerbare regels die uit het model worden gehaald even nauwkeurig zijn als het continue model dat tijdens de training werd gebruikt. Dit adresseert een belangrijke beperking in eerdere neurosymbolische benaderingen.
• End-to-End Leren: Het maakt het gelijktijdig leren van symbolische regels en perceptie-naar-symbolische mapping mogelijk, waarbij abstracte concepten worden verankerd in ruwe data zonder dat vooraf getrainde symbolische componenten nodig zijn.

De auteurs erkennen beperkingen, met name dat de huidige implementatie propositieel is en dat schaalbaarheid een uitdaging blijft voor eerste-orde extensies vanwege de combinatorische explosie van grondvormen. Ze stellen echter dat LoH een robuuste basis biedt voor toekomstige ontwikkelingen in neurosymbolische AI.