Technische Samenvatting: NeSyCat Torch

Probleemstelling

Neurosymbolische (NeSy) AI streeft naar het combineren van de perceptuele vermogens van neurale netwerken met de gestructureerde redenering van symbolische logica. Echter, het vakgebied lijdt aan fragmentatie: klassieke, fuzzy en probabilistische systemen definiëren waarheid elk via afzonderlijke inductieve regels, wat de overdracht van kennisbases en leerdoelen tussen hen verhindert. Hoewel de Unified Language for Learning and Reasoning (ULLER) deze semantiek eerder had verenigd onder een enkel categorisch kader gebaseerd op monaden, ontbrak er een implementatie voor predicaten en functies die door neurale netwerken worden geleerd. Bovendien worstelen bestaande implementaties vaak met schaalbaarheid en numerieke stabiliteit bij de overgang van discrete naar continue of grootschalige batch-instellingen.

Methodologie

Het artikel introduceert NeSyCat Torch, een differentiële tensor-implementatie van het NeSyCat categorische kader. De kernmethodologie behelst het interpreteren van computationele symbolen via neurale netwerken binnen een uniforme, monadisch-parametrische architectuur.

1. Categorisch Kader en Monaden

Het kader breidt de categorische semantiek van Johnstone (2002) uit door syntaxis en semantiek te organiseren in vier lagen: categorisch, logisch, domein en grammaticaal. Het verenigende mechanisme is de sterke monaad $M$, die het effect parametriseert (bijv. waarschijnlijkheid, tensorgewichten). Het artikel maakt gebruik van drie specifieke monaadlagen (Tabel 1):

• Distributie-monaad ($D$): Representeert eindig ondersteunde waarschijnlijkheidsverdelingen. Het dient als de referentie-semantiek en metriek-readout, waarbij de bind-operatie ($>>=$) marginalisatie uitvoert (wet van de totale waarschijnlijkheid).
• Tensor-monaad ($T$) / Log-Tensor-monaad ($T_{log}$): Implementeert de distributie-monaad op een differentiële wijze met behulp van reële getallen (logits) in plaats van waarschijnlijkheden. $T_{log}$ opereert over de log-semiring $(\mathbb{R}, \text{logsumexp}, +)$ om numerieke stabiliteit en differentieerbaarheid te garanderen, waardoor de gradiënt-degeneratie geassocieerd met fuzzy-operatoren in $[0,1]$ wordt vermeden.
• Batch-monaad ($B$): Een reader-monaad over een batch-indexverzameling die parallelle verwerking van mini-batches mogelijk maakt zonder willekeur te introduceren.

2. Syntaxis en Semantiek

Het systeem ondersteunt drie soorten symbolen:

• Tarski: Deterministische afbeeldingen (standaard FOL).
• Kleisli: Effectieve afbeeldingen naar $M$.
• NeSy: Neurale afbeeldingen die monadische dragers als input nemen en monadische dragers als output produceren.

Formules worden geconstrueerd met behulp van do-notatie (syntactische suiker voor monadische bind). De kerninnovatie is de behandeling van computationele functiesymbolen (bijv. $digit: \text{Image} \to M \text{Digit}$) en predicaten. De semantiek wordt inductief gedefinieerd:

• Bind ($\leftarrow$): Voert marginalisatie uit in $D$ en log-ruimte convolutie in $T$.
• Quantificatoren: Aggregeren monadische waarheidswaarden over eindige domeinen.
• Lazy Evaluation: Het kader maakt gebruik van luie monaden om de berekening van gemarginaliseerde waarschijnlijkheden uit te stellen totdat deze strikt noodzakelijk zijn, waardoor onnodige takken worden weggezuiverd.

3. Training en Inferentie

Training minimaliseert de kennisverlies (gemiddelde negatieve log-waarheid van axioma's) over een dataset.

• Batching: In plaats van het do-notatie programma $N$ keer uit te voeren voor $N$ monsters, voert het systeem het één keer uit op een batch-tensor. De batch-monaad $B$ wordt samengesteld met de tensor-monaad $T$ ($B \circ T$).
• Data-afhandeling: Observaties worden behandeld als "zekere" waarden (one-hot gecodeerd in log-ruimte) die via liftB de formule binnenkomen.
• Implementatie: Het kader is geïmplementeerd in Haskell (HaskTorch), Python (JAX) en Python (PyTorch). De JAX-backend maakt gebruik van JIT-compilatie voor log-ruimte convolutie en differentiatie.

Belangrijkste Bijdragen

1. Neurale Implementatie van NeSyCat: Biedt de eerste neurale implementatie van het NeSyCat categorische kader, waarmee de kloof tussen abstracte categorische semantiek en praktische deep learning wordt overbrugd.
2. Uniforme Monadische Parametriciteit: Demonstreert dat een enkele codebase, geschreven in monadische do-notatie, verschillende semantieken (probabilistisch, fuzzy, klassiek) kan instantiëren door simpelweg de onderliggende monaad te veranderen.
3. Differentiële Log-Tensor Monaad: Introduceert een numeriek stabiele, differentiële training-backend met behulp van de log-semiring, waardoor de noodzaak voor expliciete softmax-normalisatie tijdens tussenstappen wordt vermeden (het wordt uitgesteld tot de grens).
4. Schaalbaarheid via Laziness: Bereikt efficiënte training op batches en multi-digit problemen door de berekening van marginalisatie te uitstellen.

Experimentele Resultaten

De auteurs evalueerden het kader op de MNIST-optelling taak (distant supervision: alleen de som van twee handgeschreven cijfers wordt waargenomen, niet de cijfers zelf).

• Nauwkeurigheid:
  • Enkel Cijfer ($N=1$): NeSyCat Torch behaalde 94,6% (LTN-stijl) en 94,2% (DeepProbLog-stijl), waarmee het LTN (93,5%) en DeepProbLog (92,2%) overtrof.
  • Multi-Cijfer ($N=4$): NeSyCat Torch behaalde 92,0% nauwkeurigheid. In tegenstelling hiertoe liepen LTN en DeepProbLog vast (Time Out) op deze taak.
  • Vergelijking: De aanpak benadert de nauwkeurigheid van DeepStochLog (92,7% voor $N=4$), wat momenteel de meest nauwkeurige baseline is, terwijl het een uniform kader behoudt dat toepasbaar is op diverse first-order benaderingen.
• Efficiëntie:
  • Trainingsstappen op een enkele A100 GPU waren aanzienlijk sneller dan LTN (0,52ms vs. 5,36ms per stap voor LTN-stijl op oudere hardware).
  • Het systeem convergeert snel; de volledige 15-seed sweep voor single-digit optelling duurde ongeveer 1,5 minuut.
• Generalisatie: Het netwerk leerde cijfers te herkennen met ~97% nauwkeurigheid, uitsluitend op basis van de geobserveerde sommen, zonder gebruik te maken van cijferlabels.

Betekenis en Claims

Het artikel claimt dat NeSyCat Torch erin slaagt de algemeenheid van het NeSyCat categorische kader te schalen naar het niveau van neurale implementatie. De primaire betekenis ligt in:

• Unificatie: Het biedt een enkel, uniform kader dat op veel eerste-orde NeSy-benaderingen (klassiek, fuzzy, probabilistisch) van toepassing is door simpelweg de monaad te instantiëren, in plaats van aparte definities voor elk vereist te hebben.
• Schaalbaarheid: Door gebruik te maken van luie monaden en tensorstructuren, overwint het de computationele knelpunten (zoals #P-hard weighted model counting in DeepProbLog) die andere methoden beperken op grotere problemen (bijv. $N=4$ cijfers).
• Uitbreidbaarheid: Het kader is parametrisch; hoewel het huidige werk zich richt op eindig ondersteunde verdelingen, merken de auteurs op dat het instantiëren met de Giry-monaad de aanpak kan uitbreiden naar continue waarschijnlijkheid (hoewel een neurale representatie hiervoor een openstaand punt voor toekomstig onderzoek is).

De auteurs merken bescheiden op dat hoewel de huidige implementatie eindige domeinen en discrete verdelingen effectief afhandelt, het generaliseren naar oneindige domeinen en efficiënte neurale representaties van continue waarschijnlijkheid een openstaande uitdaging blijft voor toekomstig onderzoek.