💻 computer science

sLTN: Structural Logic Tensor Networks

Dit artikel introduceert sLTN, een neurosymbolisch framework dat Logic Tensor Networks uitbreidt door structurele dimensies als first-class elementen te incorporeren om de expliciete representatie en differentiële leerprocessen van temporele, sequentiële en relationele restricties mogelijk te maken.

Oorspronkelijke auteurs: Davide Rinaldi, Luciano Serafini

Gepubliceerd 2026-08-12

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Davide Rinaldi, Luciano Serafini

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren de wereld te begrijpen. Je hebt twee krachtige instrumenten in je gereedschapskist. Het eerste is Machine Learning, wat lijkt op een super-observante leerling die leert door naar miljoenen voorbeelden te kijken. Het is geweldig in het herkennen van patronen, zoals het herkennen van een kat in een foto, maar het weet niet echt wat een kat is of waarom hij zich zo gedraagt. Het tweede instrument is Logica, wat lijkt op een strikt regelboek of een reeks wetten. Het weet dat als "alle katten staarten hebben" en "Fluffy een kat is", dan "Fluffie een staart moet hebben". Maar logica is vaak rigide en heeft moeite met het leren van rommelige, echte gegevens.

Een tijdlang hebben wetenschappers geprobeerd deze twee instrumenten te combineren in één enkel systeem genaamd neurosymbolische AI. Het doel is om een AI te creëren die zowel van gegevens kan leren als logische regels kan volgen op hetzelfde moment. Eén populair framework hiervoor is Logic Tensor Networks (LTN). Zie LTN als een vertaler die logische regels omzet in wiskundige problemen die een computer kan oplossen met behulp van gradiënten (een methode om antwoorden stap voor stap te verbeteren). Echter, de oorspronkelijke versie van LTN had een blinde vlek: het was ontworpen voor "platte" gegevens. Het behandelde alles als een enorme, ongeorganiseerde stapel individuele items. Het wist niet hoe het om moest gaan met zaken die een natuurlijke orde of structuur hebben, zoals een opeenvolging van gebeurtenissen in de tijd, een lijst met stappen in een verhaal, of de verbindingen tussen vrienden in een sociaal netwerk. Het was alsof je een film probeert te beschrijven door alleen de acteurs op te sommen zonder de plot of de tijdlijn te vermelden.

Dit is waar een nieuw artikel om de hoek komt kijken, dat sLTN (Structural Logic Tensor Networks) introduceert. De auteurs, Davide Rinaldi en Luciano Serafini, realiseerden zich dat de wereld niet alleen een stapel items is; de wereld zit vol structuren. Tijd stroomt vooruit, zinnen hebben woordvolgordes en grafieken hebben verbindingen. Ze hebben een upgrade gebouwd voor LTN die deze structuren behandelt als "first-class citizens". In sLTN kun je expliciet praten over "tijdstappen", "sequentieposities" of "grafiekknopen" midden in je logische regels.

Het artikel suggereert niet alleen dat dit een goed idee is; het biedt het volledige wiskundige blauwdruk (syntaxis en semantiek) en een werkende softwarebibliotheek gebouwd op PyTorch. Ze laten zien dat sLTN een logische regel zoals "Als een cijfer verschijnt op tijdstip $t$ , moet het ook verschijnen op tijdstip $t+1$ " kan omzetten in een wiskundig probleem waar de computer van kan leren. Ze hebben dit gedemonstreerd met een videoclassificatietaak waarbij de AI een sequentie van frames moest bekijken waarin een cijfer werd getekend. Het systeem leerde het onderscheid te maken tussen video's waarin een cijfer vloeiend verschijnt en video's waarin het flikkert en in en uit verdwijnt, met behulp van logische regels over tijd en sequentie. De auteurs laten zien dat als je de structurele kenmerken verwijdert, sLTN perfect terugvalt op de oorspronkelijke LTN, wat bewijst dat het een echte uitbreiding is. Hoewel het artikel een solide framework en werkende code presenteert, merkt het op dat het systeem nog steeds een nieuwe bibliotheek is die meer testen en praktische validatie buiten deze initiële voorbeelden nodig heeft. Het is een veelbelovende stap richting AI die niet alleen begrijpt wat dingen zijn, maar ook hoe ze in de wereld zijn gerangschikt.

Technische Samenvatting: Structural Logic Tensor Networks (sLTN)

Probleemstelling

Logic Tensor Networks (LTN) bieden een neurosymbolisch framework dat eerste-orde logica integreert met neurale netwerken door logische symbolen te interpreteren als tensoren en logische connectieven als differentieerbare fuzzy operatoren. Hoewel effectief voor taken met platte collecties individuen (bijv. semantische beeldinterpretatie, aanbevelingssystemen), mist de oorspronkelijke LTN-formulering expliciete mechanismen om data met een inherente structurele organisatie te verwerken.

In domeinen zoals tijdreeksen, sequentiële data of graafgestructureerde inputs is de structurele organisatie (temporele volgorde, positie in een sequentie, graafconnectiviteit) een semantisch onderdeel van het probleem in plaats van een louter implementatiedetail. De oorspronkelijke LTN-formulering behandelt data als platte collecties, wat het moeilijk maakt om constraints uit te drukken die expliciet verwijzen naar positionele of relationele patronen, zoals temporele persistentie, nabijheidsrestricties in grafen, of afhankelijkheden tussen geordende posities. Deze beperking restricteert de toepasbaarheid van het framework voor structurele redeneertaken waarbij de logische taal direct moet verwijzen naar de assen waarlangs objecten zijn georganiseerd.

Methodologie

Om deze beperkingen aan te pakken, introduceren de auteurs Structural Logic Tensor Networks (sLTN), een uitbreiding van LTN die structurele dimensies verheft tot first-class elementen van de logische taal. De methodologie is gebouwd op drie kernzuilen:

1. Uitgebreide Syntaxis en Signatuur

sLTN breidt de standaard many-sorted eerste-orde signatuur uit met:

Structurele Dimensies ( $D$ ): Benoemde tensorassen die staan voor domeinspecifieke organisatie (bijv. tijdstappen $T$ , sequentieposities, graafknopen).
Structurele Variabelen ( $\Xi$ ): Variabelen die variëren over indices van gedefinieerde structurele dimensies, onderscheiden van eerste-orde variabelen die variëren over individuen.
Structurele Relaties ( $R$ ): Relaties over tupels van structurele indices, geïnterpreteerd als Booleaanse of fuzzy maskers. Bijvoorbeeld een relatie next(t, t') kan nabijheid uitdrukken tussen opeenvolgende tijdstappen.

De taal ondersteunt structurele kwantificatie (kwantificeren over indices van een dimensie), guarded structurele kwantificatie (het evalueren van formules alleen waar een structurele relatie standhoudt), en as-annotatie/selectie (het hernoemen of slicen van specifieke structurele assen).

2. Fuzzy Tensor Semantiek

De semantiek van sLTN wordt gedefinieerd via geannoteerde tensoren, die expliciet de rol van elke tensoras bijhouden (variabele, structureel of domein).

Gronding: Symbolen worden gegrond in tensoren of tensor-kaarten. Constanten en variabelen dragen structurele assen op basis van hun dimensionale profielen. Functies en predicaten worden gegrond als lokale kaarten die specifieke structurele profielen consumeren en produceren.
Structurele Relaties: Gegrond als waarheidswaarde-maskers over structurele indices (bijv. een crisp masker voor next waar $M_{i,j} = 1$ als $j = i+1$ ).
Compositionele Denotatie: De denotatie van termen en formules wordt berekend via structurele recursie. Belangrijke operaties zijn onder meer:
- Named-axis alignment: Het uitlijnen van tensoren op naam en rol voordat puntgewijze operaties of lokale kaarten worden toegepast.
- Consumptie en Propagatie: Predicaten en functies kunnen structurele assen "consumeren" (aggregeren over hen) of ze puntgewijs propageren.
- Aggregatie: Kwantoren (zowel eerste-orde als structureel) worden geïnterpreteerd als aggregatie-operatoren (bijv. gemiddelde, min, max) over de overeenkomstige variabele of structurele assen. Guarded kwantoren gebruiken de waarheidswaarden van de guard als gewichten of maskers tijdens aggregatie.

3. Leren en Optimalisatie

Leren in sLTN wordt geformuleerd als de optimalisatie van een kennisbank (een verzameling gesloten clausules) om hun bevredigingsgraden te maximaliseren.

Multi-Objective Formulering: Omdat een kennisbank uit meerdere clausules bestaat, is bevrediging van nature een multi-objective probleem.
Scalarized Learning: De bevrediging van clausules wordt geaggregeerd in een enkele scalaire loss met behulp van een configureerbare aggregator (bijv. power mean) vóór backpropagation.
Multi-Objective Learning: sLTN ondersteunt het behouden van per-clausule losses en het combineren van hun gradiënten met behulp van Jacobian-descent aggregators (bijv. PCGrad) om conflicterende doelstellingen te behandelen zonder voortijdige scalarisatie.
Differentieerbaarheid: Het gehele framework, inclusief fuzzy operatoren en aggregatie, is geïmplementeerd met behulp van differentiabele tensor-operaties in PyTorch, wat gradiënt-gebaseerde optimalisatie van de interpretatieparameters mogelijk maakt.

Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

Taaluitbreiding: Het breidt de LTN-taal uit met structurele dimensies, structurele variabelen en structurele relaties, waardoor structurele organisatie een expliciet object van logische modellering wordt. Dit stelt formules in staat om direct te verwijzen naar positionele en relationele patronen.
Formele Semantiek: Het biedt een rigoureuze fuzzy tensor semantiek voor sLTN, waarbij wordt gedefinieerd hoe structurele constructen integreren met differentiabele connectieven en kwantor-aggregatie. Het toont aan dat de oorspronkelijke LTN-semantiek wordt teruggevonden als een speciaal geval wanneer structurele dimensies ontbreken.
Modulaire Implementatie: Het beschrijft een modulaire Python/PyTorch-implementatie die syntaxis (Signatures, parsers) scheidt van semantiek (Interpretations). De bibliotheek ondersteunt declaratieve signatuurdefinitie, formule-parsing en tensoriële interpretatie met named-axis operaties.

Resultaten en Illustratieve Voorbeelden

Het artikel presenteert geen grootschalige empirische benchmarks, maar illustreert de capaciteiten van het framework via een lopend video-classificatievoorbeeld met betrekking tot MNIST-cijfers.

Taak: Het onderscheiden van "appear" video's (een cijfer wordt monotoon onthuld) en "non-appear" video's (cijfers worden cyclisch onthuld en verborgen).
Toepassing van sLTN:
- Temporele Persistentie: Een formule drukt uit dat als een cijfer compleet is op tijdstip $t$ , het ook compleet moet blijven op $t+1$ (met gebruik van de next relatie).
- Boundary Conditions: Formules dwingen af dat een "appear" video incompleet begint (op $t=0$ ) en compleet eindigt (op $t=T-1$ ) met behulp van as-selectie.
- Whole-Sequence Judgement: De appear predicaat consumeert de volledige temporele as om een globale classificatie te maken, wat verschilt van frame-niveau predicaten zoals Complete.
Implementatie: Het voorbeeld demonstreert hoe men signatures declareert, afgeleide predicaten definieert (bijv. is_appear), complexe formules met structurele kwantoren parseert, en het model traint met behulp van de kb_backward interface met ofwel scalarized of multi-objective optimalisatie.

Betekenis en Claims

Het artikel positioneert sLTN als een noodzakelijke evolutie van het LTN-framework om de groeiende vraag naar neurosymbolische redenering over gestructureerde data te beantwoorden.

Expressiviteit: Door structurele dimensies als first-class citizens te behandelen, stelt sLTN logische constraints in staat om zich direct uit te drukken op het niveau van de semantiek van het probleem (bijv. temporele volgorde, graaf-topologie), in plaats van ze te dwingen in platte representaties.
Compatibiliteit: Het framework behoudt de kernvoordelen van LTN, inclusief differentiabele fuzzy semantiek en gradiënt-gebaseerde optimalisatie, terwijl het deze uitbreidt naar gestructureerde inputs.
Praktisch Nut: De scheiding tussen syntaxis en semantiek, samen met de verstrekte PyTorch-implementatie, beoogt de drempel voor het toepassen van neurosymbolische redenering op complexe, gestructureerde domeinen zoals temporele redenering, sequentiële verwerking en graaf-gebaseerd leren te verlagen.

De auteurs erkennen dat sLTN een initieel framework is dat verdere stabilisatie en systematische empirische validatie vereist. Zij schetsen toekomstig werk gericht op het ontwikkelen van domeinspecifieke gestructureerde theorieën, het uitbreiden van de taal met eindig recursieve computationele primitieven, en het onderzoeken van geprincipeerde schema's voor hyperparameters om de trainingsstabiliteit te verbeteren. Het artikel dient als een begeleidend document voor de open-source sLTN-bibliotheek en biedt de theoretische fundering voor het gebruik ervan.