Probabilistic Circuits for Knowledge Graph Completion with Reduced Rule Sets

Stel je voor dat je een robot probeert te leren hoe hij de wereld moet begrijpen. Je dumpt niet zomaar een gigantische encyclopedie in zijn brein; in plaats daarvan geef je hem een reeks logische "als-dan"-regels, zoals "Als het regent, dan is de grond nat." Dit is de wereld van Knowledge Graphs (kennisgrafieken), die enorme digitale kaarten zijn die feiten over mensen, plaatsen en dingen met elkaar verbinden. Het doel van Knowledge Graph Completion is om de robot te helpen ontbrekende feiten te raden, zoals uit te vogelen dat als "Alice de zus van Bob is" en "Bob de broer van Charlie is", dan "Alice de zus van Charlie is".

Lange tijd gebruikten de slimste robots "black box"-wiskunde die geweldig was in raden, maar verschrikkelijk in het uitleggen van het waarom achter die gok. Daarom gingen wetenschappers terug naar de klassieke regelgebaseerde aanpak omdat deze transparant is: je kunt de exacte keten van logica zien. Maar hier is de crux: om deze regelgebaseerde robots net zo slim te krijgen als de black boxes, moesten ze tienduizenden regels uit het hoofd leren. Het is alsof je een mysterie probeert op te lossen door een bibliotheek van 20.000 boeken te lezen wanneer je er eigenlijk maar drie nodig hebt. De meeste van die boeken liggen gewoon op de plank stof te happen, waardoor de robot traag, verward en moeilijk te begrijpen wordt.

Deze paper stelt een eenvoudige, gedurfde vraag: Kunnen we de robot leren om net zo slim te zijn met een kleine, gecureerde bibliotheek van regels in plaats van een enorme opslagplaats? De auteurs, werkend met kennisgrafieken en logica, stellen een slimme nieuwe methode voor met iets dat "Probabilistic Circuits" (probabilistische circuits) wordt genoemd. Denk hier niet aan een regelboek, maar aan een super-slimme bibliothecaris die precies weet welke regels goed samenwerken. In plaats van elke regel als een geïsoleerd feit te behanderen, leert deze bibliothecaris hoe regels met elkaar "omgaan". Ze ontdekten dat ze door deze methode te gebruiken het aantal regels met 70% tot 96% konden verminderen, terwijl ze nog steeds dezelfde (of zelfs betere) resultaten behaalden. Sterker nog, wanneer ze dezelfde kleine hoeveelheid regels gebruikten die hun nieuwe methode uit koos, was het 31 keer nauwkeuriger dan de oude methode die probeerde diezelfde kleine hoeveelheid te gebruiken. Ze bewezen dat hun aanpak wiskundig solide is en niet leunt op wankele aannames, wat een manier biedt om AI zowel ongelooflijk slim als verrassend eenvoudig te begrijpen.

Het Probleem: De "Regel-explosie"

Stel je voor dat je een detective bent die een zaak probeert op te lossen. De oude manier van doen (gebruikt door systemen zoals AnyBURL) is om elke enkele aanwijzing en theorie die ooit is opgeschreven te verzamelen — misschien wel 20.000 ervan. Wanneer je een specifiek mysterie probeert op te lossen, controleert het systeem al die 20.000 aanwijzingen. Het probleem? De meeste van hen zijn nutteloos voor die specifieke zaak. Op een dataset genaamd UMLS (die over medische termen gaat) had het oude systeem 20.000 regels nodig om een topscore te halen, maar waren er slechts ongeveer 12.938 daadwerkelijk gebruikt. Dat zijn meer dan 7.000 verspilde regels die alleen maar het bureau vervuilen!

Dit zorgt voor drie grote hoofdpijndossiers:

1. Verwarring: Als je het systeem vraagt "Hoe heb je dat uitgefigureerd?", wijst het naar een rommelige stapel van 20.000 regels, waardoor het onmogelijk is om te zien welke er echt toe deden.
2. Geheugenoverbelasting: Het opslaan en beheren van tienduizenden regels kost veel computergeheugen, wat een probleem is als je deze regels wilt voeden aan andere slimme systemen zoals Large Language Models (LLMs) die beperkte ruimte hebben.
3. Traag Denken: Het controleren op consistentie of het beantwoorden van complexe "wat als"-vragen wordt ongelooflijk traag en moeilijk wanneer je door een berg van grotendeels nutteloze regels moet zoeken.

De Oplossing: De "Slimme Bibliothecaris" (Probabilistic Circuits)

De auteurs introduceerden een nieuw framework dat fungeert als een Slimme Bibliothecaris. In plaats van alleen regels op te sommen, leert deze bibliothecaris een "waarschijnlijkheidsverdeling" over sets van regels. In gewone mensentaal: het systeem leert welke regels de neiging hebben om als een team samen te werken.

Zo werkt het:

• De Indicator-schakelaar: Voor elke regel die het systeem leert, voegen ze een kleine "schakelaar" (een indicator) toe die bepaft of die regel actief is voor een specifieke situatie.
• Het Team Leren: Het systeem kijkt naar de trainingsdata (de feiten die het al kent) en leert welke schakelaars meestal samen worden omgezet. Ze gebruiken een structuur die een Probabilistic Circuit (PC) wordt genoemd. Denk aan een PC als een stroomdiagram dat de kansen berekent van verschillende combinaties van regels die waar zijn, zonder aan te nemen dat elke regel onafhankelijk handelt.
• Geen Onafhankelijkheidsaanname: Een veelgemaakte fout in oudere systemen is de aanname dat Regel A niets te maken heeft met Regel B. Deze paper bewijst dat regels elkaar wel beïnvloeden. De PC leert deze complexe relaties, waardoor het een klein, hoogpresterend team van regels kan kiezen.

De Resultaten: Minder is Meer

Het team testte dit op 8 verschillende benchmark-datasets, variërend van medische dossiers (UMLS) tot stambomen (Kinship) en algemene kennis (WN18RR). De resultaten waren opmerkelijk:

• Massale Reductie: Ze verminderden het aantal regels dat nodig was om de piekprestaties te bereiken met 70% tot 96%. Bijvoorbeeld, op de UMLS-dataset gingen ze van het nodig hebben van 20.000 regels naar slechts 1.000 om dezelfde topscore van 0.964 (Hits@10) te behalen.
• De "31x" Boost: Toen ze hun kleine, geoptimaliseerde set regels vergeleken met het baseline-systeem dat dezelfde kleine hoeveelheid regels gebruikte, was hun methode tot wel 31 keer beter. Dit laat zien dat het oude systeem er slecht in was om de juiste paar regels te kiezen, terwijl de nieuwe methode een meester-selector was.
• Hoge Efficiëntie: In het oude systeem waren op de UMLS-dataset slechts ongeveer 64% van de regels daadwerkelijk in gebruik. In het nieuwe systeem waren 86,8% van de 1.000 regels actief. Ze stopten met het verspillen van ruimte aan nutteloze regels.
• Prestaties Behoud: Zelfs met deze kleine regelsets behield het systeem 91% van de piekprestatie van de volledige, enorme regelset van de baseline.

Ze testten drie verschillende manieren om dit nieuwe systeem te gebruiken:

1. SingletonLB: Gebruikt slechts één regel tegelijk om een gok te doen (een eenvoudige, snelle aanpak).
2. SingletonExact: Berekent de exacte waarschijnlijkheid voor een enkele regel (zeer precies).
3. GreedyLB: Bouwt stap voor stap een kleine groep regels op (een middenweg-aanpak).

De "SingletonExact"-methode was de ster en presteerde vaak beter dan de baseline, zelfs wanneer de baseline werd toegestaan om zijn volledige, enorme bibliotheek aan regels te gebruiken. Zo bereikte de nieuwe methode op de CODEX-S dataset bijvoorbeeld 99,95% van de beste score van de baseline met slechts 5% van de regels (1.000 vs 20.000).

Waarom dit ertoe doet

Dit gaat niet alleen over het besparen van computergeheugen; het gaat over het betrouwbaar maken van AI. Als een AI-arts tegen je zegt dat een patiënt een specifieke aandoening heeft, wil je weten waarom. Als de reden een rommelige lijst van 20.000 regels is, kun je het niet vertrouwen. Als de reden een duidelijke, beknopte keten van 50 regels is waarvan het systeem weet dat dit de beste zijn, kun je de logica begrijpen en verifiëren.

De auteurs hebben aangetoond dat hun methode geworteld is in solide wiskunde (specifiek Nilsson's probabilistische logica), wat betekent dat het niet zomaar een gelukkige gok is, maar een rigoureuze manier om met onzekerheid om te gaan zonder feiten te verzinnen. Ze merkten ook op dat deze aanpak niet afhankelijk is van een specifiek type regelgenerator, wat betekent dat het met regels geleerd uit elk systeem kan werken, niet alleen met degene die zij gebruikten.

Kortom, deze paper bewijst dat je geen bibliotheek van 20.000 boeken nodig hebt om een mysterie op te lossen. Met de juiste "Slimme Bibliothecaris" kun je het oplossen met een enkele, perfect gekozen boekenkast, waardoor de AI sneller, helderder en net zo slim als ooit is.