💻 computer science

Moose: Latent concept learning with reasoning-shortcut awareness in $\mathcal{EL}^{++}$

Dit artikel introduceert Moose, een neuro-symbolische methode die $\mathcal{EL}^{++}$ -ontologieën compileert naar differentieerbare Sentential Decision Diagrams om de eerste op redeneer-shortcuts bewuste latente conceptleer onder gedeeltelijk toezicht mogelijk te maken, waarbij het bestaande baselines overtreft op ontologie-gebaseerde taken.

Oorspronkelijke auteurs: Olga Mashkova, Asaad Mohammedsaleh, Fernando Zhapa-Camacho, Robert Hoehndorf

Gepubliceerd 2026-08-14

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Olga Mashkova, Asaad Mohammedsaleh, Fernando Zhapa-Camacho, Robert Hoehndorf

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Raadsel van de Verborgen Geest

Stel je voor dat je een robot probeert te leren de wereld te begrijpen. Je hebt twee krachtige instrumenten in je gereedschapskist. Het eerste zijn Neurale Netwerken, die lijken op super-snelle patroonherkenners. Ze zijn erg goed in het bekijken van een foto van een kat en zeggen: "Dat is een kat!", omdat ze miljoenen katten hebben gezien eerder. Maar ze zijn een beetje als een goocheltruc; ze raden op basis van patronen, en soms raken ze in de war of verzinnen ze regels die geen zin maken. Het tweede instrument is Symbolische Logica, wat lijkt op een strikt regelboek. Het zegt: "Als een kat snorharen en een staart heeft, is het een zoogdier." Het raadt nooit; het volgt de regels perfect op. Maar het is verschrikkelijk in het bekijken van een wazige foto om te achterhalen wat het is.

Lange tijd hebben wetenschappers geprobeerd deze twee instrumenten te combineren tot één superbrein, een veld genaamd Neuro-symbolische AI. Het doel is om een systeem te hebben dat een plaatje kan zien (zoals een neuraal netwerk) maar ook de diepe regels begrijpt van hoe dingen bij elkaar passen (zoals een logicus). Echter, er is een lastig probleem: wanneer de robot niet over alle feiten beschikt, vindt hij soms een "short-cut" (een kortere weg). Hij leert misschien het juiste antwoord te raden door simpelweg naar een klein, irrelevant detail te kijken, in plaats van het grote plaatje echt te begrijpen. Dit wordt een Reasoning Shortcut (redeneer-short-cut) genoemd. Het is als een student die het antwoordmodel van een specifieke toets uit het hoofd leert, maar de eigenlijke wiskunde niet leert. De grote vraag in dit veld is: Kunnen we een systeem bouien dat de echte regels leert, zelfs wanneer we het slechts gedeeltelijke aanwijzingen geven, zonder in deze short-cuts te trappen?

Moose: De Detective die de Regels Controleert

Dit artikel introduceert een nieuwe methode genaamd Moose (wat staat voor iets technisch, maar laten we het voor nu gewoon een slimme detective noemen). Moose is ontworpen om een specifiek puzzel op te lossen: een robot leren om verborgen feiten over dingen te ontdekken die hij ziet, met behulp van een strikte set logische regels genaamd een OWL 2 EL-ontologie. Denk aan een ontologie als een enorme, vooraf geschreven encyclopedie van regels. Bijvoorbeeld, in een biologie-encyclopedie staat: "Alle katten zijn zoogdieren" en "Geen enkel zoogdier is een plant."

De uitdaging waar Moose zich mee bezighoudt, is wat er gebeurt als je de robot een afbeelding laat zien (zoals een cijfer uit de MNIST-dataset) en hem vertelt: "Dit getal is even," maar je vertelt hem niet wat het getal eigenlijk is. De robot moet het getal raden (het verborgen concept) terwijl hij ervoor zorgt dat zijn gok past binnen de regels van de encyclopedie.

Hier is hoe Moose werkt, stap voor stap:

De Regelboek-Compiler: Eerst neemt Moose de enorme encyclopedie (de ontologie) en vertaalt deze naar een speciaal soort kaart genaamd een Sentential Decision Diagram (SDD). Stel je voor dat je een enorme, verwarde knoop van wol die alle regels voorstelt, ontwarrelt tot een nette, georganiseerde flowchart. Deze kaart is speciaal omdat deze "gewogen" kan worden, wat betekent dat de robot kansen (probabilities) aan verschillende paden kan toekennen.
De Logica-Check: Wanneer de robot naar een afbeelding kijkt en een gok doet (bijv. "Ik denk dat dit een 4 is"), accepteert Moose dit niet zomaar. Het loopt de gok door de flowchart. Als de gok de regels breekt (bijv. de robot denkt dat het een 4 is, maar de regels zeggen dat 4 oneven is, wat een tegenstrijdigheid is), weet het systeem dat er iets mis is.
De "Shortcut" Fix: Dit is waar Moose echt slim wordt. Soms vindt de robot een short-cut. Bijvoorbeeld, als de robot een 4 ziet en de regel zegt "4 is even", kan hij leren om altijd "even" te raden zodra hij een 4 ziet, zonder daadwerkelijk te leren hoe een 4 eruitziet. Moose voegt extra "closure" (sluitings-) regels toe aan de flowchart. Deze regels fungeren als een vangnet, waardoor de robot gedwongen wordt om alle mogelijkheden te overwegen die bij de aanwijzingen passen, niet alleen de makkelijkste. Het is als het vertellen aan de student: "Je kunt niet gewoon 'even' raden omdat je een 4 zag; je moet bewijzen dat het aan elke enkele regel in het boek voldoet."

Wat Moose Vond

De auteurs testten Moose op twee hoofduitdagingen: een digitale versie van de beroemde MNIST-cijferdataset (waarbij ze logische regels toevoegden over getallen die priem, even of oneven zijn) en een synthetische dataset van pizza's met verschillende toppings.

Het Vermijden van Shortcuts: In experimenten waarbij de robot verborgen relaties moest ontdekken (zoals of één getal tot een ander leidt), was Moose aanzienlijk beter dan andere methoden. Terwijl andere systemen vaak in de val liepen van "reasoning shortcuts" (het antwoord raden op basis van een kleine aanwijzing), hield Moose zich aan de regels. Bijvoorbeeld, in een test die betrekking had op role chains (waar A naar B leidt, en B naar C), behaalde Moose een nauwkeurigheid van 96,1%, terwijl de op één na beste methode slechts 59,6% behaalde.
De Afweging: Het artikel vond ook dat er een balans is tussen nauwkeurigheid (het juiste antwoord krijgen) en gekalibreerd zijn (weten hoe zeker je bent). Wanneer de regels ambigu waren (zoals een pizza die twee verschillende soorten kon zijn), moest Moose kiezen tussen twee strategieën:
- BEARS: Deze versie gebruikt een team van robots die stemmen. Het was beter in het krijgen van het juiste antwoord (nauwkeurigheid), maar was soms te zelfverzekerd wanneer het het fout had.
- NeSyDM: Deze versie gebruikt een andere soort wiskunde om de gokken te verspreiden. Het was beter in het weten wanneer het onzeker was (kalibratie), maar kreeg soms iets minder vaak het juiste antwoord.
Het "Closure" Geheim: Het paper bewees dat zonder het toevoegen van die extra "closure" regels (het vangnet), het systeem bijna volledig zou falen, met een daling naar bijna willekeurig gokken (rond de 9,4% nauwkeurigheid in één test). Dit toonde aan dat de extra regels niet alleen nuttig waren, maar essentieel waren om de robot de verborgen concepten correct te laten leren.

De Kernconclusie

Moose is een nieuwe manier om AI te leren verborgen feiten te leren door strikt een regelboek te volgen. Het bewees dat door complexe logische regels te vertalen naar een speciale, efficiënte kaart, een robot correct kan redeneren, zelfs wanneer hij slechts een deel van het plaatje ziet. De auteurs lieten zien dat zonder specifieke waarborgen tegen "shortcuts", AI-systemen vaak vereenvoudigde manieren zullen vinden om problemen op te lossen. Moose lost dit op door het systeem te dwingen elke mogelijkheid te controleren tegen de regels.

Hoewel dit paper een grote stap voorwaarts is, merken de auteurs voorzichtig op dat dit het beste werkt op kleinere, gedefinieerde datasets. Ze hebben het nog niet getest op de enorme, echte databases die door ziekenhuizen of het hele internet worden gebruikt, dus hoewel Moose een krachtig nieuw instrument is, wordt het nog steeds verfijnd voor de grootste uitdagingen. Maar voor nu is het een briljant voorbeeld van hoe het combineren van de ogen van een robot met het brein van een logicus kan leiden tot slimmere, eerlijkere AI.

Technische Samenvatting: Moose – Latent Concept Learning met Reasoning-Shortcut Awareness in EL++

1. Probleemstelling

Het artikel behandelt de uitdaging van ABox-gesuperviseerd latent concept learning binnen het OWL 2 EL-profiel. OWL 2 EL vormt de basis voor belangrijke productontologieën (bijv. Gene Ontology, SNOMED CT) vanwege de polynomiale tijd-redeneercapaciteiten, maar mist natuurlijke ondersteuning voor disjunctie aan de rechterkant en cardinaliteitsbeperkingen.

De specifieke leeropgave omvat:

Input: Per-individu perceptuele data (bijv. afbeeldingen) en een gedeelde set geobserveerde ABox-literalen over een observeerbare signatuur.
Doel: Het leren van per-individu classificaties voor de waarheidswaarden van latente concept-atomen (ongeobserveerde concepten) die niet direct gesuperviseerd zijn.
Constraints: Het leren moet de implicaties van de EL++ ontologie respecteren, inclusief rolketens ( $R_1 \circ R_2 \sqsubseteq S$ ) en rolhiërarchieën.
De Uitdaging: Bestaande neuro-symbolische (NeSy) frameworks accepteren doorgaans propositionele formules of Datalog, niet direct OWL-ontologieën. Bovendien lijden standaard NeSy-voorspellers onder partiële supervisie vaak aan Reasoning Shortcuts (RS): ze leren een hoge betrouwbaarheid toe te kennen aan een enkele willekeurige latente configuratie die aan de bewijslast voldoet, in plaats van de waarschijnlijkheidsmassa te verdelen over alle geldige configuraties, vanwege de assumptie van per-atoom onafhankelijkheid.

2. Methodologie: Het Moose Framework

Moose is een end-to-end methode die een EL++ TBox en een eindige ABox-domein compileert naar een Sentential Decision Diagram (SDD), wat dient als een differentieerbare Weighted Model Counting (WMC) laag.

Kernpipeline

ELK Saturatie (Fase 1): De methode voert de ELK-saturatiecalculus uit op de invoerontologie om alle afgeleide subsumpties en rolkoppelingen te verkrijgen. Dit produceert een saturatie-closure $(\Sigma, \Lambda)$ .
TBox-niveau Codering (Fases 2–5): De saturatie wordt omgezet in een propositionele theorie met behulp van Clark completion, Strongly Connected Component (SCC) detectie, time-stamped unrolling voor cyclische afhankelijkheden, en de Tseitin-transformatie naar CNF. Deze fase behandelt de logische structuur, maar is primair diagnostisch voor de leeropgave.
Shape-Aware Grounding (Fase 6): Extractoren filteren de saturatie-closure om alleen de gegronde ABox-atomen te behouden die relevant zijn voor de benoemde individuen in het eindige domein $\Delta$ $Δ$ . Dit genereert een propositioneel Horn-programma $\Gamma_{EL}$ $Γ_{E L}$ over de gegronde vocabulaire.
- Opmerking: Diep geneste existentiële afleidingen (intern aan ELK) worden eruit gefilterd omdat ze geen gegronde tegenhanger hebben in het eindige benoemde domein.
SDD Compilatie (Fase 7): De gegronde clausules worden gecompileerd naar een SDD. Dit circuit is smooth, decomposable, en deterministic, wat exacte en differentieerbare WMC mogelijk maakt.
Closure Augmentation: Om de beperkte expressiviteit van EL++ aan te pakken (specifiek het gebrek aan closed-world assumptions en disjunctie aan de rechterkant), voegt de methode optioneel closure axioms ( $\Phi_{clos}$ ) toe voor gedeklareerde uitputtelijke families. Deze bevatten pairwise disjointness, covering clauses, en profile-keyed reverse implications. Deze stap is cruciaal voor het bieden van een niet-triviale leergradiënt onder partiële supervisie.

Leren en Inferentie

Training: Een neuraal netwerk $f_\theta$ brengt inputs in kaart naar per-atoom waarschijnlijkheden. Deze waarschijnlijkheden dienen als literale gewichten voor de SDD. De trainingsverlies is de negatieve log-WMC: $L(\theta) = -\log \text{WMC}(\alpha; p_\theta(x), e)$ .
Mitigatie van Reasoning Shortcuts: Het artikel integreert twee bestaande RS-mitigatiestrategieën aangepast voor de OWL EL-setting:
- Moose+BEARS: Traint een ensemble van encoders die gediversifieerd zijn via KL-divergentie om instorting tot een enkele shortcut te voorkomen.
- Moose+NeSyDM: Vervangt de gefactoriseerde onafhankelijkheidsassumptie door een gemaskeerd discrete-diffusiemodel om cross-atoom afhankelijkheden te vangen.

3. Belangrijkste Bijdragen

Het artikel claimt vier primaire bijdragen:

End-to-End OWL 2 EL Compilatie met Formele Bewijzen:
- Compileert het volledige EL-profiel (inclusief rolketens en hiërarchieën) naar een SDD die WMC ondersteunt.
- Levert vier formele stellingen die geverifieerd zijn in Lean 4:
  - Stelling 1: Geverifieerde SDD-codering (modellen van de SDD komen exact overeen met werelden waar de ontologie de query impliceert).
  - Stelling 2: Rationele DISPONTE correspondentie (de WMC van het circuit is gelijk aan de probabilistische implicatie onder distributie-semantiek).
  - Stellingen 3 & 4: SCC-compositionele factorisaties op zowel het Sat- als het WMC-niveau, wat bewijst dat irrelevante componenten de afleidbaarheid of posterior waarschijnlijkheden niet beïnvloeden.
- Alle bewijzen zijn gemachiniseerd zonder Moose-specifieke axioma's, waarbij enkel gebruik wordt gemaakt van standaard Lean-fundamenten.
ABox-gesuperviseerd Latent Concept Learning:
- Definieert de eerste formele taak voor het leren van latente concept-classifiers van geobserveerde ABox-literalen over een OWL EL-ontologie.
- Generaliseert DeepProbLog en Semantic Loss naar beschrijvingslogica-constraints inclusief rolketens en hiërarchieën.
Reasoning-Shortcut Analyse in OWL EL:
- Transponeert de formele analyse van reasoning shortcuts (voorheen beperkt tot propositionele/Datalog-settings) naar de OWL EL-setting.
- Evalueert de afweging tussen family-argmax nauwkeurigheid (BEARS blinkt hierin uit) en Expected Calibration Error (ECE) (NeSyDM blinkt hierin uit) onder symbolische ambiguïteit.
Benchmark Suite:
- Introduceert MNIST-with-ontology (OMNIST) die atomische, relationele en rolketen-supervisie regimes dekt.
- Introduceert Pizza¨ıolo, een synthetische dataset gebaseerd op de OWL Pizza ontologie, om transfer naar een echte, derde-partij ontologie te testen.

4. Experimentele Resultaten

Het artikel evalueert Moose tegen propositionele NeSy-baselines (DeepProbLog, Semantic Loss), fuzzy logica (LTN) en ontologie-embeddings (ELEmbeddings).

Relationele en Rolketen Regimes (MNIST): Moose presteert significant beter dan propositionele baselines.
- In het rolketen-experiment (Exp 3) bereikt Moose een nauwkeurigheid van 96,1% vergeleken met 59,6% voor DeepProbLog.
- Ablatie: Het verwijderen van de closure axioms ( $\Phi_{clos}$ ) zorgt ervoor dat de prestaties instorten naar bijna toevalsniveau (bijv. een daling van 96,1% naar 9,4%), wat aantoont dat de EL-bewuste grounding weliswaar structuur biedt, maar de closure axioms de noodzakelijke identificerende constraints voor het leren leveren.
Symbolische Ambiguïteit (Pizza¨ıolo):
- In regimes met hoge symbolische ambiguïteit (bijv. 3-weg ambiguïteit in Track B), verbetert BEARS de nauwkeurigheid (87,9% vs 84,5% voor gewone Moose) door voorspellingen te diversifiëren.
- NeSyDM bereikt de beste kalibratie (laagste ECE), maar vaak ten koste van de nauwkeurigheid.
- Inductieve Generalisatie: Moose behoudt de nauwkeurigheid op uitgesloten relationele configuraties, terwijl NeSyDM instort, wat wijst op de afhankelijkheid van Moose van het exacte inferentiepad in plaats van het memoriseren van edge-identiteiten.
Kalibratie vs. Nauwkeurigheid: Er wordt een afweging waargenomen: BEARS leidt in nauwkeurigheid onder ambiguïteit, terwijl NeSyDM leidt in kalibratie.

5. Betekenis en Claims

Het artikel positioneert Moose als de eerste methode die zorgt voor:

Exacte, Differentiabele Redenering voor OWL EL: Door EL++ direct naar een SDD te compileren, behoudt het de exacte model-theoretische semantiek van de ontologie terwijl het gradiënt-gebaseerd leren mogelijk wordt gemaakt, in tegenstelling tot fuzzy benaderingen of embedding-methoden die de semantiek versoepelen.
Formele Verificatie: De compilatie en correctheidbewijzen zijn gemachiniseerd in Lean 4, wat een hoog niveau van vertrouwen biedt in het redeneersignaal dat voor training wordt gebruikt.
RS Awareness in Ontologieën: Het is de eerste methode die reasoning shortcuts formeel analyseert en mitigeert binnen de context van OWL EL, en laat zien dat standaard propositionele NeSy-fouten direct vertalen naar ontologie-gestuurde systemen.

Beperkingen erkend door de auteurs:

Schaalbaarheid: Experimenten zijn beperkt tot kleine ABox-domeinen ( $|\Delta| \le 2$ ). De SDD-grootte groeit empirisch als $|\Delta|^{2.9}$ , en de methode schaalt nog niet naar massieve ontologieën zoals SNOMED CT zonder lifted WMC-technieken.
Eindig Domein: De methode gaat uit van een eindige set benoemde individuen en voert geen open-domein inferentie uit over onbenoemde individuen.
Role-Pinning: De betrouwbaarheid van de rol-link codering berust op de assumtie dat rol-atomen over de observeerbare signatuur worden vastgezet door bewijs, een specifieke keuze voor het eindige-benoemde-domein regime in plaats van een algemene ELK-stelling.

De auteurs concluderen dat hoewel de theoretische bijdrage (geverifieerde compilatie en RS-analyse) onafhankelijk staat, de schaalbaarheid naar productie-omvangrijke ontologieën een open probleem blijft dat lifted WMC vereist.