🤖 AI

Neural Logic Networks for Interpretable Classification

Dit artikel introduceert een verbeterd Neural Logic Network-framework dat NOT-operaties, biases en een nieuwe gefactoriseerde IF-THEN-regelstructuur incorporeert om state-of-the-art prestaties te behalen bij het ontdekken van interpreteerbare logische regels voor tabulaire classificatie, met name in medische en industriële toepassingen.

Oorspronkelijke auteurs: Vincent Perreault, Katsumi Inoue, Richard Labib, Alain Hertz

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vincent Perreault, Katsumi Inoue, Richard Labib, Alain Hertz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar mysterieuze detective hebt (een traditioneel neuraal netwerk) die misdaden met ongelooflijke nauwkeurigheid kan oplossen. Echter, wanneer je vraagt: "Hoe heb je dat uitgezocht?", haalt de detective alleen maar zijn schouders op en zegt: "Ik weet het gewoon." Hij kan zijn redenering niet uitleggen omdat zijn brein een wirwar is van onzichtbare verbindingen. Dit is geweldig voor het behalen van resultaten, maar vreselijk als je de beslissing moet kunnen vertrouwen, vooral in vakgebieden zoals de geneeskunde of de rechtsgeleerdheid waar je moet weten waarom een beslissing is genomen.

Dit artikel introduceert een nieuw soort detective: het Neural Logic Network (NLN). In plaats van een wirwar van verbindingen, denkt deze detective in heldere, logische zinnen zoals: "ALS de verdachte op de plaats delict was EN het wapen overeenkomt, DAN is hij schuldig."

Hier is een eenvoudige uitsplitsing van hoe dit nieuwe systeem werkt, gebaseerd op de claims uit het artikel:

1. De Kerngedachte: Denken in "ALS-DAN" regels

Traditionele AI leert door getallen aan te passen in een black box. De NLN leert door een structuur op te bouwen die bestaat uit EN, OF en NIET blokken.

De Analogie: Denk aan een traditionele AI als een smoothie waarin je de individuele vruchten niet meer kunt onderscheiden. De NLN is een fruitsalade waarin je de appel, de banaan en de aardbei duidelijk kunt zien en precies kunt zien hoe ze gemengd zijn.
Het Doel: Het systeem probeert eenvoudige regels te vinden die de data verklaren. Bijvoorbeeld, in een spelletje Boterkaas-en-eieren leert het de regel: "ALS er drie X'en op een rij staan OF drie X'en in een kolom, DAN wint X."

2. Omgaan met de "Ontbrekende Stukjes" (Niet-geobserveerde Data)

Het echte leven is rommelig. Soms heb je niet alle informatie.

De Analogie: Stel je een arts voor die een diagnose stelt bij een patiënt. De arts ziet de symptomen (koorts, hoest), maar weet de volledige medische geschiedenis van de patiënt niet (niet-geobserveerde data). Een standaard AI zou misschien willekeurig gokken.
De NLN Oplossing: De auteurs hebben een speciale "bias" parameter toegevoegd. Zie dit als een vertrouwensmeter voor ontbrekende informatie. Als de arts koorts ziet maar de geschiedenis niet kent, berekent de NLN de waarschijnlijkheid dat de ontbrekende geschiedenis de diagnose zou ondersteunen. Het doet niet alsof het het weet; het geeft toe: "Ik mis wat info, maar op basis van wat ik zie, is er een kans van 70% dat dit het geval is."

3. De "Fabriek" Structuur (Input naar Output)

Het artikel beschrijft een specifieke lopende band om ruwe data om te zetten in regels:

De Grondstoffen (Input): Data komt binnen als getallen (zoals temperatuur) of categorieën (zoals "rood" of "blauw").
De Voorbewerking (Het snijden van de vruchten): Continue getallen (zoals temperatuur) worden in vage intervallen gesneden (bijv. "zeer heet", "matig heet"). Categorieën worden gegroepeerd in logische bakjes.
De Lopende Band (De Regels):
- EN-laag: Deze laag zoekt naar specifieke combinaties. "ALS het heet EN droog EN winderig is."
- OF-laag: Deze laag combineert die combinaties. "ALS (heet EN droog EN winderig) OF (koud EN nat)."
Het Resultaat: De output is een lijst met duidelijke, leesbare regels die verklaren hoe het systeem tot zijn beslissing kwam.

4. Leren en Opruimen

Het trainen van dit netwerk is lastig omdat de "EN" en "OF" blokken soms stoppen met leren (een probleem dat bekend staat als "vanishing gradients").

De Resetknop: De auteurs hebben een "regel-reset"-mechanisme ontwikkeld. Als een regel niet helpt, wekt het systeem deze weer tot leven en geeft het een frisse start, waarbij nieuwe combinaties worden geprobeerd totdat er iets nuttigs wordt gevonden.
De Opruimploeg (Post-processing): Na het leren zijn de getallen nog steeds rommelig (bijv. een gewicht van 0,83). Het systeem rondt deze getallen vervolgens af naar eenvoudige 0's, 1's of -1's. Dit verandert een vage waarschijnlijkheid in een harde "Ja", "Nee" of "Negeer". Ten slotte worden nutteloze regels weggefilterd, waardoor alleen de essentiële regels overblijven.

5. Waarop het is Getest

De auteurs hebben deze "detective" getest op verschillende realistische scenario's:

Logische Puzzels: Het leerde de regels van Boterkaas-en-eieren en schaak-eindspelen perfect; het ontdekte de exacte winnende strategieën zonder dat deze vooraf waren verteld.
Medische Diagnose: Op een dataset over nierziekte vond het een kleine set regels (zoals "Als albumine niet nul is EN hemoglobine laag is, DAN nierziekte") die overeenkwamen met de logica van menselijke experts.
Industriële Veiligheid: Ze testten het op cybersecurity-data om netwerkaanvallen op te sporen. Het vond regels die aanvallen identificeerden, hoewel het soms zeldzame, onbekende typen aanvallen miste in vergelijking met andere methoden.

6. De Afweging

Het artikel geeft een afweging toe:

Het Goede: De NLN is ongelooflijk transparant. Je kunt de regels lezen die het heeft geleerd. Het is vaak beter in het vinden van de ware onderliggende logica in eenvoudige, op regels gebaseerde problemen (zoals spellen).
Het Slechte: Het is soms minder accuraat dan "black box" modellen wanneer de data zeer complex is en geen eenvoudige logica volgt. Ook duurt het lang om de regels na het leren "op te ruimen".

Samenvatting

Dit artikel presenteert een nieuw hulpmiddel dat AI dwingt om te denken als een menselijke logicus. Het offert een klein beetje pure rekenkracht op om de mogelijkheid te verkrijgen om uit te leggen waarom het een beslissing heeft genomen. Het is alsof je een magische 8-ball vervangt door een detective die zijn aanwijzingen en redeneringen op een notitieblok opschrijft, wat het perfect maakt voor situaties waarin vertrouwen en uitleg belangrijker zijn dan alleen het krijgen van het antwoord.

Technische Samenvatting: Neural Logic Networks voor Interpreteerbare Classificatie

Probleemstelling
Traditionele neurale netwerken behalen state-of-the-art prestaties in classificatietaken, maar opereren als "black boxes", die weinig tot geen inzicht bieden in de logische mechanismen die hun beslissingen aansturen. Dit gebrek aan verklaarbaarheid is een kritieke barrière in domeinen met hoge inzet, zoals de medische wereld, financiën en het recht, waar beslissingen transparant, verifieerbaar en vrij van onacceptabele vooroordelen moeten zijn. Hoewel neuro-symbolische methoden ernaar streven de kloof tussen neuraal leren en symbolisch redeneren te overbruggen, worstelen bestaande benaderingen vaak met interpreteerbaarheid, vereisen ze uitgebreide gegevenspreverwerking of falen ze om niet-geobserveerde data en genegeerde inputs efficiënt te verwerken. Specifiek missen eerdere Neural Logic Networks (NLN's) en Rule-based Representation Learners (RRL) een rigoureuze probabilistische fundering, kunnen ze niet van nature omgaan met genegeerde inputs zonder het aantal parameters te verdubbelen, en vertrouwen ze vaak op benaderingen die de logische structuur van geleerde regels vertroebelen.

Methodologie
De auteurs stellen een gegeneraliseerd Neural Logic Network (NLN) framework voor dat logische AND-, OR- en NOT-operaties integreert binnen een rigoureuze probabilistische en fuzzy logica modellering.

Probabilistische en Logische Modellering: De kern van de methode modelleert concepten als toevallige gebeurtenissen. De auteurs leiden tractabele probabilistische formules af voor AND- en OR-nodes (Vergelijkingen P-AND en P-OR) gebaseerd op drie onafhankelijkheidsaannames: (1) onafhankelijkheid tussen de aanwezigheid van concepten in een realisatie en hun algemene causale rollen in hogere lagen; (2) onafhankelijkheid tussen verschillende noodzakelijke/voldoende concepten binnen een laag (een "total open-mindedness" bias); en (3) conditionele onafhankelijkheid van concepten in dezelfde laag gegeven de input. Deze formules worden getoond equivalent te zijn aan product fuzzy logica operatoren.
Gegeneraliseerde Gewichten en Biases: In tegenstelling tot eerdere werken introduceert deze NLN gewichten in het bereik $[-1, 1]$ . Een positief gewicht duidt op de inclusie van een concept, terwijl een negatief gewicht de inclusie van het tegenovergestelde (negatie) duidt, waardoor een enkele parameter beide gevallen kan modelleren. Verder introduceert het model bias-parameters ( $a_i$ voor AND, $o_i$ voor OR) om ongeobserveerde of ontbrekende data te verklaren, waarbij de waarschijnlijkheid wordt geschat dat noodzakelijke of voldoende condities worden vervuld door ongeobserveerde factoren.
Interpreteerbare Architectuur: Het netwerk is beperkt tot een Disjunctive Normal Form (DNF) structuur bestaande uit twee volledig verbonden lagen: een verborgen laag van AND-concepten (die negatie toestaat) en een output-laag van OR-concepten. Om met niet-binaire inputs om te gaan, gebruikt het framework specifieke pre-processing modules:
- Categorische kenmerken: Gemapt naar OR-concepten die equivalentieklassen van waarden representeren.
- Continue kenmerken: Gemapt naar "fuzzy dichotomies" (sigmoid functies) die grenzen en scherpte leren, wat verzamelingen van fuzzy intervallen vormt.
Leeralgoritme: Het trainingsproces maakt gebruik van gradiëntafdaling (ADAM) met een L2-loss en specifieke regularisaties om niet-lege definities en sparsiteit (L1 penalty) te stimuleren. Om het probleem van verdwijnende gradiënten (vanishing gradient problem) aan te pakken dat gebruikelijk is bij diepe logische netwerken, introduceren de auteurs een rule reset mechanisme dat "dode" regelmodules (modules met een nul-bias of nul uitgaande gewichten) bij elke epoch opnieuw initialiseert.
Post-verwerking: Na de training ondergaat het model een meerfasige post-verwerkingspipeline om interpreteerbaarheid te maximaliseren:
1. Gewicht-discretisering: Een hongerig algoritme discretiseert gewichten naar $\{-1, 0, 1\}$ om scherpe logische regels te produceren.
2. Her-training: Continue parameters (grenzen en biases) worden opnieuw getraind met vaste discrete gewichten.
3. Pruning (Snoeien): Overbodige gewichten en regels worden verwijderd.
4. Bias-aanpassing: Finale biases worden statistisch aangepast op basis van dataset-dekkinganalyse om de waarschijnlijkheid te reflecteren wanneer regels niet geactiveerd worden.

Belangrijkste Bijdragen

Theoretische Formalisering: Het artikel presenteert de eerste rigoureuze logische en probabilistische afleiding voor NLN's, waarbij de impact van ongeobserveerde data expliciet wordt gemodelleerd en gewichten worden gegeneraliseerd om negatie met een enkele parameter te behandelen.
Gefactoriseerde Structuur: Een nieuwe architectuur die gebruikmaakt van gefactoriseerde IF-THEN regelmodules en gespecialiseerde input pre-processing voor binaire, categorische en continue kenmerken.
Verbeterd Leeralgoritme: Een aangepaste trainingsprocedure met een rule reset schema om vanishing gradients te bestrijden en een post-learning vereenvoudigingsproces om interpreteerbare regels te extraheren.
Omgaan met Ontbrekende Data: Een natuurlijke extensie voor het afhandelen van ontbrekende waarden door waarschijnlijkheden te leren voor ontbrekende categorieën of continue intervallen, waardoor kunstmatige imputatie wordt vermeden.

Experimentele Resultaten
De methode werd geëvalueerd op twee primaire taken: Boolean netwerkontdekking en interpreteerbare tabulaire classificatie.

Boolean Netwerkontdekking: Op synthetische datasets bereikte de NLN een voorspellingsnauwkeurigheid van meer dan 97% met slechts 16% van de data en een perfecte nauwkeurigheid met 40% van de data, waarbij de grondwaarheid-regels correct werden geïdentificeerd.
Tabulaire Classificatie: Geëvalueerd op 8 UCI datasets (inclusief medische, industriële en logica-gebaseerde datasets zoals Tic-Tac-Toe en Chess).
- Prestaties: De NLN behaalde concurrerende F1-scores, die vaak gelijk waren aan of beter presteerden dan RRL en Optimal Decision Diagrams (ODD) op datasets met onderliggende logica-programma's (bijv. Tic-Tac-Toe, Chess). Op datasets zonder duidelijke logica-programma's (bijv. Adult, Balance) was de prestatie van de NLN over het algemeen lager dan die van RRL (dat een lineaire output-laag gebruikt) maar vergelijkbaar met ODD.
- Interpreteerbaarheid: De NLN presteerde aanzienlijk beter dan RRL op het gebied van interpreteerbaarheid. Bijvoorbeeld, op de Tic-Tac-Toe dataset ontdekte de NLN de exacte 8 grondwaarheid-regels met behulp van 8 regels, terwijl RRL meer dan 300 regels nodig had om een vergelijkbare nauwkeurigheid te bereiken. Op de Kidney disease dataset identificeerde de NLN een compacte set van 4 regels die 98,99% van de gevallen dekte, terwijl RRL 13 regels nodig had met een gedistribueerde representatie.
- Applicaties: De auteurs hebben aangetoond hoe meerdere cross-validatie modellen kunnen worden samengevoegd tot één vereenvoudigd model voor de Kidney dataset, en hoe regels kunnen worden overgedragen van een binaire naar een multiclass anomalie detectie taak (NSL-KDD), wat de adaptiviteit van het framework aantoont.

Betekenis en Claims
Het artikel claimt dat NLN's een krachtig instrument bieden voor situaties waarin outputs beschreven kunnen worden door logica-programma's, waarbij zij in staat zijn om sparse, interpreteerbare regels te leren die in specifieke domeinen wedijveren met de prestaties van black-box modellen. De auteurs benadrukken dat hun methode de state-of-the-art verbetert in Boolean netwerkontdekking en tastbare waarde biedt in medische en industriële toepassingen waar transparantie essentieel is.

De auteurs zijn echter bescheiden over de beperkingen van de methode. Ze erkennen dat de leerstrategie moeite heeft wanneer er geen onderliggend grondwaarheid-logica programma bestaat, wat vaak resulteert in een lagere voorspellende prestatie vergeleken met methoden met lineaire output-lagen (zoals RRL) of boom-gebaseerde methoden. De stap van gewicht-discretisering wordt opgemerkt als computationeel duur, en het probleem van de vanishing gradient, hoewel gemitigeerd, blijft een uitdaging. De auteurs suggereren dat toekomstig werk de mogelijkheden moet verkennen van benaderde formalismen (zoals RRL) om leer-eigenschappen te verbeteren, en de NLN's moet uitbreiden naar convolutionele, recurrente en graph-gebaseerde structuren voor complexere taken zoals beeldclassificatie en meerstaps-redeneren.

Het artikel concludeert met een breder impactstatement, waarbij wordt opgemerkt dat hoewel transparantie een doel is, het ook het risico met zich meebrengt dat discriminerende vooroordelen in de trainingsdata (bijv. in de Adult dataset) worden blootgesteld. De auteurs betogen dat deze transparantie juist toestaat dat regels worden geaudit door domeinexperts, wat de inzet van beleid gebaseerd op spuriose correlaties kan voorkomen.