💬 NLP

Clusters are All You Need: Pre-Training the Tsetlin Machine with Semantic Clusters from Language Models for Interpretability

Dit artikel stelt een semantisch pre-training framework voor dat contextuele kennis van taalmodellen overdraagt naar de interpreteerbare Tsetlin Machine via semantische clustering, waarmee een competitieve prestatie wordt behaald ten opzichte van BERT terwijl volledige transparantie behouden blijft.

Oorspronkelijke auteurs: Jiechao Gao, Rohan Kumar Yadav, Yuangang Li, Yuandong Pan, Jie Wang, Ying Liu, Michael Lepech

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiechao Gao, Rohan Kumar Yadav, Yuangang Li, Yuandong Pan, Jie Wang, Ying Liu, Michael Lepech

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Black Box" versus De "Logische Puzzel"

Stel je voor dat je twee soorten detectives hebt die een mysterie proberen op te lossen (zoals het sorteren van nieuwsartikelen in categorieën).

De Super-Detective (BERT): Deze detective is ongelooflijk slim. Ze hebben miljoenen boeken gelezen en begrijpen de diepe, verborgen betekenis van woorden. Als ze een zin lezen over een "shuttle" en een "camera", weten ze direct dat het over de ruimte gaat, en niet over een speelgoed-ruimtevaartuig. Echter, deze detective is een black box. Wanneer ze je een antwoord geven, kunnen ze niet uitleggen waarom. Ze zeggen alleen: "Ik weet dat het ruimte is," maar ze kunnen je de aanwijzingen niet laten zien. Dit maakt ze moeilijk te vertrouwen in serieuze situaties (zoals juridische of medische zaken) waar je de redenering moet kennen.
De Logische Detective (Tsetlin Machine): Deze detective is zeer transparant. Ze lossen mysteries op met eenvoudige "Als-Dan"-regels (bijv. "ALS het woord 'basketbal' voorkomt EN het woord 'team' voorkomt, DAN is het een sportbericht"). Je kunt precies zien hoe ze tot hun conclusie zijn gekomen. Deze detective is echter een beetje traag en letterlijk. Ze worstelen met het begrijpen van context. Als ze het woord "bank" zien, weten ze niet of het een rivierbank of een geldbank betekent, tenzij je het hen expliciet vertelt.

Het Doel: De auteurs wilden de Logische Detective de super-slimme intuïtie geven van de Super-Detective, maar de mogelijkheid van de Logische Detective behouden om hun werk uit te leggen.

De Oplossing: De "Studiegroep"-strategie

De auteurs creëerden een tweetraps trainingskamp om de Logische Detective een upgrade te geven.

Stap 1: De "Studiegroep" (Pre-training)

Stel je voor dat je een enorme stapel ongesorteerde nieuwsartikelen hebt. Je kunt de Logische Detective niet allemaal tegelijk leren. Dus gebruik je de Super-Detective (BERT) om deze artikelen snel te sorteren in semantische clusters (groepen van vergelijkbare onderwerpen).

De Analogie: Denk hierbij aan een leraar die een slimme AI gebruikt om een rommelige bibliotheek in 200 verschillende bakken te sorteren. Eén bak is gelabeld "Sport", een andere "Ruimtevaart", een andere "Politiek".
De Magie: De auteurs gebruiken niet alleen de bakken; ze vragen de Logische Detective om alleen de "Sport"-bak te bestuderen. De detective leert dat in deze specifieke groep woorden als "basketbal", "Olympische Spelen" en "winnen" altijd bij elkaar horen.
De Twist: De Logische Detective wordt getraind om "negatieve" aanwijzingen (zoals "NIET basketbal") te negeren tijdens deze fase. Dit dwingt hen om zich puur te concentreren op de positieve, sterke trefwoorden die de groep definiëren. Dit creëert een schone, interpreteerbare lijst van "trefwoorden" voor elk onderwerp.

Stap 2: Het "Eindexamen" (Fine-tuning)

Nu maakt de Logische Detective een echte test met gelabelde data (artikelen waarbij het antwoord bekend is).

De Upgrade: Voordat de detective een nieuw artikel leest, fluistert het systeem de "trefwoorden" uit de Studiegroep in hun oor. Als het artikel over een ruimtemissie gaat, herinnert het systeem de detective eraan: "Onthoud, in de Ruimtevaart-groep zijn woorden als 'camera' en 'observeren' erg belangrijk."
Het Resultaat: De detective gebruikt nu deze vooraf geleerde trefwoorden om hun "Als-Dan"-regels te maken. Ze kijken niet langer alleen naar ruwe woorden; ze kijken naar woorden plus het diepe begrip van wat die woorden in een specifieke context betekenen.

Waarom dit werkt (De Resultaten)

Het artikel testte deze methode op vijf verschillende nieuwsdatasets. Dit is wat er gebeurde:

Het verslaan van de Oude Logica: De geüpgradede Logische Detective (TM met pre-training) was veel beter in het sorteren van nieuws dan de oude Logische Detective of zelfs de Logische Detective die oudere, simpelere woordenlijsten gebruikte (zoals Word2Vec).
De Uitdaging voor de Super-Detective: De geüpgradede Logische Detective presteerde bijna net zo goed als de Super-Detective (BERT). In sommige gevallen zaten ze binnen 1% van de nauwkeurigheid van BERT.
Het Beste van Beide Werelden: De grote winst is dat terwijl de geüpgradede detective bijna zo slim is als de Super-Detective, ze nog steeds hun werk kunnen laten zien. Je kunt naar hun regels kijken en precies zien welke woorden tot de beslissing hebben geleid.

De Ontdekking van het "Sweet Spot"

De auteurs hebben ook gespeeld met de grootte van de "Studiegroepen" (clusters).

Te Klein (50 groepen): De groepen waren te breed. De detective raakte in de war omdat "Sport" en "Muziek" door elkaar heen konden lopen.
Te Groot (500 groepen): De groepen waren te specifiek. De detective moest te veel kleine, ongerelateerde details onthouden, waardoor ze het grote plaatje uit het oog verloren.
Precies Goed (200 groepen): Ze ontdekten dat 200 groepen de perfecte balans was. Het gaf de detective genoeg context om het onderwerp te begrijpen zonder overweldigd te raken.

De Kernboodschap

Het artikel beweert dat door een "Studiegroep"-methode te gebruiken om een eenvoudige, transparante logische machine de diepe betekenissen van taal te leren, we een AI kunnen creëren die zowel zeer nauwkeurig als volledig uitlegbaar is. Het overbrugt de kloof tussen de "slimme maar geheime" neurale netwerken en de "eerlijke maar eenvoudige" logische machines.

Beperkingen genoemd in het artikel:

De methode is afhankelijk van de kwaliteit van de initiële "Studiegroepen". Als de initiële sortering slecht is, leert de detective slechte gewoontes.
Het vereist een extra stap van "offline" training (de Studiegroep-fase) voordat het model kan worden gebruikt, wat extra computertijd kost.
Het kan nog steeds sommige zeer subtiele, complexe context missen die een volledig neuraal netwerk wel oppikt, maar het komt er heel dichtbij.

Technische Samenvatting: Clusters are All You Need: Pre-training de Tsetlin Machine met Semantische Clusters van Taalmodellen voor Interpreteerbaarheid

Probleemstelling
Pre-trained taalmodellen (PLM's) zoals BERT behalen state-of-the-art prestaties bij tekstclassificatie, maar missen transparantie, wat hun inzet beperkt in domeinen met hoge inzet, zoals juridische en medische analyse waar besluitvormingsprocessen verklaarbaar moeten zijn. Daartegenover biedt de Tsetlin Machine (TM) volledig interpreteerbare, op clausules gebaseerde redenering, maar vertrouwt deze traditioneel op Bag-of-Words (BoW) inputs, die er niet in slagen om contextuele semantische betekenis te vangen. Eerdere pogingen om deze kloof te overbruggen door statische woordembeddings (bijv. Word2Vec, GloVe) in TM te integreren, hebben de contextuele rijkdom van transformer-gebaseerde modellen niet succesvol kunnen incorporeren.

Methodologie
De auteurs stellen een tweefasig framework voor dat semantische kennis van PLM's overdraagt naar een Tsetlin Machine zonder gebruik te maken van dichte (dense) embeddings, waardoor de interpreteerbaarheid behouden blijft.

Semantische Clustering en Pre-training (Fase 1):
- Ongelabelde tekstdata wordt ingebed met behulp van een pre-trained taalmodel (BERT-varianten) of Top2Vec.
- Deze embeddings worden gegroepeerd in semantisch coherente clusters met behulp van K-means of hiërarchische dichtheidgebaseerde clustering (Top2Vec).
- Een Non-Negated Tsetlin Machine (NTM) wordt gepre-trained op steekproef-clusterparen. De NTM introduceert twee cruciale wijzigingen ten opzichte van de standaard TM:
  - Versterkte Type I Feedback: Het mechanisme voor het versterken van correcte "Include"-acties wordt versterkt (beloningskans ingesteld op 1.0, straf op 0.0) om de consolidatie van patronen vroeg in het leerproces te prioriteren.
  - Niet-negatieve Clausules: De inclusie van genegueerde literalen wordt uitgeschakeld. Clausules worden strikt gevormd als conjuncties van de oorspronkelijke (niet-negatieve) inputfeatures ( $C = \bigwedge x_k$ ), wat de logische structuur vereenvoudigt en de interpreteerbaarheid verbetert.
- Na de training identificeert de NTM hoog-betrouwbare keywords voor elk cluster op basis van de toestanden van de Tsetlin Automata (TA). Woorden in diepere TA-toestanden duiden op een hogere betrouwbaarheid en worden geëxtraheerd als semantische beschrijvers.
Fine-tuning met Semantische Verrijking (Fase 2):
- Gelabelde datasets worden verwerkt om clusterlabels toe te wijzen.
- De BoW-representatie van elke tekststeekproef wordt uitgebreid met de gepre-trainde semantische keywords (beschrijvers) die in Fase 1 uit de NTM zijn geëxtraheerd.
- Een standaard (vanilla) TM wordt gefine-tuned op deze verrijkte, semantische BoW-representatie. In deze fase worden genegueerde literalen opnieuw geïntroduceerd om flexibele classificatie mogelijk te maken, maar de input wordt nu semantisch gegrond door de gepre-trainde beschrijvers.

Belangrijkste Bijdragen

Nieuw Pre-training Framework: Het artikel introduceert een methode om semantische kennis van PLM's over te dragen naar TM via cluster-gebaseerde pre-training, waarbij de brug wordt geslagen naar statische embeddings die context missen.
Non-Negated Tsetlin Machine (NTM): De auteurs stellen een variant van TM voor die gebruikmaakt van versterkte positieve feedback en negatieve features uitsluit om monotone, interpreteerbare clusterrepresentaties te leren.
Confidence-gebaseerde Keyword Extractie: Er wordt een mechanisme gedefinieerd om hoog-betrouwbare semantische beschrijvers te extraheren uit de NTM TA-toestanden, die dienen als interpreteerbare features voor downstream taken.
Kostenamortisatie: De clustering en pre-training stappen worden één keer per domein uitgevoerd en hergebruikt voor meerdere downstream taken, waardoor de computationele kosten worden geamortiseerd.

Experimentele Resultaten
Het framework werd geëvalueerd op vijf onderwerpclassificatie-datasets (AG-News, NYT, DBpedia, Reuters-8, Reuters-52) tegenover negen baselines, waaronder BoW, LSTM, CNN, GloVe-enhanced TM en BERT-modellen.

Prestaties: De voorgestelde methode (TM gepre-trained met BERT-afgeleide clusters) presteert consistent beter dan de vanilla TM en de embedding-augmented TM. Het bereikt een nauwkeurigheid die concurrerend is met BERT-large, waarbij het doorgaans slechts 0,3% tot 1,1% achterblijft (bijv. 94,80% vs. 95,71% op AG-News).
Gevoeligheid voor Clustergrootte: Experimenten wijzen uit dat een clustergrootte van 200 optimaal is. Kleinere clusters (bijv. 50) bieden onvoldoende context, terwijl grotere clusters (>200) leiden tot de desintegratie van contextuele informatie, wat de prestaties vermindert.
Keyword Betrouwbaarheid: De prestaties verbeteren met het aantal hoog-betrouwbare keywords dat voor fine-tuning wordt gebruikt, met een piek bij ongeveer 20 woorden per cluster. Voorbij dit punt leidt de inclusie van ruis of woorden buiten de context tot een afname van de nauwkeurigheid.
Vergelijking met Top2Vec: De methode die gebruikmaakt van NTM pre-training met BERT-clusters presteert 1-2% beter dan benaderingen die Top2Vec-keywords gebruiken, wat de effectiviteit van de confidence-gebaseerde extractie uit NTM valideert.

Significantie en Claims
Het artikel claimt dat deze aanpak er succesvol in slaagt de nauwkeurigheidskloof tussen de interpreteerbare Tsetlin Machine en de opake, state-of-the-art BERT-modellen te verkleinen. Door gebruik te maken van semantische clusters, stelt de methode de TM in staat om genuanceerde semantische relaties te vatten, terwijl de transparantie behouden blijft die vereist is voor toepassingen met een hoge inzet. De auteurs positioneren dit als een nieuwe standaard voor verklaarbare tekstclassificatie, waarbij zij aantonen dat semantische pre-training de prestaties van logische modellen aanzienlijk kan verbeteren zonder hun inherente interpreteerbaarheid op te offeren.

Beperkingen
De auteurs erkennen dat de prestaties van de methode afhankelijk zijn van de kwaliteit van de semantische clusters gegenereerd door het onderliggende PLM, dat moeite kan hebben met ruisgevoelige of bronarme data. Daarnaast brengt de pre-training fase offline computationele kosten met zich mee, en kan de binaire aard van TM-inputs nog steeds resulteren in enig verlies van fijnmazige contextuele afhankelijkheden vergeleken met volledig neurale modellen.