💬 NLP

Topic Modeling with Fine-tuning LLMs and Bag of Sentences

Dit paper introduceert FT-Topic, een methode voor ongesuperviseerde fijne afstelling van LLM-encoders via automatisch gegenereerde trainingsdata, waarmee de nieuwe state-of-the-art topic modeling-methode SenClu wordt ontwikkeld voor snelle en flexibele onderwerpanalyse.

Oorspronkelijke auteurs: Johannes Schneider

Gepubliceerd 2026-02-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Johannes Schneider

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🧠 De Grote Boekenkast: Hoe computers leren wat een "onderwerp" is

Stel je voor dat je een enorme bibliotheek hebt met miljoenen boeken, kranten en artikelen. Je wilt weten waar deze teksten over gaan. In het verleden deden computers dit door te tellen hoe vaak woorden voorkwamen (zoals "de", "en", "is"). Dit werkte, maar het was alsof je probeerde een film te begrijpen door alleen naar de letters op het scherm te kijken, zonder naar de beelden te kijken.

Deze nieuwe studie van Johannes Schneider introduceert een slimme manier om computers te leren begrijpen waar teksten écht over gaan, zonder dat we ze handmatig hoeven te labelen.

1. Het probleem: De "Klassieke" aanpak is verouderd

Vroeger gebruikten we methoden zoals LDA. Dit werkt als een woordenwolk. De computer kijkt: "Woord X komt vaak voor in document Y, dus dat moet een onderwerp zijn."

Het nadeel: Dit is vaak rommelig. Woorden als "de" of "is" komen overal voor, maar zeggen niets over het onderwerp. Ook kan een document vaak meerdere onderwerpen hebben, maar de oude methoden worstelden hiermee.

2. De oplossing: "Zak vol Zinnen" (Bag of Sentences)

In plaats van naar losse woorden te kijken, kijkt deze nieuwe methode (SenClu) naar zinnen.

De metafoor: Stel je voor dat je niet naar losse letters kijkt, maar naar zinnetjes. Een zinnetje is als een bouwsteen.
Waarom? Omdat een zinnetje (bijvoorbeeld: "De hockeyclub won gisteren de wedstrijd") vaak al genoeg informatie bevat om te weten dat het over "sport" gaat. Het is een stukje groter dan een woord, maar kleiner dan een heel boek. Dit maakt het makkelijker om te zeggen: "Dit stukje tekst hoort bij één onderwerp."

3. De slimme truc: "FT-Topic" (De zelflerende leraar)

Dit is het meest interessante deel. We hebben al heel slimme computers (zogenaamde LLMs, zoals BERT) die taal begrijpen. Maar ze zijn niet perfect getraind voor onderwerp-bepaling. Ze zijn getraind om zinnen te voorspellen, niet om te zeggen of twee zinnen over hetzelfde gaan.

Normaal gesproken zou je een computer moeten leren door hem duizenden voorbeelden te geven met labels (bijv. "Dit is over sport", "Dit is over politiek"). Maar die labels maken is duur en tijdrovend.

De innovatie: De auteurs hebben een manier bedacht om de computer zelf te laten leren, zonder menselijke labels. Ze noemen dit FT-Topic.

De analogie: Stel je voor dat je een kind leert wat "groen" is. Je hoeft niet te zeggen "dit is een appel, dat is een boom". Je zegt gewoon: "Kijk, deze twee dingen (appel en boom) lijken op elkaar omdat ze beide groen zijn. Maar die steen hier is anders."
Hoe werkt het in de computer?
1. De computer kijkt naar een document. Hij neemt twee zinnen die naast elkaar staan. Hij gaat ervan uit: "Deze twee horen waarschijnlijk bij hetzelfde onderwerp." (Positief voorbeeld).
2. Hij pakt een zin uit een ander document. Hij gaat ervan uit: "Deze hoort bij een ander onderwerp." (Negatief voorbeeld).
3. De computer traint zichzelf: "Leer dat de eerste twee zinnen dicht bij elkaar in de 'ruimte' van ideeën moeten liggen, en de derde ver weg."
4. De schoonmaak: Soms heeft de computer het mis (bijv. twee zinnen naast elkaar gaan over heel verschillende dingen). De computer kijkt terug en verwijdert de voorbeelden die "raar" lijken, zodat hij alleen de beste lessen overhoudt.

4. Het resultaat: SenClu (De snelle en slimme sorter)

Na deze training gebruikt de computer deze slimme "zin-gevoelens" om alle teksten te sorteren.

Hard toewijzen: In plaats van te zeggen "deze zin is 60% over sport en 40% over politiek", zegt de nieuwe methode: "Deze zin hoort bij sport." Dit is sneller en makkelijker te begrijpen voor mensen.
Snelheid: De oude methoden met diepe neurale netwerken duuren soms uren. Deze nieuwe methode doet het in minuten.
Kwaliteit: De onderwerpen die uitkomen zijn veel logischer. In plaats van een lijst met willekeurige woorden, krijg je een lijst met woorden die echt bij elkaar passen.

Samenvatting in één zin

De auteurs hebben een manier bedacht om slimme taalcomputers zelf te laten oefenen met het sorteren van teksten op onderwerp, door te kijken naar zinnetjes in plaats van losse woorden, waardoor ze sneller, slimmer en goedkoper werken dan de oude methoden.

De kernpunten voor de gebruiker:

Geen handmatig werk: Je hoeft geen labels te maken.
Sneller: Werkt veel sneller dan de huidige geavanceerde methoden.
Beter: De onderwerpen zijn logischer en makkelijker te begrijpen.
Flexibel: Je kunt zelf bepalen hoeveel onderwerpen je wilt, zelfs als een document er meerdere heeft.

Probleemstelling

Traditionele topic modeling-methoden, zoals Latent Dirichlet Allocation (LDA), kampen met fundamentele beperkingen. Ze baseren zich op het "Bag of Words" (BoW) model, wat leidt tot gefragmenteerde en minder coherente topics omdat ze aannemen dat woorden onafhankelijk zijn en frequentie de belangrijkste indicator is. Daarnaast optimaliseren deze modellen vaak op perplexiteit, wat niet altijd correleert met menselijke beoordeling van topic-kwaliteit.

Hoewel Large Language Models (LLM's) en contextuele embeddings (zoals BERT) superieure prestaties leveren, worden ze vaak "out-of-the-box" gebruikt zonder fine-tuning. Het grote obstakel voor het fine-tunen van LLM's voor topic modeling is het gebrek aan geschikte, gelabelde trainingsdatasets. Het handmatig labelen van data is duur en tijdrovend, waardoor er een behoefte is aan een methode die fine-tuning mogelijk maakt in een onbewaakte (unsupervised) setting.

Methodologie

De auteur introduceert een tweeledige aanpak: FT-Topic (voor het fine-tunen van de encoder) en SenClu (het daadwerkelijke topic model).

1. FT-Topic: Onbewaakte Fine-tuning

FT-Topic is een methode om een sentence-encoder (zoals Sentence-BERT) te fine-tunen zonder menselijke labels. De kernidee is het gebruik van een "Bag of Sentences" (BoS) in plaats van individuele woorden of hele documenten als basis-eenheid. Een groep van opeenvolgende zinnen wordt gezien als een eenheid die waarschijnlijk één enkel topic vertegenwoordigt.

Het proces bestaat uit twee stappen:

Generatie van trainingsdata (Heuristiek): Op basis van de aanname dat zinnen binnen hetzelfde document (en dus dicht bij elkaar) vaak hetzelfde topic hebben, terwijl zinnen uit verschillende documenten verschillende topics hebben, worden tripletten gegenereerd:
- Anchor (A): Een zinsgroep.
- Positive (P): Een aangrenzende zinsgroep binnen hetzelfde document (vermoedelijk hetzelfde topic).
- Negative (N): Een willekeurige zinsgroep uit een ander document (vermoedelijk een ander topic).
- Dit dient als input voor Triplet Loss.
Datakwaliteit verbeteren: De heuristiek is niet perfect (soms wisselen topics binnen een document, of delen documenten hetzelfde topic). Om dit op te lossen, worden onbetrouwbare tripletten verwijderd voordat het fine-tunen begint. Dit gebeurt door de gelijkenis te berekenen met een niet gefinetuned model:
- Verwijder tripletten waar de 'Positive' en 'Anchor' zeer verschillend zijn (lage gelijkenis), wat suggereert dat ze toch verschillende topics hebben.
- Verwijder tripletten waar het verschil in gelijkenis tussen 'Positive' en 'Negative' te klein is, wat suggereert dat de negatieve sample eigenlijk hetzelfde topic heeft.

2. SenClu: Het Topic Model

SenClu is een nieuw topic model dat de gefinetuned embeddings gebruikt en werkt volgens het Aspect Model, maar met een aantal cruciale wijzigingen:

Unit van analyse: In plaats van woorden, worden groepen van zinnen (BoS) gebruikt.
Harde toewijzingen (Hard Assignments): Elk document wordt niet verdeeld over topics met probabilities, maar elke zinsgroep wordt toegewezen aan één topic (0 of 1). Dit vereenvoudigt de interpretatie en berekening.
Inferentie (EM-algoritme): Het model gebruikt een Expectation-Maximization (EM) algoritme dat is geïntegreerd met clustering (vergelijkbaar met K-Means++).
- E-stap: Toewijzen van zinsgroepen aan het meest waarschijnlijke topic op basis van cosine-similarity en een prior $p(t|d)$ .
- M-stap: Bijwerken van de topic-vector (centroïde) als het gemiddelde van de toegewezen zinsvectoren.
Simulated Annealing: Om te voorkomen dat het algoritme vastloopt in lokale minima, wordt een parameter $c(\alpha)$ gebruikt die afneemt tijdens de training. Dit zorgt ervoor dat de toewijzingen in het begin flexibeler zijn en later steeds strikter worden.
Woord-Topic Scores: Om de resultaten leesbaar te maken, wordt een nieuwe score berekend voor woorden binnen een topic. Deze combineert de frequentie van het woord in het topic met een maat voor zijn "relatieve relevantie" (hoe uniek het is voor dat topic ten opzichte van andere topics), waardoor veel voorkomende maar niet-discriminerende woorden (stopwoorden) worden gefilterd.

Belangrijkste Bijdragen

FT-Topic: Een automatische methode voor het fine-tunen van sentence-encoders voor topic modeling, gebaseerd op heuristische trainingsdata-generatie met een kwaliteitsfilter.
SenClu & Bag of Sentences: Een nieuw topic model dat de "Bag of Sentences" als basis-eenheid gebruikt. Dit balanceert tussen de granulariteit van woorden (LDA) en hele documenten (document clustering), wat leidt tot coherenterere topics.
Nieuwe Inferentie-techniek: Een EM-gebaseerd algoritme met "annealing" en harde toewijzingen, wat sneller is dan variational inference en meer controle biedt aan de gebruiker via een prior ( $\alpha$ ) voor het aantal topics per document.
Geavanceerde Woord-Scoring: Een nieuwe methode om de belangrijkste woorden per topic te bepalen, die zowel frequentie als discriminatiekracht meewegt.

Resultaten

De methode is getest op vier datasets (New York Times, 20 Newsgroups, Gutenberg, Yelp) en vergeleken met LDA, BERTopic en TopClus.

Kwaliteit (Coherentie & Dekking): SenClu (met FT-Topic) behaalt de beste resultaten op PMI (Pointwise Mutual Information, een maat voor coherentie) en NMI (Normalized Mutual Information, een maat voor topic-dekking ten opzichte van menselijke labels). Het slaagt erin om topics te vinden die menselijker interpreteerbaar zijn dan die van LDA of TopClus.
Snelheid: Hoewel het fine-tunen (FT-Topic) tijd kost, is de inferentie van SenClu zeer snel (enkele minuten voor grote datasets). Het is aanzienlijk sneller dan TopClus (dat >150 minuten nodig heeft) en biedt betere kwaliteit.
Robuustheid: De methode is weinig gevoelig voor hyperparameters, wat betekent dat standaardinstellingen vaak goede resultaten opleveren.
Interpretatie: Kwalitatieve analyses tonen aan dat SenClu topics genereert die beter overeenkomen met menselijke verwachtingen en minder "ruis" (algemene woorden) bevatten dan concurrenten.

Betekenis en Conclusie

Dit paper biedt een belangrijke stap voorwaarts in het veld van topic modeling door de kloof tussen de kracht van LLM's en de praktische toepasbaarheid voor topic modeling te overbruggen.

Efficiëntie: Het lost het probleem op van de hoge rekentijd van complexe neurale topic-modellen door een efficiënt EM-algoritme met harde toewijzingen te gebruiken.
Gebruiksgemak: Het introduceert een methode om LLM's te fine-tunen zonder dure gelabelde datasets, wat de toepasbaarheid voor diverse domeinen vergroot.
Kwaliteit: Door de "Bag of Sentences" aanpak en de gefinetuned embeddings, worden topics coherenter en beter interpreteerbaar dan met traditionele methoden.

De auteurs concluderen dat hun aanpak een nieuwe staat-of-the-art biedt die snelheid, flexibiliteit (meerdere topics per document) en hoge kwaliteit combineert, en nodigen uit tot verdere optimalisatie en integratie met andere LLM-technieken.