💬 NLP

Determination of the Number of Topics Intrinsically: Is It Possible?

Dit artikel evalueert diverse intrinsieke methoden voor het schatten van het aantal onderwerpen in onderwerpmodellen over meerdere corpora en concludeert dat deze methoden onbetrouwbaar zijn omdat het optimale aantal onderwerpen afhankelijk is van het specifieke model en de gebruikte methode, in plaats van een absolute eigenschap van de data te zijn.

Oorspronkelijke auteurs: Victor Bulatov, Vasiliy Alekseev, Konstantin Vorontsov

Gepubliceerd 2026-08-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Victor Bulatov, Vasiliy Alekseev, Konstantin Vorontsov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een bibliotheek voor met miljoens boeken, maar de planken zijn leeg en de titels ontbreken. Om deze collectie betekenis te geven, zou een bibliothecaris kunnen proberen de boeken te groeperen op basis van hun inhoud, door ze in stapels te sorteren op basis van gedeelde thema's. In de wereld van de informatica is dit de taak van een onderwerpmodel (topic model). Dit zijn statistische instrumenten die enorme hoeveelheden tekst scannen om verborgen patronen te vinden, waarbij woorden die vaak samen voorkomen worden gegroepeerd in wat we "onderwerpen" noemen. Een onderwerp kan over sport gaan, een ander over koken, en een ander over ruimteverkenning. De computer kent deze labels niet vooraf; het ontdekt ze door de tekst zelf te analyseren.

Er is echter een fundamenteel probleem met dit proces: de computer weet niet hoeveel stapels hij moet maken. Moet hij tien groepen maken, vijftig, of honderd? Dit aantal is een cruciale instelling, of "hyperparameter", die de gebruiker moet kiezen voordat de computer aan het werk gaat. Als het aantal te laag is, worden de groepen rommelig en verwarrend, waarbij ongerelateerde onderwerpen door elkaar lopen. Als het aantal te hoog is, worden de groepen minuscuul en repetitief, waarbij één enkel idee wordt opgesplitst in veel bijna identieke fragmenten. Jarenlang hebben onderzoekers geprobeerd automatische hulpmiddelen te bouwen die een verzameling tekst konden bekijken en de gebruiker het perfecte aantal onderwerpen konden vertellen, in de hoop een enkele, objectieve waarheid binnen de data te vinden.

Een team van onderzoekers van het Moscow Institute of Physics and Technology en de Lomonosov Staatsuniversiteit van Moskou besloot te testen of zo'n perfect getal daadwerkelijk bestaat. Ze verzamelden een grote verscheidenheid aan bestaande methoden — tientallen verschillende wiskundige formules en procedures — die beweren het beste aantal onderwerpen te bepalen. Ze pasten deze methoden toe op verschillende grote, realistische collecties tekst, variërend van nieuwsartikelen en wetenschappelijke artikelen tot berichten van een programmeerforum en een gecureerde set Russische Wikipedia-artikelen. Ze testten deze methoden ook op verschillende soorten computermodellen, aangezien de manier waarop een model is gebouwd kan veranderen hoe het de data ziet.

De onderzoekers voerden duizenden experimenten uit, waarbij ze de computermodellen lieten leren van de tekst terwijl ze de resultaten met elk van de verschillende methoden maten. Ze zochten naar duidelijke signalen, zoals een scherpe piek of een diepe vallei in de data, die een ideaal aantal onderwerpen zouden aangeven. Ze hoopten dat al de verschillende methoden het met elkaar eens zouden zijn en voor een gegeven collectie tekst hetzelfde aantal zouden aanwijzen. In plaats daarvan troffen ze een chaotisch beeld aan. De verschillende methoden waren zelden het met elkaar eens. De ene methode zou kunnen suggereren dat een collectie nieuwsartikelen het beste begrepen kan worden met tien onderwerpen, terwijl een andere methode, die naar exact dezelfde tekst keek, dertig onderwerpen zou suggereren. Nog verbazingwekkender was dat het "beste" aantal vaak veranderde afhankelijk van welk specifiek computermodel werd gebruikt om de tekst te analyseren.

De studie onthulde dat de meest populaire en geavanceerde instrumenten voor het vinden van het juiste aantal onderwerpen verre van betrouwbaar zijn. Sommige methoden, die proberen te meten hoe onderscheidend de onderwerpen van elkaar zijn, suggereerden consequent aantallen die veel te hoog waren, waarbij ze de teller vaak tot het uiterste van wat de onderzoekers testten dreven. Andere methoden, die kijken naar hoe goed een model ongeziene tekst voorspelt, produceerden resultaten die zo vlak en onveranderlijk waren dat ze geen enkele richting boden. De onderzoekers ontdekten dat het aantal onderwerpen niet een vaststaand, natuurlijk kenmerk van de tekst zelf is, zoals het aantal pagina's in een boek. Het is eerder een grootheid die sterk afhangt van het specifieke instrument dat wordt gebruikt om het te meten en van het specifieke model dat wordt gebruikt om de tekst te analyseren.

In hun conclusie suggereren de auteurs dat de gemeenschap een mythe heeft nagejaagd. Het idee dat er een enkel, "natuurlijk" aantal onderwerpen wacht om ontdekt te worden in elke dataset, lijkt onjuist te zijn. Het aantal onderwerpen is meer als een draaiknop waarmee een gebruiker het detailniveau kan aanpassen, vergelijkbaar met inzoomen of uitzoomen op een kaart. Een kaart van een stad kan individuele straten tonen, of het kan alleen de belangrijkste snelwegen tonen; geen van beide is de "ware" kaart, het zijn slechts verschillende weergaven voor verschillende doeleinden. De onderzoekers betogen dat in plaats van te proberen automatisch een perfect aantal onderwerpen te vinden, beoefenaars zich moeten richten op wat ze daadwerkelijk met het model willen bereiken. Ze moeten zich afvragen hoe gedetailleerd de groepen moeten zijn, of of ze specifieke vragen hebben die ze met het model willen beantwoorden. De zoektocht naar een intrinsieke, automatische oplossing voor het aantal onderwerpen heeft, volgens deze studie, geleid tot een doodlopende weg, wat suggereert dat het antwoord niet ligt in een betere formule, maar in een beter begrip van het menselijke doel achter de analyse.

Technische Samenvatting: De bepaling van het aantal onderwerpen intrinsiek: Is het mogelijk?

Probleemstelling
Het aantal onderwerpen ( $T$ ) is de primaire hyperparameter in topic modeling, maar er is geen consensus over hoe de optimale waarde ervan te bepalen. Hoewel er talrijke intrinsieke methoden bestaan om $T$ te schatten zonder externe labels of menselijke beoordeling, ontbreeft het de literatuur aan een uitgebreide vergelijking van deze praktijken over verschillende modellen en corpora heen. De auteurs onderzoeken of "optimale $T$ " een absolute, intrinsieke eigenschap van een corpus is of dat het slechts een modelafhankelijke grootheid is. Zij sluiten specifits methoden uit die $T$ automatisch leren (bijv. Hierarchical Dirichlet Processes) en richten zich op fixed- $T$ modellen waarbij $T$ via kwaliteitsmetingen moet worden geselecteerd.

Methodologie
De studie evalueert een breed scala aan intrinsieke kwaliteitsmetingen over meerdere topicmodellen en publiekelijk beschikbare corpora.

Topic Modellen: De experimenten maakten gebruik van PLSA, LDA (met symmetrische, asymmetrische en heuristische priors), gedecorreleerde modellen (TWC-LDA), ijle (sparse) modellen (achtergrond/specifieke onderwerp-scheiding), en thetaless modellen (TARTM). Deze werden geïmplementeerd met de BigARTM/TopicNet stack.
Corpora: Zeven datasets werden geanalyseerd, waaronder WikiRef220, 20NewsGroups, Brown Corpus, Reuters, StackOverflow, PostNauka, en een nieuwe "ruwiki-good" dataset afgeleid van de Russische Wikipedia. Deze datasets variëren in omvang (220 tot ~900k documenten) en hebben variërende "ground truth" of verwachte topic-bereiken.
Geëvalueerde Metrieken: De studie beoordeelde metrieken uit verschillende categorieën:
- Perplexity: Hold-out perplexity en Rate of Perplexity Change (RPC).
- Stabiliteit: Subsample-gebaseerde stabiliteit (Jaccard-gelijkenis van top-tokens) en cophenetische correlatie.
- Diversiteit: Gemiddelde en dichtstbijzijnde topic-afstanden met behulp van Cosine, Jensen-Shannon, Euclidische en Hellinger metrieken (bijv. D-avg-COS, D-cls-JS).
- Informatietheoretisch: AIC, BIC en MDL (zowel standaard als sparse varianten).
- Entropie: Renyi-entropie gebaseerd op energietoestanden.
- Overig: Lift-score, Silhouette Coefficient, Calinski-Harabasz Index en Average Coherence.
Experimenteel Ontwerp: Modellen werden getraind met $T$ variërend van een minimum tot een maximum waarde over drie willekeurige initialisaties. Metrieken werden berekend voor elke run. Om te bepalen of een metriek een betrouwbare "optimale" $T$ oplevert, zochten de auteurs algoritmisch naar prominente globale minima/maxima en controleerden zij de robuustheid over willekeurige seeds.

Belangrijkste Resultaten
De experimentele resultaten, samengevat in Tabel 3, geven aan dat intrinsieke methoden over het algemeen onbetrouwbaar zijn voor het bepalen van een enkel, absoluut aantal onderwerpen.

Modelafhankelijkheid: De "optimale" $T$ varieert aanzienlijk afhankelijk van het specifieke topicmodel en de hyperparameterconfiguratie (bijv. priors in LDA). Een waarde die optimaal is voor één model, is vaak suboptimaal voor een ander.
Discrepantie tussen Metrieken: Verschillende metrieken suggereren vaak zeer verschillende waarden voor $T$ . Diversiteit-gebaseerde methoden hebben de neiging $T$ te overschatten (vaak waarden suggereren buiten het geteste bereik), terwijl informatie-theoretische methoden (AIC, BIC, MDL) en entropie-gebaseerde methoden (Renyi) relatief betere prestaties lieten zien, hoewel nog steeds inconsistent.
Gevoeligheid voor Randomisatie: Veel metrieken produceren verschillende optimale waarden op basis van willekeurige initialisatie-seeds. Terwijl sommige methoden (zoals informatie-theoretische methoden) stabiele optima vertonen over seeds, vertonen andere (zoals Diversiteit en Coherence) een hoge variantie of ruisgevoelige curves met meerdere lokale optima.
Prestaties van Specifieke Metrieken:
- Perplexity: Vaak monotoon zonder duidelijke minima, wat in strijd is met eerdere literatuur.
- Stabiliteit: Vaak te ruisig voor kleine $T$ en ongeschikt voor ijle (sparse) modellen.
- Coherence: Over het algemeen een dalende functie van $T$ , wat leidt tot de selectie van zeer kleine $T$ -waarden.
- Diversiteit: Vertoont vaak geen duidelijk maximum, maar vlakt in plaats daarvan af.
- Eenvoudigste Methoden: Verrassend genoeg leverden de eenvoudigste benaderingen (AIC, BIC, MDL, Renyi-entropie) de meest consistente, zij het niet perfecte, resultaten vergeleken met complexere, structuur-gebaseerde metrieken.

Betekenis en Conclusies
Het artikel concludeert dat het concept van een "optimaal aantal onderwerpen" als een intrinsieke, absolute eigenschap van een corpus waarschijnlijk een mythe is. In plaats daarvan wordt aangetoond dat het aantal onderwerpen een modelafhankelijke grootheid is, beïnvloed door het specifieke algoritme, de hyperparameters en de gekozen metriek voor evaluatie.

De auteurs stellen dat de zoektocht van de gemeenschap naar een "natuurlijk" aantal onderwerpen dat inherent is aan data een onderwerp van voortdurend debat is. Zij suggereren dat $T$ behandeld moet worden als een standaard machine learning hyperparameter die afgestemd kan worden op basis van de specifieke doelen van de toepassing, in plaats van een intrinsieke waarheid die ontdekt moet worden.

Voorgestelde Richtingen:
In plaats van te vertrouwen op intrinsieke metrieken om een "ware" $T$ te vinden, suggereren de auteurs:

$T$ te behandelen als een af te stembare hyperparameter.
Te focussen op secundaire taken (bijv. classificatie) om $T$ te selecteren.
Modellen te ontwikkelen die robuust zijn tegen veranderingen in $T$ of in staat zijn om hiërarchische topic-structuren te leren.
De focus van de praktijkbeoefenaar te verschuiven van het "vinden van het aantal onderwerpen" naar het definiëren van gewenste granulariteit (bijv. "hoeveel documenten moet een onderwerp bevatten?") en het waarborgen van de interpreteerbaarheid van onderwerpen.

Uiteindelijk stelt de studie dat het doel van topic modeling niet de bepaling van een optimale $T$ is, maar de ontwikkeling van trainingsmethoden die interpreteerbare onderwerpen opleveren voor een gegeven $T$ in afwezigheid van externe criteria.

Meer zoals dit