Improving Topic Modeling by Distilling Soft Labels from Language Models

Technische Samenvatting: Verbeteren van Topic Modeling door het Destilleren van Soft Labels van Taalmodellen

Probleemstelling
Traditionele neurale topicmodellen (NTM's) worden doorgaans geoptimaliseerd door de Bag-of-Words (BoW) representatie van een document te reconstrueren. Hoewel dit effectief is voor het vastleggen van statistische woordco-occurrenties, negeert deze aanpak rijke contextuele informatie en heeft het grote moeite met datasparsiteit, met name in corpora met korte teksten. Daartegenover staan Large Language Models (LLM's), die weliswaar over een diep semantisch begrip beschikken, maar te maken hebben met beperkingen bij het modelleren van grote corpora vanwege beperkingen in de contextlengte en computationele kosten. Bestaande pogingen om LLM's te gebruiken voor topic modeling vertrouwen vaak op complexe, kostbare pipelines of prompt-gebaseerde generatie die niet de probabilistische topic-distributies produceert die vereist zijn voor downstream-toepassingen zoals uncertainty-aware retrieval.

Methodologie: Distilling Soft Labels (DSL)
De auteurs stellen een nieuw trainingsframework voor, Distilling Soft Labels (DSL), dat de kloof overbrugt tussen de semantische capaciteiten van Small Language Models (SLM's) en de structurele efficiëntie van probabilistische topicmodellen. Het framework werkt via drie primaire componenten:

1. Semantische Reconstructie-targets: In plaats van schaarse BoW-targets construeert DSL dichte, contextueel verrijkte reconstructiesignalen. Gegeven een inputdocument $x$ en een thematische instructieprompt $\pi$ (bijv. "Genereer een enkel woord label dat het thema van het document vastlegt"), voorspelt de SLM de next-token distributie. De logits voor de volgende token worden geprojecteerd op een vooraf gedefinieerde vocabulaire $V$ en omgezet in een temperature-scaled softmax-distributie, aangeduid als $y_{DSL}(x, \pi)$. In tegenstelling tot BoW, dat alleen massa toekent aan woorden die expliciet in het document aanwezig zijn, wijst $y_{DSL}$ waarschijnlijkheidsmassa toe aan thematisch relevante woorden, zelfs als deze niet in de tekst voorkomen.
2. Geculturaliseerde Inputs: Het topicmodel gebruikt de uiteindelijke hidden state representatie van de SLM (op de laatste positie van de prompt-geconditioneerde input) als de document embedding. Dit zorgt ervoor dat de input natuurlijk is uitgelijnd met de semantische distributie die door het model wordt gegenereerd.
3. Trainingsdoelstelling: Het neurale topicmodel wordt getraind om de dichte $y_{DSL}$ target te reconstrueren in plaats van de schaarse BoW target. De objectieffunctie minimaliseert de Kullback-Leibler (KL) divergentie tussen de voorspelde vocabulaire-distributie $\hat{y}_\psi(x)$ en de door de SLM geïnduceerde target $y_{DSL}(x, \pi)$, samen met model-specifieke regularisatietermen (bijv. variatieve priors of embedding clustering):
   $$L_{DSL}(x) = \lambda D_{KL}(y_{DSL}(x, \pi) \parallel \hat{y}_\psi(x)) + R_M(x; \psi)$$

Bayesiaanse Interpretatie
De auteurs interpreteren DSL door de lens van impliciete Bayesiaanse inferentie. Zij stellen dat de SLM fungeert als een impliciete Bayesiaanse voorspeller over latente concepten. De geprojecteerde next-token distributie $y_{DSL}$ vertegenwoordigt een impliciete posterior predictive distributie over thema-relevante vocabulaire. Het DSL-framework destilleert dit ongestructureerde, impliciete signaal effectief in een expliciet, gestructureerd probabilistisch topicmodel, wat interpreteerbare document-topic en topic-word distributies oplevert.

Belangrijkste Bijdragen

1. Nieuw Trainingsparadigma: De introductie van een trainingsdoelstelling die semantisch gegronde soft label-distributies afgeleid van SLM's gebruikt als de reconstructie-target voor neurale topicmodellen.
2. Prestatieverbeteringen: Uit uitgebreide experimenten blijkt dat DSL substantiële verbeteringen bereikt ten opzichte van bestaande baselines (inclusief LDA, ProdLDA, BERTopic, ECRTM en FASTopic) in termen van topic coherentie, diversiteit en assignment nauwkeurigheid over drie datasets (20NewsGroup, StackOverflow, TweetTopic).
3. Retrieval-gebaseerde Evaluatie: De auteurs introduceren een retrieval-gebaseerde metriek om het nut van topic-distributies te evalueren voor het vinden van semantisch gelijkaardige documenten. Resultaten geven aan dat DSL aanzienlijk beter presteert dan baselines in retrieval precisie, vooral voor korte-tekst datasets waar datasparsiteit een grote uitdaging vormt.

Experimentele Resultaten

• Topic Kwaliteit: Over diverse backbone architecturen (ProdLDA, ECRTM, FASTopic) en SLM teachers (Llama, Phi, Qwen, ERNIE) presteert DSL consistent beter dan de baselines. Bijvoorbeeld, op de StackOverflow dataset verbeterde de Purity score voor ProdLDA van 0.265 naar 0.803 wanneer deze werd verbeterd met DSL.
• Robuustheid: De methode blijft effectief ongeacht de specifieke SLM teacher die wordt gebruikt, mits de SLM instructies goed opvolgt.
• Retrieval Prestaties: In retrieval taken presteren DSL-gebaseerde modellen aanzienlijk beter dan baselines. Op StackOverflow verdrievoudigde de beste DSL-variant bijna de baseline precisie bij 5 (P@5), van 0.306 naar 0.867.
• Ablatie Studies: De auteurs bevestigen dat de primaire drijfveer van de prestaties de semantisch gegronde soft target is; het vervangen van de KL loss door standaard NLL of het terugkeren naar BoW targets resulteert in significante prestatiedalingen. Het gebruik van SLM hidden states als input blijkt specifiek nuttig voor het reconstrueren van soft targets, in plaats van voor standaard BoW reconstructie.

Betekenis en Claims
Het artikel claimt dat DSL een eenvoudig, efficiënt en effectief paradigma biedt voor het verbeteren van neurale topic modeling zonder de computationele overhead van volledige LLM-inferentiepipelines of de beperkingen van schaarse BoW-representaties. Door het "thematische posterior predictive signaal" van een SLM te destilleren in een probabilistisch topicmodel, behoudt de aanpak de interpreteerbaarheid en uncertainty-awareness van traditionele topicmodellen terwijl het hun vermogen om onderliggende thematische structuren te vangen aanzienlijk verbetert. De auteurs positioneren dit werk als een stap naar een betere benutting van SLM's voor retrieval-georiënteerde toepassingen, waarbij zij opmerken dat de resulterende laag-dimensionale topic-representaties computationele en opslagvoordelen bieden ten opzichte van hoog-dimensionale dense embeddings.

De auteurs blijven bescheiden over toekomstige richtingen en suggereren dat toekomstig werk verschillende prompting strategieën (bijv. few-shot learning, chain-of-thought) en multi-modale toepassingen kan verkennen, maar zij beweren niet dat de methode alle uitdagingen in topic modeling oplost of dat het een definitieve oplossing is voor alle downstream taken. Zij erkennen ook potentiële maatschappelijke risico's gerelateerd aan de overerving van bias van de gedestilleerde taalmodellen.