Reasoning-Based Refinement of Unsupervised Text Clusters with LLMs

Titel: Redeneringsgebaseerde verfijning van onbewaakte tekstclusters met LLM's

Auteur: Tunazzina Islam (Purdue University)

1. Probleemstelling

Onbewaakte methoden (unsupervised methods) worden veel gebruikt om latente semantische structuren uit grote tekstcollecties te halen, wat essentieel is voor domeinen zoals sociale media waar gelabelde data schaars of duur is. Echter, de output van traditionele onbewaakte clustering-algoritmen (zoals LDA, HDP of embedding-gebaseerde methoden zoals BERTopic) bevat vaak:

• Incoherente clusters: Groepen teksten die semantisch niet goed bij elkaar passen.
• Redundantie: Meerdere clusters die dezelfde thematiek beschrijven met slechts oppervlakkige lexicale verschillen.
• Slecht onderbouwde labels: Labels die niet goed aansluiten bij de menselijke interpretatie van de inhoud.

Bestaande oplossingen vertrouwen vaak puur op meetkunde in de embedding-ruimte (bijv. afstand of dichtheid). Onderzoek toont echter aan dat deze meetkundige eigenschappen niet altijd correleren met menselijke semantische coherentie. Er is dus behoefte aan een mechanisme dat de semantische validiteit van clusters kan verifiëren zonder afhankelijk te zijn van menselijke annotatie.

2. Methodologie

De auteurs stellen een redeneringsgebaseerd verfijningskader voor dat Large Language Models (LLMs) niet gebruikt om embeddings te genereren of clusters te vormen, maar als semantische rechters (judges) die de output van willekeurige onbewaakte clustering-algoritmen valideren en herschikken.

Het kader bestaat uit drie fasen:

1. Coherentie-verificatie (Coherence Verification):

   • Voor elke gegenereerde cluster wordt een beknopte natuurlijke taal-samenvatting gegenereerd (gebaseerd op de top-k meest representatieve teksten).
   • Een LLM evalueert of deze samenvatting semantisch wordt ondersteund door de lid-teksten van de cluster.
   • Clusters die als semantisch incoherent worden beoordeeld, worden verwijderd.

2. Redundantie-adjudicatie (Redundancy Adjudication):

   • Zelfs coherente clusters kunnen overlappende thema's bevatten.
   • De samenvattingen van overlevende clusters worden paarsgewijs vergeleken op semantische overlap (met behulp van SBERT-embeddings en cosine similarity).
   • Clusters die boven een bepaalde drempelwaarde (bepaald via grid search) liggen, worden samengevoegd om redundantie te elimineren.

3. Label-gronding (Label Grounding):

   • De verfijnde clusters krijgen interpreteerbare, menselijke labels toegewezen door de LLM, volledig onbewaakt.
   • Een tweede stap consolideert semantisch vergelijkbare labels tot één definitief label.

Implementatie Details:

• Basisclustering: HDBSCAN (geoptimaliseerd met DBCV-score) op TF-IDF vectorisatie (om interpretabiliteit te behouden in de vroege fase).
• LLM: GPT-4o wordt gebruikt voor de redeneringstaken (samenvatten, valideren, labelen).
• Validatie: De framework is agnostisch ten opzichte van het onderliggende clustering-algoritme en fungeert als een post-hoc verfijningslaag.

3. Belangrijkste Bijdragen

1. Nieuw Kader: Een framework dat LLM's inzet als semantische rechters om onbewaakte structuren te valideren en te verfijnen, in plaats van om nieuwe structuren te genereren.
2. Systematische Evaluatie: Een uitgebreide evaluatie die redeneringsgebaseerde verfijning vergelijkt met puur embedding-gebaseerde methoden (zoals SBERT-refinement) en traditionele topic-modellen (LDA, BERTopic).
3. Data en Resources: Publicatie van cross-platform datasets (X/Twitter en Bluesky) en evaluatiemiddelen om onderzoek naar interpreteerbare onbewaakte tekstanalyse te ondersteunen.

4. Resultaten

Het framework werd getest op twee sociale media-platforms met verschillende interactiemodellen: X (voorheen Twitter, data 2019-2020) en Bluesky (data juni 2025), beide gefocust op het onderwerp "veganisme".

• Kwaliteit van Clusters:

  • De LLM-gebaseerde verfijning leidde tot een aanzienlijke verbetering in Silhouette Scores (cohesie binnen clusters) vergeleken met zowel de ruwe HDBSCAN-output als SBERT-gebaseerde verfijning.
  • Op het X-dataset steeg de Silhouette Score van 0,122 (HDBSCAN) naar 0,674 (LLM-refinement).
  • Hoewel SBERT soms betere scheiding (Davies-Bouldin Index) boekte op X, presteerde de LLM-methode beter in het creëren van semantisch samenhangende groepen.

• Menselijke Evaluatie:

  • Menselijke annotatoren (experts) beoordeelden de toewijzing van labels aan teksten.
  • De LLM-gegenereerde labels (GPT-4o) bereikten een nauwkeurigheid van 78,4% op X en 89,8% op Bluesky in overeenstemming met menselijke oordelen.
  • Dit presteerde significant beter dan traditionele methoden (LDA, BERTopic) en zelfs beter dan andere LLM's (zoals Mistral Large 2 en Llama 3.2) in deze specifieke taak.

• Robuustheid:

  • Analyses onder gelijke temporale en volumemomente (om historische bias te minimaliseren) bevestigden dat de verschillen in clusterkwaliteit en thematische verdeling tussen de platformen echt zijn en niet het gevolg van dataset-ongelijkgewichten.

5. Betekenis en Impact

• Semantische Validatie: Het onderzoek toont aan dat LLM's effectief kunnen fungeren als een "semantische check" die de beperkingen van puur meetkundige clustering overbrugt. Dit maakt onbewaakte analyse betrouwbaarder en interpreteerbaarder.
• Platformverschillen: De studie onthult duidelijke verschillen in discours tussen centrale (X) en gedecentraliseerde (Bluesky) platformen. X neigt naar ideologisch en activistisch discours, terwijl Bluesky meer gericht is op lifestyle, humor en consumentenzaken.
• Toepasbaarheid: Het kader is breed toepasbaar op elke onbewaakte clustering-pipeline en biedt een oplossing voor het valideren van thema's in ruisrijke, korte teksten (zoals sociale media) zonder de noodzaak van dure menselijke annotatie.
• Beperkingen: De auteurs erkennen dat de methoden beperkt zijn tot het Engels en dat LLM's zelf menselijke vooroordelen kunnen bevatten. Ook wordt benadrukt dat dit een beschrijvende analyse is, geen causaal bewijs van platformontwerp.

Conclusie:
Dit werk introduceert een paradigmaverschuiving waarbij LLM's niet de bron van structuur zijn, maar de kwaliteitscontrole voor onbewaakte systemen. Dit resulteert in semantisch coherente, niet-redundante en menselijk interpreteerbare clusters, wat een grote stap voorwaarts is voor de analyse van grote, ongelabelde tekstcollecties.