Uncertainty-Aware Assessment of LLM-Enhanced Topic Models: An Experton-Based Approach to Interpretability

Technische Samenvatting: Onzekerheidsbewuste Beoordeling van door LLM Versterkte Topic Modellen

Probleemstelling
De studie adresseert drie kritieke hiaten in de evaluatie van topic modeling, met name binnen gespecialiseerde domeinen zoals toerisme waar semantische ambiguïteit en subjectiviteit van de beoordelaar prevalent zijn:

1. Evaluatie van Hybride Pipelines: De bestaande literatuur vergelijkt primair op zichzelf staande modellen (traditioneel, neuraal of pure LLM's), waardoor de prestaties van hybride pipelines — waarbij een neuraal model de corpus structureert en een LLM de output verfijnt — grotendeels onverkend blijven.
2. Decoding Temperatuur: Hoewel Large Language Models (LLM's) steeds vaker worden geïntegreerd in workflows voor topic modeling, blijft de invloed van de decoding temperatuur op zowel de resulterende topic-representaties als de daaropvolgende interpretabiliteitsbeoordeling onderbelicht.
3. Onzekerheid in Interpretabiliteit: Topic interpretabiliteit is inherent een subjectief en onzeker semantisch oordeel. De huidige evaluatiemethoden reduceren dit echter vaak tot deterministische scores (bijv. binaire correctheid of enkelvoudige coherentie-metrieken), waardoor ze er niet in slagen de betrouwbaarheidsintervallen en de onzekerheid die inherent zijn aan menselijke en machinale beoordeling te vatten.

Methodologie
Het onderzoek maakte gebruik van de TOURSKAD dataset, een gespecialiseerde corpus van wetenschappelijke toerismeartikelen, om zes benaderingen voor modellering te evalueren en te vergelijken: Latent Semantic Indexing (LSI), Non-negative Matrix Factorization (NMF), Latent Dirichlet Allocation (LDA), Structural Topic Modeling (STM), Neural LDA en BERTopic.

De methodologie verliep via twee experimentele rondes:

• Ronde 1 (Baseline Vergelijking): Er werden 138 modellen gegenereerd over zes algoritmen met topic-aantallen ($K$) variërend van 10 tot 100. De modellen werden geëvalueerd op basis van computationele efficiëntie (trainingstijd), Normalized Pointwise Mutual Information (NPMI) voor intra-topic coherentie, en Topic Diversity (TD) voor inter-topic onderscheidbaarheid.
• Ronde 2 (Fine-tuning van de Beste Presteerder): BERTopic werd geselecteerd als de optimale baseline. De pipeline werd verbeterd door:
  • Custom Embedding: Het fine-tunen van een ModernBERT model (aangeduid als MoST-BERT) specifiek op de TOURSKAD dataset.
  • LLM Verfijning: Acht verschillende LLM's (waaronder Mixtral-8x7b, GPT-4o, Claude-3.5-Sonnet, etc.) werden getest om topic-labels en keywords te verfijnen. Elke LLM werd geëvalueerd over drie decoding temperaturen ($T=0.3, 1.0, 1.5$).
• Interpretabiliteitsbeoordeling: Een nieuw, onzekerheidsbewust framework werd geïntroduceerd met behulp van de Theory of Expertons en M-expertons.
  • Word-Intrusion Test: Een indirecte maatstaf waarbij beoordelaars (menselijke codeurs en 15 diverse LLM's) semantisch ongerelateerde "indringer"-woorden binnen topic-lijsten identificeerden. Precisie en Krippendorff's alpha werden gebruikt om betrouwbaarheid te meten.
  • Directe Fuzzy Appraisal: Evaluatoren leverden vertrouwensoordelen aan als quadruplets $(a_L, a_{C1}, a_{C2}, a_{U})$ die ondersteuningsintervallen en maximale presumptiezones vertegenwoordigen. Deze werden geaggregeerd naar M-expertons om onzekerheid te behouden.
  • Counter-Appraisement: Onafhankelijke panels van LLM's (Panel A, B en C) werden met elkaar vergeleken en tegen menselijke codeurs afgezet met behulp van expectation distance en Hamming distance metrieken om convergentie te valideren.

Belangrijkste Resultaten

• Modelprestaties: De LLM-versterkte BERTopic pipeline (specifiek met gebruik van MoST-BERT embeddings en Mixtral-8x7b voor verfijning) presteerde beter dan alle traditionele en neurale baselines. Het bereikte de sterkste gecombineerde prestatie in coherentie en diversiteit, met name bij $K=30$.
• Temperatuurgevoeligheid: Decoding temperatuur werd gevonden te een substantiële modelleringsparameter te zijn in plaats van een louter technische instelling. Mixtral-8x7b bij $T=1.0$ leverde de optimale balans tussen coherentie (NPMI=0.45) en diversiteit (0.83). Hoewel sommige modellen (bijv. Gemini-1.5-Pro) goed presteerden bij hogere temperaturen, nam de precisie in word-intrusion taken over het algemeen af naarmate de temperatuur toenam, hoewel dit per modelarchitectuur varieerde.
• Interpretabiliteitsmetrieken:
  • Word-Intrusion: Menselijke codeurs bereikten de hoogste precisie ($MP=0.892$). LLM-panels volgden nauwgezet ($MP \approx 0.820-0.831$), waarbij Gemma 4 31B en GPT-5.5 het beste presteerden onder de LLM's.
  • M-Expertons: Het M-experton framework slaagde erin oordelen te aggregeren terwijl onzekerheid behouden bleef. Menselijke codeurs vertoonden smallere support-breedtes (gemiddeld 0.193) vergeleken met LLM-panels (gemiddeld 0.259), wat aangeeft dat LLM's een grotere onnauwkeurigheid uitten in hun vertrouidsintervallen, met name in de buitenste support-bounds in plaats van de kern-presumptie.
  • Convergentie: M-experton beoordelingen vertoonden een hogere uitlijning met menselijke oordelen dan word-intrusion scores. Er werd echter divergentie waargenomen bij specifieke topics (bijv. "Emotional Intelligence", "Accessible Tourism"), waar de verwachtingen van LLM's meer afweken van menselijke benchmarks.

Kernbijdragen

1. Benchmarking van Hybride Pipelines: De studie levert empirisch bewijs dat een hybride pipeline (BERTopic voor clustering + LLM voor verfijning) standalone traditionele en neurale modellen overtreft in gespecialiseerde toerisme-corpora, en biedt een methodologisch traceerbaar alternatief voor pure LLM-extractie.
2. Herdefiniëring van Temperatuur: Het artikel vestigt decoding temperatuur als een kritieke hyperparameter die de kwaliteit van topic-representatie en interpretabiliteitsbeoordeling direct beïnvloedt, en dringt er bij onderzoekers op aan om het als een modelleringsvariabele te behandelen.
3. Onzekerheidsbewust Evaluatieframework: De studie introduceert de eerste toepassing van de Theory of Expertons (via M-expertons) op topic modeling. Dit framework maakt het mogelijk om menselijke en LLM-oordelen te aggregeren zonder de onzekerheid te laten instorten in een enkele deterministische score, wat een meer genuanceerde beoordeling van interpretabiliteit mogelijk maakt die rekening houdt met de subjectiviteit en het vertrouwen van de evaluator.

Betekenis
Het artikel stelt dat het voorgestelde framework bijzonder relevant is voor gespecialiseerde corpora waar topic-interpretatie gepaard gaat met semantische ambiguïteit en onzekere grenzen tussen thema's. Door interpretabiliteit te operationaliseren als een subjectieve en onzekere beoordeling, biedt de studie een robuustere evaluatiemethode voor gespecialiseerde domeinen zoals toerisme, waar standaard deterministische metrieken er mogelijk niet in slagen de complexiteit van menselijk begrip te vatten. De bevindingen suggereren dat hoewel LLM's menselijke interpretabiliteit kunnen benaderen, zij dit doen met verschillende onzekerheidsprofielen, wat evaluatiemethoden noodzakelijk maakt die expliciet rekening houden met deze verschillen.