Do LLM Embedding Spaces Recover Expert Structure?

Technische Samenvatting: Herstellen LLM-embeddingruimtes de expertstructuur?

Probleemstelling
Pretrainde tekst-embeddings worden steeds vaker gebruikt als representatieve kaarten waarbij de geometrische afstanden tussen teksten worden vergeleken met onafhankelijk gespecificeerde conceptuele structuren. Echter, een hoge categorische scheidbaarheid (bijv. het vermogen om gemeenschappen te classificeren) impliceert niet noodzakelijkerwijs dat de embedding-geometrie fijnmazige, door experts gedefinieerde semantische relaties herstelt. Dit probleem is acuut in de taal van de geestelijke gezondheidszorg, waar categorieën symptoomoverlap en graduele grenzen vertonen, wat een externe expertreferentie biedt. Toch introduceren online gemeenschappen sterke niet-klinische verwarrende variabelen (confounds), zoals subreddit-specifieke jargon, stilistische normen en brede domeinsplitsingen (mentale gezondheid versus controle). Een model kan gemeenschappen succesvol clusteren op basis van deze grove distributionele signalen zonder de onderliggende symptoom-niveau relaties te coderen die de expertstructuur definiëren. Het onderzoek onderzoekt of LLM-embeddingruimtes de expert-gedefinieerde symptoomstructuur herstellen voorbij grove domeinscheiding, en hoe taakspecifieke supervisie en model-schaal deze geometrie beïnvloeden.

Methodologie
De studie maakt gebruik van een dataset van 28 Reddit-gemeenschappen (17 specifiek voor mentale gezondheid, 11 controle) over de periode 2018–2020. De auteurs vergelijken pretrainde en gesuperviseerde fine-tuned embeddingruimtes met behulp van twee model-schalen: Qwen3-Embedding-0.6B en Qwen3-Embedding-4B.

Het evaluatiekader hanteert drie complementaire analyses:

1. Representational Similarity Analysis (RSA): De auteurs construeren categorie-prototypes door document-embeddings te middelen. Ze genereren een Representational Dissimilarity Matrix (RDM) op basis van cosinus-afstanden tussen deze prototypes. Deze door het model afgeleide RDM wordt vergeleken met twee referentiematrices: een door experts afgeleide symptoommatrix (gebaseerd op Jaccard-afstanden van binaire symptoomprofielen) en een domein-controle matrix. RSA wordt berekend als de Spearman-rangcorrelatie tussen de bovenste driehoekige segmenten van deze matrices.
2. Prototype-gebaseerde typischheid en grens-analyse: Om de lokale structuur te onderzoeken, berekenen de auteurs de document-typischheid (afstand tot het categorie-prototype) en prototype-marges. Ze definiëren een "boundary alignment score" ($\Delta_{align}$) om te meten of resterende grens-ambiguïteit geconcentreerd is bij expert-naburige categorieparen (die een hoge symptoomoverlap hebben) versus niet-naburige paren.
3. Multi-Baseline Confound Controls: Om te waarborgen dat uitlijning niet wordt gedreven door niet-klinische signalen, controleren de auteurs voor vier baselines: Valence-Arousal-Dominance (VAD) affectieve scores, LIWC-linguïstische categorieën, lexicale stijlkenmerken en topic-distributiestructuren (via Embedded Topic Models).

Belangrijkste Resultaten

• Herstel van Expertstructuur: Pretrainde embeddings vertonen een meetbare uitlijning met de door experts gedefinieerde symptoomstructuur binnen de mentale gezondheid-subset, zelfs zonder supervisie. Deze uitlijning is significant sterker dan wat op basis van louter grove domeinscheiding verwacht zou worden.
• Impact van Supervisie: Gesuperviseerde fine-tuning versterkt de uitlijning met de expertstructuur, waarbij de meest significante winsten worden waargenomen op het fijnste categorieniveau (binnen de mentale gezondheid-subset). Fine-tuning vergroot niet enkel de globale scheidbaarheid; het herstructureert de geometrie om "off-structure" ambiguïteit te verminderen en concentreert de resterende onzekerheid bij expert-naburige paren.
• Effecten van Model-schaal: Grotere model-schalen (4B vs. 0.6B) verbeteren zowel de zero-shot uitlijning als de door supervisie geïnduceerde winsten. Het 4B-model bereikt hogere RSA-scores en vertoont een meer uitgesproken reductie in associaties met niet-klinische baselines.
• Robuustheid tegen Confounds: De geobserveerde uitlijning blijft bestaan na controle voor VAD, LIWC, lexicale stijl en topic-distributies. Hoewel content-rijke baselines (zoals topic-distributies) een deel van de uitlijning verklaren, blijft er een substantiële residuele uitlijning met de expertstructuur over, wat suggereert dat de geometrie meer vangt dan enkel discours of affectieve regelmatigheden.
• Lokale Organisatie: Fine-tuning vermindert diffuse grens-ambiguïteit. Topics die geassocieerd worden met grens-vervaging in zero-shot modellen (gedeelde affectieve narratieven) worden aangescherpt in fine-tuned modellen, die meer geconcentreerde, categorie-specifieke lexicale velden vertonen.

Betekenis en Claims
Het artikel betoogt dat LLM-embeddings de expert-relevante categorie-geometrie kunnen herstellen, maar dat dit herstel gedeeltelijk, niveau-afhankelijk en gevormd door supervisie en schaal is. De auteurs waarschuwen dat classificatieprestaties alleen onvoldoende zijn om semantische structuur af te leiden; expliciete controles voor confounds en niveau-gestratificeerde analyses zijn noodzakelijk.

Kernbijdragen zijn onder meer:

• Een op representatie-niveau gebaseerd framework dat RSA, prototype-gebaseerde typischheid en multi-baseline confound-controles combineert om te testen voor de recovery van expert-structuur voorbij domeinscheiding.
• Empirisch bewijs van een niveau-afhankelijk patroon waarbij pretrainde modellen organisatie op symptoom-niveau coderen, en supervisie deze uitlijning het meest effectief versterkt op de fijnste granulariteit.
• Een demonstratie dat grotere schalen en supervisie gezamenlijk de associaties met niet-klinische baselines verminderen, wat resulteert in een meer categorie-specifieke geometrie.

Beperkingen
De auteurs merken expliciet op dat hun expert-referentie een gestructureerde benchmark is voor vergelijking op categorieniveau, en geen klinische diagnostische ontologie die in staat is om individuele ernst of comorbiditeit te vatten. De bevindingen ondersteunen een beperkte claim: pretrainde embeddings bevatten betekenisvolle maar incomplete organisatorische signalen, die door supervisie worden versterkt. De studie is beperkt tot een specifieke modelfamilie en dataset; de generaliseerbaarheid naar andere architecturen en minder gemeenschap-specifieke taalbronnen blijft een open vraag. Bovendien zijn topic-gebaseerde analyses eerder interpretatief dan causaal.