💬 NLP

When Annotators Disagree, Topology Explains: Mapper, a Topological Tool for Exploring Text Embedding Geometry and Ambiguity

Dit artikel toont aan dat Mapper, een hulpmiddel voor topologische data-analyse, inzicht geeft in hoe fijngefineerde taalkundige modellen inbeddingsruimtes herstructureren tot modulaire, hoogzuivere regio's die structurele zekerheid behouden zelfs wanneer menselijke annotatoren van mening verschillen, en zo een superieur diagnostisch kader biedt voor het begrijpen van modelambiguïteit in vergelijking met traditionele visualisatiemethoden zoals PCA of UMAP.

Oorspronkelijke auteurs: Nisrine Rair, Alban Goupil, Valeriu Vrabie, Emmanuel Chochoy

Gepubliceerd 2026-04-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nisrine Rair, Alban Goupil, Valeriu Vrabie, Emmanuel Chochoy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een gigantische, onzichtbare kamer voor die vol staat met duizenden mensen. Elke persoon staat voor een zin uit het internet. In deze kamer staan mensen die vergelijkbare dingen zeggen dicht bij elkaar, terwijl degenen die heel verschillende dingen zeggen ver uit elkaar staan. Zo "denken" computermodellen over taal: ze zetten woorden om in punten in een enorme, multidimensionale ruimte.

Sinds jaar en dag proberen wetenschappers deze kamer te begrijpen door er een 2D-foto van te maken (met behulp van hulpmiddelen zoals UMAP of PCA). Maar het artikel betoogt dat deze foto's vergelijkbaar zijn met het proberen te begrijpen van een 3D-sculptuur door naar zijn schaduw te kijken. Je verliest de diepte, de krommingen en de verborgen verbindingen.

Hier is wat dit artikel ontdekte met behulp van een nieuw hulpmiddel genaamd Mapper, dat fungeert als een 3D-topologische kaart in plaats van een platte foto.

Het Probleem: Als Mensen het Niet Met Elkaar Eens Kunnen Worden

De onderzoekers keken naar een dataset van tweets over gevoelige onderwerpen (zoals politiek of ras). Ze vroegen vijf verschillende mensen om elke tweet te labelen als "beledigend" of "niet beledigend".

De "Eenvoudige" Tweets (A++): Iedereen was het eens. (Bijvoorbeeld: "Ik haat je" is duidelijk beledigend).
De "Moeilijke" Tweets (A0): De mensen konden het niet eens worden. Sommigen zeiden dat het beledigend was, anderen zeiden van niet. Dit noemen we ambiguïteit.

Normaal gesproken nemen we aan dat als mensen het oneens zijn, het computermodel ook in de war zal raken. Maar de onderzoekers wilden zien wat het model daadwerkelijk deed in zijn "hersenen" wanneer het geconfronteerd werd met deze verwarrende tweets.

Het Hulpmiddel: Mapper (De "Punten Verbinden"-Kaart)

In plaats van de 3D-kamer plat te drukken tot een 2D-foto, gebruikten de auteurs Mapper.

De Analogie: Stel je voor dat je probeert een complex gassysteem in kaart te brengen.
- Oude Hulpmiddelen (UMAP/PCA): Je maakt een foto vanaf de ingang. Je ziet een grote bult steen. Je kunt niet zeggen of er aparte tunnels zijn of gewoon één grote grot.
- Mapper: Je schijnt het licht vanuit verschillende hoeken, snijdt de grot in overlappende lagen en verbindt vervolgens de punten waar de lagen elkaar overlappen. Je eindigt met een grafiek (een netwerk van knopen en lijnen) dat je precies laat zien hoe de tunnels met elkaar verbonden zijn, waar ze aftakken en waar ze doodlopen.

De Grote Ontdekking: Het Model "Dwingt" Orde Af

De onderzoekers vonden iets verrassends over hoe het model omgaat met de "moeilijke" tweets waar mensen het niet over eens waren.

Voor Training (De Rommelige Kamer): Toen het model de data voor het eerst kreeg, waren de "beledigende" en "niet-beledigende" mensen overal verspreid. De kaart leek op een rommelige wolk.
Na Training (De Georganiseerde Kamer): Zodra het model de taak had geleerd, maakte het niet gewoon twee nette stapels (één voor beledigend, één voor niet-beledigend). In plaats daarvan bouwde het modulaire buurten.
- Zelfs voor de verwarrende tweets waar mensen het niet over eens waren, groepeerde het model ze in specifieke, onderscheiden gebieden.
- De Schok: Binnen deze gebieden was het model extreem zeker. Het zou een groep verwarrende tweets bekijken en zeggen: "Hele buurt is 'Beledigend'!" met 98% zekerheid.

De Metafoor:
Stel je een groep toeristen voor die ruziën over of een schilderij "kunst" of "afval" is.

De Mensen: Ze zijn 50/50 verdeeld.
Het Model: Het loopt binnen, kijkt naar de hele groep en verklaart zelfverzekerd: "Deze hele groep is Kunst!" Het aarzelt niet. Het heeft een "zone" gecreëerd voor deze groep en hen een enkel label toegewezen, en negeert het feit dat de mensen binnen die zone nog steeds ruziën.

Wat Dit Betekent

Het artikel beweert dat het model niet zomaar "raadt" wanneer het in de war is. In plaats daarvan herorganiseert het de ruimte om zijn eigen soort van zin te maken.

Het creëert gladde, consistente gebieden waar het zich veilig voelt om een beslissing te nemen.
Het negeert het "ruis" van menselijke meningsverschillen en legt zijn eigen structuur op.
Dit verklaart waarom modellen oververzekerd kunnen zijn: ze kijken niet naar de individuele verwarring van de mensen; ze kijken naar de "buurt" waarin de data is ingedeeld, en die buurt heeft een duidelijk label.

Waarom Mapper Beter Is

De auteurs tonen aan dat als je de oude "foto"-hulpmiddelen (UMAP) gebruikt, je misschien denkt dat de beledigende tweets allemaal in één grote, nette cirkel zitten. Maar Mapper onthult dat ze eigenlijk in veel verschillende, niet-verbonden eilanden zitten die alleen verbonden zijn door dunne bruggen.

Oude Visie: "Alles is netjes gescheiden."
Mapper-Visie: "Het is een complex web van eilanden. Het model is zeker op elk eiland, maar de eilanden zijn zo verspreid dat een simpele foto dit verbergt."

Samenvatting

Het artikel betoogt dat wanneer mensen het oneens zijn over een label, het computermodel niet in de war raakt en gaat wiebelen. In plaats daarvan bouwt het een nieuwe kaart waarin het die verwarrende voorbeelden groepeert in specifieke zones en ze zelfverzekerd een enkel label toekent. Deze "topologische" visie (het kijken naar de vorm en verbindingen) onthult dat het model eigenlijk zeer gestructureerd is, zelfs wanneer de data rommelig is. Het is niet zo dat het model faalt om ambiguïteit te begrijpen; het heeft een manier gevonden om het op te lossen door zijn eigen consistente, zij het soms oververzekerde, realiteit te creëren.

1. Probleemstelling

Natural Language Processing (NLP)-modellen worden doorgaans geëvalueerd aan de hand van scalair metrieken (bijv. nauwkeurigheid, F1-score) die niet in staat zijn vast te leggen hoe modellen intern ambiguïteit representeren, met name in scenario's waarbij menselijke annotatoren het oneens zijn.

Het Gat: Hoewel eerdere werken ambiguïteit hebben gemodelleerd via zachte labels of betrouwbaarheidsschattingen op het output-niveau, is er beperkt inzicht in hoe ambiguïteitsgevallen structureel worden gecodeerd binnen de hoogdimensionale embedding-ruimte van fijngefineerde modellen.
Beperkingen van Huidige Hulpmiddelen: Standaard geometrische visualisatietools zoals PCA en UMAP vereenvoudigen hoogdimensionale structuren vaak te zeer. Ze vertrouwen op aannames over Euclidische afstand, wat complexe, niet-convexe en hiërarchische relaties (vaak voorkomend in hyperbolische embedding-ruimten) kan platdrukken, wat leidt tot misinterpretaties van beslissingsgrenzen en buurstructuur.

2. Methodologie

De auteurs stellen het gebruik voor van Mapper, een tool uit de Topologische Data-analyse (TDA), om de geometrie van tekst-embeddings te analyseren. In tegenstelling tot dimensiereductietechnieken die data projecteren naar een lagere dimensie, construeert Mapper een grafische samenvatting die connectiviteit en lokale structuur behoudt.

Dataset en Modellen

Dataset: MD-Offense, een dataset van 10.753 Engelse tweets geannoteerd door vijf menselijke annotatoren.
- Proxy voor Ambiguïteit: Instances worden gecategoriseerd op basis van akkoordniveaus: A++ (5/5 akkoord, niet-ambigu), A+ (4/5), en A0 (3/5, hoge ambiguïteit/oneensheid).
Model: RoBERTa-Large (geselecteerd vanwege zijn sterke prestaties over verschillende niveaus van ambiguïteit). Zowel de vooraf getrainde als de fijngefineerde versies werden geanalyseerd.
Embeddings: Geëxtraheerd uit het laatste [CLS]-token van de laatste verborgen laag.

Implementatie van het Mapper-algoritme

De auteurs hebben Mapper geïmplementeerd met de KeplerMapper-bibliotheek met de volgende configuratie:

Filtering (Lens-functie): Hoogdimensionale embeddings ( $d=1024$ $d = 1024$ ) werden geprojecteerd naar 1D-intervallen ( $k=1$ $k = 1$ ) met behulp van zes verschillende lensfuncties om verschillende geometrische eigenschappen vast te leggen:
- Centroid Projectie: Uitlijning met de beslissingsgrens.
- PCA: Globale variantie.
- Excentriciteit: Afstand van trainingsdata (detectie van uitschieters).
- L2 Norm: Activeringsgrootte.
- Willekeurige Projecties: Baselines.
Overdekking: De geprojecteerde ruimte werd bedekt met overlappende hyperkubussen (intervallen) met een resolutie van $r=40$ en een overlap van $\epsilon=0,3$ .
Clustering: Binnen elk interval werden datapunten geklusterd met HDBSCAN (Hierarchical Density-Based Spatial Clustering) om het opleggen van een vast aantal clusters te vermijden en om te gaan met variërende dichtheden.
Grafconstructie: Knopen stellen clusters voor; randen verbinden knopen als ze datapunten delen (door de overlappende overdekking).

Topologische Metrieken

Om de resultaten te kwantificeren, definieerden de auteurs drie metrieken:

Component Zuiverheid (CP): De gemiddelde zuiverheid van knopen binnen een samenhangend component (meet klasse-homogeniteit).
Rand Akkoord (EA): Het aandeel randen dat knopen met hetzelfde meerderheidsclasselabel verbindt (meet globale consistentie).
Meerderheids Match (MM): De uitlijning tussen het voorspelde meerderheidslabel van het model en het ground-truth meerderheidslabel op component-niveau.

3. Belangrijkste Bijdragen

Topologisch Perspectief op Ambiguïteit: Het artikel introduceert Mapper als een diagnostisch hulpmiddel om te visualiseren hoe fijngefineerde modellen embedding-ruimten herstructureren, waarbij blijkt dat modellen klassen niet simpelweg tot lineaire clusters laten instorten, maar ze organiseren in modulaire, niet-convexe regio's.
Ontdekking van "Structurele Zekerheid": De studie onthult een verborgen spanning: zelfs in sterk ambigu data (A0) waarbij menselijke annotatoren het oneens zijn, organiseert het model deze instances in zeer coherente, voorspellingszuivere topologische regio's. Het model vertoont "oververtrouwen" door een enkel label toe te kennen aan hele topologische componenten, ongeacht de onderliggende labelruis.
Superioriteit ten opzichte van Geometrische Tools: De auteurs tonen aan dat Mapper structurele details (gefragmenteerde regio's, ineenstorting van grenzen en verweven klassen) blootlegt die UMAP en PCA platdrukken of verbergen.

4. Belangrijkste Resultaten

Fijnfineren Herstructureert Topologie: Fijnfineren transformeert de embedding-ruimte van een gefragmenteerde staat (in het basismodel) naar een gestructureerde, modulaire topologie.
- Toename in Zuiverheid: Na fijnfineren vertonen >98% van de samenhangende componenten een voorspellingszuiverheid van $\ge90\%$ , zelfs in de ambiguïteitssubset A0.
- Randconsistentie: Rand Akkoord (EA) neemt aanzienlijk toe na fijnfineren, wat wijst op soepelere overgangen tussen naburige clusters.
Het "Oververtrouwen"-Fenomeen:
- In de subset A0 (hoge menselijke oneensheid) zijn de ground-truth labels binnen componenten ruisig (CP ~31,5%).
- Echter, de voorspellingen van het model binnen diezelfde componenten zijn bijna perfect zuiver (CP ~98,0%).
- Dit geeft aan dat het model ambiguïteit oplost door een grove topologische structuur op te leggen, waarbij ambiguïteitsgevallen worden gegroepeerd in regio's die overeenkomen met zijn binaire trainingsdoel, en zo effectief de nuance van menselijke oneensheid "negeert".
Robuustheid: Deze bevindingen gelden voor verschillende lensfuncties (1D en 2D) en verschillende modelarchitecturen (BERT, DeBERTa, DistilBERT, enz.), wat suggereert dat dit een fundamenteel gedrag is van fijngefineerde transformers.

5. Betekenis en Implicaties

Diagnostisch Hulpmiddel: Mapper biedt een krachtige methode om te begrijpen hoe modellen ambiguïteit oplossen, en gaat voorbij aan scalair metrieken om de interne geometrie van beslissingsregio's te onthullen.
Uitdagen van Aannames: De resultaten daag de aanname uit dat modellen falen op ambiguïteitsdata door willekeurig te gokken. In plaats daarvan vertonen modellen systematisch, regionaal gedrag, waarbij ze generaliseren door complexe substructuren uit te hakken die mogelijk niet overeenkomen met menselijk consensus.
Toekomstige Richtingen: De auteurs suggereren dat deze topologische inzichten proactieve modelleringstrategieën kunnen informeren, zoals:
- Het selecteren van subsets voor training op basis van topologische zuiverheid.
- Het ontwerpen van fijnfineringsregimes die rekening houden met topologische onzekerheid.
- Het ontwikkelen van robuustheidsevaluaties specifiek voor ambiguïteitsregio's.
Reproduceerbaarheid: Alle code en configuraties zijn open-source, wat verder onderzoek naar topologische NLP-analyse faciliteert.

Concluderend stelt het artikel dat topologie de geometrie van ambiguïteit verklaart: fijngefineerde modellen leren niet alleen te classificeren; ze reorganiseren de embedding-ruimte in modulaire, hoge-zekerheidsregio's die vaak de onzekerheid die aanwezig is in menselijke annotaties overstijgen.