💬 NLP

POLAR:A Per-User Association Test in Embedding Space

Het paper introduceert POLAR, een methode die auteursrepresentaties in de embedding-ruimte projecteert om per-gebruiker associaties met specifieke woordgroepen te kwantificeren en zo onderscheid te maken tussen bots en menselijke accounts of veranderingen in ideologische uitlijning aan te tonen.

Oorspronkelijke auteurs: Pedro Bento, Arthur Buzelin, Arthur Chagas, Yan Aquino, Victoria Estanislau, Samira Malaquias, Pedro Robles Dutenhefner, Gisele L. Pappa, Virgilio Almeida, Wagner MeiraJr

Gepubliceerd 2026-03-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Pedro Bento, Arthur Buzelin, Arthur Chagas, Yan Aquino, Victoria Estanislau, Samira Malaquias, Pedro Robles Dutenhefner, Gisele L. Pappa, Virgilio Almeida, Wagner MeiraJr

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek binnenstapt, gevuld met miljoenen boeken die door verschillende mensen zijn geschreven. De meeste methoden om te kijken of er vooroordelen of specifieke stijlen in die boeken zitten, kijken naar de woorden zelf. Ze vragen: "Is het woord 'immigrant' vaak gekoppeld aan het woord 'misdaad' in deze hele bibliotheek?"

Het probleem is dat dit je niets vertelt over de schrijvers. Misschien schrijft één persoon heel veel haatdragende teksten, terwijl de rest van de bibliotheek juist heel vriendelijk is. Als je alles samenvoegt tot één gemiddelde, verdwijnt dat ene probleem uit beeld. Het is alsof je de gemiddelde temperatuur van een kamer meet: als één persoon in een ijswaterbad zit en de rest in een sauna, is de gemiddelde temperatuur "aangenaam", maar dat zegt niets over de koude persoon.

POLAR is een nieuwe manier om naar deze bibliotheek te kijken, maar dan gericht op de schrijvers zelf.

Hoe werkt POLAR? (De Analogie)

Stel je voor dat elke schrijver in de bibliotheek een geheime, onzichtbare badge draagt.

De Badge (De Token): De onderzoekers geven elke schrijver een unieke, wiskundige "badge" (een digitaal token). Dit is geen naam, maar een soort vingerafdruk die alleen voor die persoon bestaat.
De Leraar (Het Model): Ze nemen een slimme computer (een taalmodel) en leren hem een beetje: "Kijk niet alleen naar de woorden in de tekst, maar let ook op die badge." De computer leert zo dat de badge van persoon A een bepaalde "stijl" of "houding" vertegenwoordigt, en de badge van persoon B iets anders.
De Meetlat (De As): Nu hebben ze een meetlat met twee kanten. Bijvoorbeeld: aan de ene kant staan woorden die typisch zijn voor een robot (zoals "als een AI...") en aan de andere kant menselijke woorden (zoals "ik denk dat...").
De Test: Ze leggen de badge van een schrijver op die meetlat. De computer kijkt: "Kijkt deze badge meer naar de robot-kant of de mens-kant?"

Het resultaat is een score. Geen "ja/nee", maar een getal dat zegt: "Deze persoon is 80% op de menselijke kant, maar deze andere persoon zit 90% op de robot-kant."

Wat hebben ze ontdekt?

De onderzoekers hebben POLAR getest op twee heel verschillende plekken:

1. De Twitter-test (Bots vs. Mensen)
Ze keken naar Twitter-accounts. Sommige accounts werden bestuurd door slimme robots (LLM's), andere door echte mensen.

Het resultaat: POLAR kon de robots en mensen perfect uit elkaar halen, zonder dat ze ooit wisten wie wie was. De robots hadden een heel duidelijk "robot-gevoel" in hun taalgebruik (ze gebruikten vaak zinnen als "laat me dit uitleggen" of "ik verontschuldig me"), terwijl mensen meer "lol", "ik vind" en spreektaal gebruikten.
De les: Je kunt zien wie een robot is door simpelweg te kijken naar de "stijl" van hun taal, zelfs zonder hun naam te kennen.

2. Het Haat-forum (Stormfront)
Ze keken naar een forum waar mensen racistische en haatdragende ideeën uitwisselden.

Het resultaat: Hier zagen ze iets heel engs maar fascinerends. Ze zagen dat sommige gebruikers, naarmate ze langer op het forum schreven, hun "badge" steeds dichter naar de kant van haatdragende woorden bewogen.
De les: Het is alsof je ziet hoe iemand langzaam in een donker huisje loopt. Je ziet niet alleen dat ze daar zijn, maar je kunt ook zien hoe ze langzaam steeds donkerder worden. Dit heet "radicalisatie". POLAR kan dit proces in kaart brengen, woord voor woord, post voor post.

Waarom is dit belangrijk?

Vroeger zagen we alleen de "gemiddelde" wereld. POLAR laat ons zien dat de wereld uit individuele verhalen bestaat.

Het helpt om te zien of een groep mensen echt allemaal hetzelfde denkt, of dat er een kleine groep is die extreem is, terwijl de rest neutraal is.
Het is een waarschuwingssysteem. Als iemand langzaam begint te schuiven naar haatdragende taal, kun je dat zien voordat het te laat is.
Het is eerlijk: het kijkt niet naar wie je bent (je naam, je foto), maar puur naar wat je zegt en hoe je het zegt.

Kortom: POLAR is een microscoop die niet naar de woorden kijkt, maar naar de schrijver achter de woorden. Het helpt ons te begrijpen of iemand een robot is, of dat iemand langzaam in een gevaarlijke richting aan het drijven is, puur op basis van hun taalgebruik.

Probleemstelling

Bestaande methoden voor het meten van intrinsieke associaties in taalmodellen (zoals WEAT en SEAT) opereren voornamelijk op woord-, zins- of corpusniveau. Deze aggregatie-methoden verdoezelen variatie op het niveau van individuele auteurs.

Ecologische valkuil: Het samenvoegen van gebruikers tot één corpusgemiddelde kan heterogeniteit binnen groepen verbergen en zelfs effecten die consistent aanwezig zijn op individueel niveau, maskeren of omkeren.
Gebrek aan methodologie: Er ontbreekt een methode die associatietests direct toepast op individuele gebruikersvectoren. Bestaande probes richten zich op gedeelde modelruimtes of vereisen specifieke classifiers, wat beperkend is voor computationele sociale wetenschappen die nuance en individuele trajecten willen analyseren.

Methodologie: POLAR

POLAR (Per-user On-axis Lexical Association Report) is een methode die associatietests uitvoert in de inbeddingsruimte (embedding space) van een licht aangepast Masked Language Model (MLM). Het proces verloopt in twee fasen:

Fase 1: Training en User Tokenisatie

Deterministische Tokens: Elke gebruiker $u$ wordt gemapt naar een privé, deterministische token $t_u$ (bijv. usr + SHA1-hash van de gebruikers-ID).
Token Toevoeging: Deze token wordt toegevoegd aan de vocabulaire van het tokenizer en aan het begin van elke post van de gebruiker geplaatst.
Lichte Adaptatie: Het MLM (standaard bert-base-uncased) wordt aangepast:
- De input-embeddingsmatrix wordt vergroot om de nieuwe user-tokens op te nemen.
- Tijdens training wordt de user-token vaker gemaskeerd dan andere tokens.
- Een extra aligneringsterm zorgt ervoor dat de vector van de user-token ( $E[t_u]$ ) naar het gemiddelde van de tekstvectoren van die gebruiker wordt getrokken.
- Het resultaat is een compacte, genormaliseerde vector $\hat{e}_u$ die de linguïstische context van de gebruiker samenvat.

Fase 2: Inferentie en Associatietest

Attribuutsets: Er worden twee verzamelingen van woorden/zinnen gedefinieerd: $A$ en $B$ (bijv. "slurs" vs. "neutrale termen").
Projectie: De gebruiker-vector $\hat{e}_u$ wordt geprojecteerd op de semantische assen gevormd door de gemiddelde embeddings van $A$ en $B$ .
Statistiek: De gestandaardiseerde effectgrootte $s(u; A, B)$ wordt berekend als het verschil in gemiddelde cosine-afstand tussen de gebruiker en set $A$ versus set $B$ , genormaliseerd door de variantie.
$s(u; A, B) = \frac{\text{mean}(d_A) - \text{mean}(d_B)}{\text{sd}(d_{all})}$
Significantie: Er wordt een Monte Carlo permutatietest uitgevoerd (met $M=2000$ herlabelingen) om een $p$ -waarde te genereren. De Benjamini-Hochberg-procedure wordt toegepast om de False Discovery Rate (FDR) te controleren over alle geteste gebruikers.

Belangrijkste Bijdragen

Per-User Associatietest: De eerste methode die associatietests direct toepast op individuele gebruikersvectoren in plaats van corpusgemiddelden.
Interpreteerbaarheid: Omdat gebruikers- en lexiconvectoren in dezelfde ruimte bestaan, zijn de resultaten direct interpreteerbaar qua richting (welke kant van het spectrum) en grootte (hoe sterk de alignering).
Label-vrij en Modulier: De methode vereist geen gelabelde trainingsdata voor de associatiemeting zelf en is modulair; nieuwe attribuutsets kunnen worden toegevoegd zonder het model opnieuw te trainen.
Open Source: Alle code is publiek beschikbaar gesteld.

Resultaten

De methode is getest op twee verschillende corpora:

1. Bot-Human Benchmark (fox8-23)

Doel: Het onderscheiden van door LLM's gegenereerde bots van organische menselijke accounts.
Resultaat: POLAR scheidt bots en mensen scherp zonder gebruik te maken van labels tijdens de training.
- Op de as "Scam/Finance vs. Daily Life" en "Newswire vs. Personal Experience" werden AUROC-waarden van >0.95 bereikt.
- Bots vertonen een sterke alignering met formele, instructieve of disclaimer-achtige taal, terwijl mensen meer neigen naar colloquiale taal.
- De methode levert diagnosegrafieken die visueel duidelijk maken waar de scheiding ligt.

2. Extremistisch Forum (Stormfront)

Doel: Het kwantificeren van ideologische alignering en radicalisering.
Resultaat:
- Gebruikers tonen een sterke, positieve alignering met lexicons van haatzaaiende termen (raciale, gender- en LGBTQ-scheldwoorden) vergeleken met neutrale tegenhangers.
- Radicalisatie: Door de cumulatieve scores over tijd te analyseren, wordt een "rechtsverschuiving" (rightward drift) waargenomen. Gebruikers die langer actief zijn, tonen een toenemende alignering met haatlexicons, wat dient als een interpreteerbaar vroege waarschuwingssignaal voor progressieve radicalisering.

Betekenis en Impact

Voor Computationele Sociale Wetenschappen: POLAR biedt een instrument om heterogeniteit binnen groepen te analyseren in plaats van alleen gemiddelden. Het kan onderscheid maken tussen gebruikers die consistent neutraal zijn en diegenen die actief haatzaaiend taalgebruik vertonen, zelfs als het corpusgemiddelde dit verbergt.
Diagnostisch Instrument: Het biedt statistisch onderbouwde, per-auteur diagnostiek voor het monitoren van toxiciteit, bias en radicalisering zonder dat er complexe classifiers nodig zijn.
Methodologische Doorbraak: Het overbrugt de kloof tussen user embeddings (vaak gebruikt voor personalisatie) en bias-metingen, en stelt onderzoekers in staat om "first-class" associatietests uit te voeren op individuele niveaus.

Beperkingen:
De methode vereist minimaal twee posts per gebruiker voor een stabiele vector. De keuze van de attribuutsets (woordenlijsten) kan de interpretatie beïnvloeden en vereist zorgvuldige validatie om onderzoekersbias te voorkomen. Generalisatie naar andere platforms en talen is nog toekomstwerk.