💬 NLP

ValueGraph: Value-Signal Guided Graph Pre-training for Contextualized User Representation

Het artikel stelt ValueGraph voor, een graph pre-training framework dat geïnferreerde morele waarden-signalen gebruikt als soft constraints om gecontextualiseerde gebruikersrepresentaties te verbeteren, waarbij consistente prestatieverbeteringen wordt aangetoond bij stance detection en bot detection taken ten opzichte van bestaande tekstgebaseerde, graph-gebaseerde en LLM-baselines.

Oorspronkelijke auteurs: Yitong Han, Wei Gao, Yi Zhao, Prasanta Bhattacharya, Fengzhu Zeng, Mohammad Amanlou

Gepubliceerd 2026-09-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yitong Han, Wei Gao, Yi Zhao, Prasanta Bhattacharya, Fengzhu Zeng, Mohammad Amanlou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het uitgestrekte, luidruchtige landschap van sociale media is het begrijpen van waarom mensen doen wat ze doen een centrale uitdaging voor iedereen die probe het online leven te duiden. Jarenlang hebben informaticus geprobeerd digitale profielen van gebruikers op te bouwen door te kijken naar wat ze zeggen en met wie ze praten. Als twee mensen vergelijkbare woorden plaatsen of op dezelfde discussiedraden reageren, gaan traditionele systemen ervan uit dat ze hetzelfde zijn. Deze benadering mist echter vaak een cruciale laag van menselijk gedrag: de onderliggende morele waarden die die interacties aansturen. Mensen kunnen een controversieel nieuwsbericht om totaal verschillende redenen benaderen—de een uit oprechte bezorgdheid, een ander uit woede, en een derde uit een verlangen om verwarring te zaaien. Deze verborgen motivaties vormen hoe gebruikers zich gedragen, maar standaard computermodellen behandelen deze vaak als onzichtbaar. Om een gebruiker echt te begrijpen, hebben onderzoekers een manier nodig om niet alleen de oppervlakte van hun activiteit te vangen, maar ook het morele kompas dat het stuurt.

Een team onderzoekers van de Singapore Management University en A*STAR heeft een nieuwe methode ontwikkeld genaamd ValueGraph om dit probleem op te lossen. In plaats van te proberen de ware innerlijke overtuigingen van een persoon te raden, wat onmogelijk met zekerheid te weten is, gebruikt het systeem een instrument om een "waardesignaal" af te leiden uit hun publieke berichten. Dit signaal is gebaseerd op een bekend psychologisch kader genaamd Moral Foundations Theory, die moreel redeneren onderverdeelt in tien afzonderlijke dimensies, zoals zorg, rechtvaardigheid, loyaliteit en autoriteit. De onderzoekers trainden een computerprogramma om duizenden sociale mediaberichten te lezen en elk bericht een score toe te kennen op basis van deze tien morele thema's. Door deze scores over alle berichten van een enkele gebruiker te middelen, creëert het systeem een ruw, tienpuntig profiel van de morele inkadering van die gebruiker. De onderzoekers benadrukken er voorzichtig bij dat dit geen perfecte psychologische diagnose is; het is een ruisend, geaggregeerd signaal dat de algemene smaak van de morele taal van een gebruiker vangt, in plaats van diens exacte ziel.

De kerninnovatie van ValueGraph ligt in de manier waarop het deze afgeleide signalen gebruikt om een computer te leren verschillende soorten gebruikers te herkennen. Het systeem werkt in twee hoofdfasen. Eerst bouwt het een kaart van hoe mensen interageren, waarbij elke post en reactie wordt behandeld als een verbinding in een gigantisch web. Het leert de structuur van deze gesprekken en de betekenis van de tekst daarin te begrijpen, waardoor het een basis digitale vingerafdruk voor elke gebruiker creëert. In de tweede stap brengt het de morele waardesignalen in. Het systeem kijkt naar de afgeleide morele profielen van verschillende gebruikers en groepeert die met vergelijkbare waardesignalen samen, terwijl het die met zeer verschillende signalen uit elkaar duwt. Dit doet het door de morele signalen te behandelen als een reeks zachte regels of milde duwtjes tijdens het leerproces, in plaats van als absolute feiten. Dit stelt de computer in staat om een representatie van een gebruiker te leren die combineert wat ze zeggen, met wie ze praten en de morele toon van hun expressie.

De onderzoekers testten deze nieuwe benadering op twee moeilijke taken: het bepalen van het standpunt van een gebruiker over een politiek vraagstuk en het detecteren of een gebruiker een bot is, oftewel een geautomatiseerd account dat ontworene is om een mens na te bootsen. In de eerste test moest het systeem uitzoeken of een gebruiker een specifiek onderwerp steunde, tegenhield of neutraal tegenover stond. In de tweede test moest het onderscheid maken tussen echte mensen en geautomatiseerde bots. De resultaten lieten zien dat ValueGraph consequent beter presteerde dan bestaande methoden. Bij de taak van standpuntdetectie behaalde het een nauwkeurigheid van 63 procent op één dataset en 77 procent op een andere, waarmee het sterke concurrenten die alleen op tekst of alleen op netwerkstructuur vertrouwden, versloeg. Voor de botdetectietaken verbeterde het systeem het vermogen om geautomatiseerde accounts op te sporen, met name wanneer het werd gecombineerd met andere gegevens. In één specifieke configuratie verbeterde het vermogen van het systeem om bots correct te identificeren aanzienlijk, waarbij de "recall"-ratio—het vermogen om bots te vinden wanneer ze aanwezig zijn—sprong van 62,5 procent naar 81,0 procent bij het gebruik van de nieuwe methode.

Wat deze resultaten bijzonder interessant maakt, is dat het systeem niet vooraf verteld hoeft te worden welke gebruikers bots zijn of welk standpunt correct is tijdens de initiële training. Het leert deze patronen door zelfstandig de morele signalen en de structuur van de gesprekken te observeren. De onderzoekers ontdekten dat het systeem het beste werkte wanneer het de structurele leerprocessen combineerde met de morele waarde-begeleiding. Als zij de morele signalen verwijderden, daalde de prestatie van het systeem. Als zij alleen de morele signalen gebruikten zonder de gesprekstructuur, slaagde het ook niet in het bereiken van hetzelfde nauwkeurigheidsniveau. Dit suggereert dat het morele waardesignaal fungeert als een nuttige gids, die de computer helpt patronen te zien die onzichtbaar zijn wanneer men alleen naar tekst of verbindingen kijkt. Bijvoorbeeld, bij het visualiseren van de data zagen de onderzoekers dat de nieuwe methode een veel duidelijkere scheiding creëerde tussen menselijke gebruikers en bots dan eerdere methoden deden. De bots hadden de neiging om samen te klonteren met repetitieve, gepolariseerde morele taal, terwijl mensen meer gevarieerde en contextgevoelige expressies lieten zien.

Het team benadrukt dat hun methode niet beweert de ware psychologische waarden van een gebruiker te kennen. De morele scores zijn afgeleid van tekst en worden behandeld als imperfecte, ruisende gegevens. Het systeem gebruikt deze imperfecties als een leermiddel, waarbij het de relatieve verschillen tussen gebruikers vindt in plaats van te proberen een absolute waarheid vast te stellen. Deze benadering vermijdt de valkuilen van het labelen van mensen met definitieve psychologische profielen, wat ethisch problematisch en technisch onbetrouwbaar kan zijn. In plaats daarvan gebruikt het de morele inkadering van hun publieke discours als een praktisch hulpmiddel om betere, meer genuanceerde digitale representaties op te bou

Technische Samenvatting: ValueGraph

Probleemdefinitie
Bestaande methoden voor gebruikersrepresentatie in sociale media-analyse vertrouwen primair op observeerbaar gedrag, zoals tekstuele inhoud, visuele media of netwerkinteractiestructuren. Deze benaderingen gaan er vaak van uit dat gebruikers met vergelijkbare interactiepatronen of blootstelling aan content ook vergelijkbare onderliggende motivaties delen. De auteurs stellen echter dat deze oppervlakkige gelijkenis broos is; gebruikers kunnen deelnemen aan dezelfde gebeurtenissen vanwege gedeelde blootstelling of controverse, terwijl ze fundamenteel verschillende attitudes en waarden koesteren. Deze beperking kan leiden tot schijnverbanden in downstream-taken (bijv. aanbevelingssystemen die polarisatie versterken), omdat conventionele modellen er niet in slagen de latente morele en waarde-gerelateerde factoren te vatten die het gebruikersgedrag aansturen. Bovendien integreren bestaande graph pre-training methoden zelden waarde-signalen of motivationele dimensies als expliciete inductieve biases.

Methodologie: ValueGraph Framework
Het artikel stelt ValueGraph voor, een graph pre-training framework ontworpen om gecontextualiseerde gebruikersrepresentaties te leren door automatisch afgeleide morele-waardesignalen te integreren als ruisgevoelige hulp-supervisie. Het framework werkt op post-reply grafen en verloopt in twee stadia:

Stadium 1: Foundation GNN Pre-training
- Input: Een geconstrueerde post-reply graaf waarbij knopen posts vertegenwoordigen en randen reply-interacties vertegenwoordigen.
- Encoding: Posts worden gecodeerd met behulp van ModernBERT om ruisgevoelige sociale media-tekst te verwerken.
- Doelstelling: Het model ondergaat ongecontroleerde pre-training met behulp van een masked autoencoding paradigma (gebaseerd op GraphMAE2). Node-features worden gemaskeerd en het model reconstrueert deze. Deze fase leert ruisbestendige semantische en structurele representaties van posts, die vervolgens worden geaggregeerd tot initiële gebruikersembeddings.
Stadium 2: Waarde-gestuurde Pre-training
- Afleiding van Waarde-signalen: Het framework maakt gebruik van MoralBERT (een gefinetuned taalmodel gebaseerd op Moral Foundations Theory) om morele waardescores voor elke post af te leiden over 10 dimensies (bijv. zorg, schade, rechtvaardigheid, loyaliteit). Deze post-niveau scores worden geaggregeerd om een 10-dimensionale waarde-signaalvector voor elke gebruiker te creëren. Cruciaal is dat deze vectoren worden behandeld als ruisgevoelige hulp-signalen in plaats van gouden standaard psychologische labels.
- Constructie van Contrastieve Paren: Gebruikers worden gekoppeld op basis van de gelijkenis van hun afgeleide waardevectoren. Een symmetrische percentiel-gebaseerde strategie definieert positieve paren (hoge waardegelijkenis) en negatieve paren (lage waardegelijkenis).
- Hiërarchische Doelstelling: Het framework optimaliseert gebruikersembeddings met behruik van een combinatie van twee verliesfuncties:
  - Gebruikersniveau Contrastieve Loss ( $\mathcal{L}_{user}$ ): Een InfoNCE loss die embeddings van gebruikers met vergelijkbare waardeprofielen naar elkaar toe trekt en dissimilar gebruikers van elkaar wegduwt.
  - Clustering Loss ( $\mathcal{L}_{cls}$ ): Een globale regularisator die periodiek K-means clustering uitvoert op gebruikersembeddings. Dit bevat een compactheidsterm (die gebruikers aanmoedigt dicht bij hun cluster-centroid te blijven) en een marge-term (die scheiding tussen verschillende cluster-centroids afdwingt).
- Totale Loss: De uiteindelijke doelstelling is een gewogen som: $\mathcal{L} = \mathcal{L}_{user} + \lambda \mathcal{L}_{cls}$ . Dit ontwerp zorgt ervoor dat het model representaties leert die zowel lokale pairwise waarde-consistentie als globale structurele coherentie bevredigen, wat fungeert als wederzijdse regularisatoren om ruis te filteren.

Belangrijkste Bijdragen

ValueGraph Framework: Een nieuwe graph pre-training benadering die afgeleide morele-waardesignalen gebruikt als ruisgevoelige hulp-supervisie om het leren van gecontextualiseerde gebruikersrepresentaties te verbeteren.
Hiërarchisch Doelstellingontwerp: Een trainingsstrategie die masked graph autoencoding combineert met waarde-gestuurde contrastieve leerprocessen en clustering om gezamenlijk semantische, structurele en waarde-relevante informatie te vatten.
Mechanisme-niveau Analyse: Theoretische karakterisering die aantoont hoe de doelstellingen de gelijkenis in waarde-signalen behouden en compacte, gescheiden gebruikersgroepen in de embedding-ruimte bevorderen.
Empirische Validatie: Uitgebreide experimenten die aantonen dat ValueGraph sterke baselines overtreft in downstream-taken zonder dat daarvoor expliciete waarde-labels nodig zijn voor de downstream-taken zelf.

Experimentele Resultaten
De auteurs evalueerden ValueGraph op twee downstream-taken: Stance Detection (houdingdetectie) en Twitter Bot Detection (botdetectie).

Stance Detection: Geëvalueerd op de MT_CSD en RumourEval19 benchmarks.
- ValueGraph behaalde 63% nauwkeurigheid en 58% macro-F1 op MT_CSD, waarmee het de sterkste pre-trained baseline (GraphMAE2) versloeg met 5% in nauwkeurigheid en 5,5% in macro-F1.
- Op RumourEval19 behaalde het 77% nauwkeurigheid en 71% macro-F1, wat een relatieve verbetering van 20,3% in macro-F1 betekent ten opzichte van de beste PLM-baseline (ModernBERT) en een verbetering van 57,8% ten opzichte van de beste graph-gebaseerde baseline (GTN).
- De prestaties waren consistent over graph-gebaseerde, tekst-gebaseerde en LLM-baselines (inclusief GPT-5.4).
Twitter Bot Detection: Geëvalueerd op de TwiBot-22 dataset met behulp van diverse baseline architecturen (RoBERTa, BotGCN, BotGAT, BotRGCN).
- Het vervangen van baseline tekst- of graph-embeddings door ValueGraph-embeddings verbeterde de prestaties consequent.
- Bijvoorbeeld, in een tekst-alleen setting met RoBERTa steeg de macro-F1 van 54,8% naar 64,3%, en de recall verbeterde van 62,5% naar 81,0%.
- In multimodale settings (Tekst + Netwerk + Features) leverden ValueGraph-embeddings nog steeds statistisch significante winsten op, met name in macro-F1 en de Matthews Correlation Coefficient (MCC), wat suggereert dat de waarde-signalen complementaire aanwijzingen bieden voor het onderscheiden van bots van mensen.
Ablatie-studies: Het verwijderen van ofwel de contrastieve loss ( $\mathcal{L}_{user}$ ) of de clustering loss ( $\mathcal{L}_{cls}$ ) resulteerde in inconsistente prestaties, waarbij de nauwkeurigheid vaak verbeterde ten koste van de macro-F1. Het volledige model, dat beide integreert, leverde de beste resultaten op, wat de noodzaak van het dual-objective ontwerp valideert.
Visualisatie: t-SNE visualisaties toonden aan dat ValueGraph-embeddings een duidelijkere scheiding produceerden tussen bot- en menselijke gebruikers vergeleken met standaard tekst-gebaseerde of standaard graph-gebaseerde encoders.

Betekenis en Claims
Het artikel claimt dat waarde-signaalsturing dient als een nuttige inductieve bias voor sociaal geïnformeerde gebruikersmodellering. Door afgeleide morele waarden te behandelen als zachte restricties in plaats van de absolute waarheid, leert ValueGraph representaties die niet alleen vatten wat gebruikers zeggen of met wie zij interageren, maar ook de onderliggende waarde-gestuurde tendensen van hun gedrag.

De auteurs benadrukken dat hun aanpak niet probeert de "ware" psychologische waarden van gebruikers te voorspellen. In plaats daarvan gebruiken zij door theorie geïnformeerde (Moral Foundations Theory), automatisch afgeleide signalen om het representatie-leerproces te reguleren. De resultaten suggerigken dat zelfs ruisgevoelige, geaggregeerde waarde-signalen de robuustheid en generaliseerbaarheid van gebruikersembeddings aanzienlijk kunnen verbeteren voor taken zoals houdingsdetectie en bot-identificatie, waarmee de broosheid wordt aangepakt van modellen die enkel vertrouwen op interactiegelijkenis.

Technische Samenvatting: ValueGraph

Meer zoals dit