🤖 machine learning

Unsupervised Anomaly Detection of Information Operations Users via Behavioral and Language Patterns

Dit artikel introduceert TENSOR, een nieuw ongesuperviseerd framework dat gebruikers van informatieoperaties detecteert door hun gecoördineerde temporele gedrag te modelleren via Temporal Point Processes en deze signalen te verfijnen met kwantitatieve scores afgeleid van Large Language Model-analyse van hun tekstuele inhoud, waardoor het bestaande methoden op real-world datasets overtreft.

Oorspronkelijke auteurs: Sishun Liu, Sajal Halder, Ke Deng, Yan Wang, Xiuzhen Zhang

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sishun Liu, Sajal Halder, Ke Deng, Yan Wang, Xiuzhen Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een enorm, bruisend dorpsplein waar miljoenen mensen met elkaar praten, nieuws delen en discussiëren over politiek. Meestal zijn de meeste mensen gewoon gewone mensen (laten we ze "Control Users" noemen) die hun leven leiden. Maar soms komt er een kleine, geheime groep actoren (genaamd "Information Operation" of "IO" gebruikers) het plein op. Ze zijn er niet om te kletsen; ze zijn er om het gesprek te manipuleren, leugens te verspreiden en onrust te stoken, vaak werkend samen als een goed gereputeerd koor.

Het probleem is dat deze manipulatoren erg goed zijn in het verbergen van hun identiteit. Ze proberen te lijken op normale mensen, maar ze hebben een geheim ritme en een specifieke manier van praten die hen verraadt.

De Oude Manieren om hen te Vinden (En Waarom Ze Faalden)

Voorheen probeerden detectives deze manipulatoren op twee manieren te vangen:

De "Zoek naar de Lijst" Methode (Supervised Learning): Ze trainden computers met een lijst van bekende slechte actoren. Maar zodra de slechte actoren hun tactieken veranderen (wat ze zeer snel doen), raakte de computer in de war en kon hij de nieuwe trucs niet meer herkennen.
De "Ze Bewegen Samen" Methode (Unsupervised Clustering): Ze gingen ervan uit dat slechte actoren altijd in perfect unison handelen, als een marsband. Als twee mensen precies hetzelfde postten op exact hetzelfde moment, werden ze gemarkeerd. Maar in werkelijkheid zijn slechte actoren slimmer dan dat; ze marcheren niet altijd in lockstep, waardoor deze methode velen van hen miste.

De Nieuwe Oplossing: TENSOR

De auteurs van dit artikel bouwten een nieuw detectietool genaamd TENSOR. Zie TENSOR als een beveiligingssysteem met twee delen dat tegelijkertijd naar twee dingen kijkt: wanneer mensen posten en wat ze zeggen.

Deel 1: De Ritme Wachter (Temporal Point Process)

Stel je een beveiligingsbeambte voor die het dorpsplein observeert en geobsedeerd is door de timing van de bewegingen van mensen.

Normale mensen posten op willekeurige tijden: misschien in de ochtend, misschien tijdens de lunch, misschien laat in de nacht. Hun ritme is rommelig en natuurlijk.
Slechte actoren hebben vaak een vreemd, gecoördineerd ritme. Ze kunnen te snel posten, of ze kunnen allemaal op exact hetzelfde moment posten omdat ze een script volgen.

TENSOR gebruikt een wiskundig hulpmiddel (een Temporal Point Process) om de "hartslag" van het plein te leren kennen. Het leert wat een normaal ritme is. Wanneer het een ritme ziet dat te perfect of te vreemd is, slaat het alarm.

De Catch: De beveiligingsbeambte heeft een probleem. De trainingsdata (de lijst van mensen die de bewaker heeft bestudeerd) is "gecontamineerd". Het is alsof je een bewaker probeert te leren hoe "normaal" eruitziet, maar de klas bevat ook een paar slechte actoren die doen alsof ze normaal zijn. De bewaker kan per ongelociek het vreemde ritme van de slechte actoren als "normaal" leren beschouwen.

Deel 2: De Taal Detective (De LLM)

Om de fout van de bewaker te herstellen, brengt TENSOR een tweede expert binnen: een Large Language Model (LLM). Denk aan dit als een superintelligente literair criticus die miljoenen boeken heeft gelezen en het verschil kent tussen een echte menselijke stem en een robotachtig script.

De LLM leest de werkelijke woorden die mensen posten. Het kijkt niet alleen naar de timing; het kijkt naar de stijl.

Praat deze persoon over hun kat, hun baan en politiek? (Waarschijnlijk een Control User).
Praat deze persoon alleen over één specifiek politiek onderwerp, gebruikt vreemde, repetitieve zinnen en negeert de rest van de wereld? (Waarschijnlijk een IO User).

Alles Samenbrengen: De "Evidence Function"

Dit is de magische saus. TENSOR laat de twee experts niet simpelweg stemmen; het gebruikt een speciale formule (de Evidence Function) om hun meningen te combineren.

De Ritme Wachter zegt: "De timing van deze persoon is verdacht."
De Taal Detective zegt: "De woorden van deze persoon klinken als een script."
De Evidence Function neemt de mening van de Taal Detective en gebruikt deze om de Ritme Wachter te corrigeren.

Als de Ritme Wachter in de war was omdat hij leerde van slechte actoren in de trainingsdata, stapt de Taal Detective in en zegt: "Wacht, kijk naar de woorden. Dit is absoluut een slechte actor, zelfs als de timing een beetje normaal leek." Dit stelt TENSOR in staat om de slechte actoren te ontdekken, zelfs wanneer de trainingsdata "vervuild" was.

Wat Ze Vonden

De onderzoekers testten TENSOR op echte wereldgegevens uit vijf verschillende landen (Egypte, China, Iran, Rusland en de VAE). Ze vergeleken het met andere methoden en vonden:

TENSOR was de beste: Het ving meer slechte actoren en maakte minder fouten dan de oude methoden.
Beide delen zijn nodig: Als ze de "Taal Detective" (de LLM) of de "Ritme Wachter" (de timinganalyse) zouden verwijderen, werd het systeem veel slechter. Het heeft zowel de wanneer als de wat nodig om te werken.
Het werkt met verschillende breinen: Ze testten TENSOR met verschillende AI-modellen (zoals verschillende soorten "Taal Detectives") en het werkte goed met bijna alle modellen.

De Kernboodschap

TENSOR is een nieuwe manier om internetmanipulatoren te vinden zonder dat er een vooraf gemaakte lijst van wie zij zijn nodig is. Het werkt door op te merken dat slechte actoren een vreemde "dans" (timing) en een valse "stem" (taal) hebben. Door een AI te gebruiken om de stem te controleren en de dansanalyse te corrigeren, kan het de manipulatoren opsporen, zelfs wanneer ze proberen op te gaan in de menigte.

Technische Samenvatting: TENSOR voor Ongecontroleerde Detectie van IO-gebruikers

Probleemdefinitie

Het artikel behandelt de uitdaging van het detecteren van Informatie-Operatie (IO) gebruikers op Sociale Netwerken (SN's). IO's zijn gecoördineerde pogingen om de publieke opinie te manipuleren door middel van desinformatie en haatzaaiende taal, vaak geïnitieerd door kleine groepen gecoördineerde gebruikers. De primaire moeilijkheid ligt in het generalisatievermogen van bestaande detectiemethoden:

Supervisie- en semi-supervisie-benaderingen vertrouwen op gelabelde datasets die achterlopen op de snel evoluerende aard van IO-campagnes, waardoor ze ineffectief zijn tegen ongeziene IO's.
Bestaande ongecontroleerde benaderingen vertrouwen vaak op overgesimplificeerde aannames van coördinatie (bijv. clustering op basis van gelijkenis) die in de praktijk mogelijk niet standhouden of complexe temporele dynamiek niet kunnen vastleggen.
Datacontaminatie: Een kritisch probleem is dat trainingsdata voor anomaliedetectie vaak "gecontamineerd" is, wat betekent dat de dataset die bedoeld is om "normale" (controle) gebruikers te vertegenwoordigen, onvermijdelijk een klein deel van de IO-gebruikers bevat. Het trainen van modellen op dergelijke data kan ertoe leiden dat het model anomalieën als normaal beschouwt, wat de prestaties verslechtert.

De auteurs formuleren IO-gebruikersdetectie als een ongecontroleerd anomaliedetectieprobleem, met als doel IO-gebruikers (gelabeld 0) te onderscheiden van controlegebruikers (gelabeld 1) met behulp van enkel hun tijdlijnen van berichten, die bestaan uit tijdstempels ( $t$ ) en inhoud ( $c$ ).

Methodologie: TENSOR

De voorgestelde oplossing is Temporal-bEhavior-laNguage Signals for information Operation Recognition (TENSOR). Het is een multimodale, ongecontroleerde framework die gedragspatronen (temporeel) en taalpatronen (tekstueel) combineert om anomalieën te detecteren. De architectuur bestaat uit twee kerncomponenten die worden geïntegreerd via een aanpassingsframework:

1. Temporal Point Process (TPP) voor Gedragspatronen

Functie: De TPP modelleert de tijdlijn van de gebruiker als een stochastisch proces. Het legt de conditionele intensiteitsfunctie $\lambda^*(t)$ vast, die de waarschijnlijkheid van een gebeurtenis op tijdstip $t$ weergeeft, gegeven de historie.
Training: Een TPP-model (specifiek de Self-attentive Hawkes Process, SAHP) wordt getraind op de gecontamineerde dataset $T$ (bevat zowel controle- als IO-gebruikers).
Mechanisme: IO-gebruikers vertonen vaak gecoördineerd gedrag (bijv. posten met specifieke intervallen of het overspoelen met content) dat verschilt van organische gebruikers. De TPP berekent een score op basis van de negatieve log-likelihood van de geobserveerde tijdstempels: $f(x_i) = \exp(-\frac{1}{M_i} \log p(t_i))$ .
Beperking: Omdat de trainingsdata gecontamineerd is, kan het TPP-model de IO-patronen leren als onderdeel van de "normale" distributie, wat het vermogen om anomalieën te onderscheiden vermindert.

2. Large Language Model (LLM) voor Taalpatronen

Functie: Een LLM wordt gebruikt om de tekstuele inhoud van gebruikersberichten ( $c_i$ ) naast de tijdlijn te analyseren om een "bewijs"-score te genereren.
Prompting: De LLM wordt geprompt met een zero-shot systeeminstructie om te fungeren als een sociale media-analist, waarbij onderscheid wordt gemaakt tussen "IO-accounts" (gecoördineerd, door de staat gesponsord) en "Controle-accounts" (organisch).
Bewijsfunctie: De ruwe tekstoutput van de LLM wordt omgezet in een kwantitatieve score $T(t_i, c_i)$ met behulp van een semantische gelijkenis-mappingstrategie. De output wordt vergeleken met referentieteksten ("IO-account" versus "Controle-account") om een waarschijnlijkheidsverdeling te genereren. Om robuustheid tegen LLM-niet-determinisme te garanderen, worden $N$ monsters getrokken en gemiddeld om $\bar{T}_N(t_i, c_i)$ te produceren.

3. Evidence-based Post-Hoc Adjustment (EPHAD)

Om het probleem van trainingsset-contaminatie aan te pakken, integreert TENSOR de TPP- en LLM-componenten via het Evidence-based Post-Hoc Adjustment Framework for Anomaly Detection (EPHAD).

In plaats van de TPP opnieuw te trainen, past het framework de TPP-output aan de hand van de door de LLM afgeleide bewijslast tijdens de testfase aan.
De definitieve beslissingsscore wordt berekend door de TPP-score exponentieel te kantelen met de LLM-bewijslast:
$\hat{f}(x) = f(x) \exp(\bar{T}_N(t_i, c_i) / \beta)$
waarbij $\beta$ een temperatuurparameter is.
Dit stelt het systeem in staat om de LLM-begrip van taalpatronen te gebruiken om de biases te corrigeren die door de gecontamineerde trainingsdata in de TPP zijn geïntroduceerd.

Belangrijkste Bijdragen

Nieuwe Formulering: Het artikel kadert IO-gebruikersdetectie als een ongecontroleerd anomaliedetectieprobleem, waarmee het de beperkingen van gesuperviseerde methoden die behoefte hebben aan achterlopende gelabelde data, omzeilt.
Multimodale Integratie: TENSOR is de eerste benadering die gezamenlijk temporele gedragspatronen (via TPP) en taalpatronen (via LLM) inzet voor ongecontroleerde IO-detectie.
Mitigatie van Datacontaminatie: Het artikel introduceert een nieuwe toepassing van het EPHAD-framework voor de specifieke domein van IO-detectie. Het mitigeert effectief de prestatieverslechtering veroorzaakt door het trainen op gecontamineerde datasets (waar IO-gebruikers aanwezig zijn in de trainingsset) door een LLM-gebaseerde bewijsfunctie te gebruiken om de TPP-inferentie aan te passen.
Zero-Shot Capaciteit: De methode vereist geen gelabelde IO-data voor het trainen van de LLM-component, maar vertrouwt in plaats daarvan op zero-shot prompting en semantische gelijkenis.

Experimentele Resultaten

De auteurs evalueerden TENSOR op vijf real-world IO-datasets (Egypte, China_1, Iran_1, Rusland_1, VAE) die 26 gelabelde IO's over 15 landen beslaan. De datasets zijn sterk ongebalanceerd (weinig IO-gebruikers, veel controlegebruikers).

Prestaties: TENSOR presteerde beter dan drie baselines — User Embedding Clustering, Behavioral Languages for Online Characterization (BLOC, en een pure LLM-gebaseerde zero-shot detector — over de meeste metrieken (Precisie, Recall, F1, AUC en AUPRC).
Ablatiestudies:
- Het verwijderen van de LLM-bewijsfunctie verminderde de prestaties aanzienlijk, wat de noodzaak van taalpatronen bevestigt.
- Het verwijderen van de TPP (alleen LLM gebruiken) resulteerde in slechte prestaties, wat bevestigt dat temporele dynamiek cruciaal is.
- Het gebruik van een willekeurige bewijsfunctie presteerde slechter dan de standaard TPP, wat bewijst dat de LLM een echt signaal levert.
Gevoeligheidsanalyse:
- Keuze van LLM: TENSOR bleef stabiel en effectief over verschillende LLM's (inclusclusief reasoning modellen zoals gpt-oss-120B en non-reasoning modellen zoals llama3.3-70B), hoewel grotere reasoning modellen over het algemeen iets betere resultaten boden.
- Temperatuur ( $\beta$ ): De prestaties waren gevoelig voor de temperatuurparameter $\beta$ . Hoewel de standaard $\beta=0.5$ effectief was, merkten de auteurs op dat optimale waarden per dataset variëren (vaak rond de 0.3), wat wijst op potentieel voor toekomstige ongecontroleerde optimalisatie van deze hyperparameter.

Betekenis en Claims

Het artikel claimt dat TENSOR een veerkrachtig alternatief biedt voor traditionele gesuperviseerde modellen door de focus te verleggen naar de inherente frictie tussen gecoördineerde IO-campagnes en organische gebruikersgedragingen. De primaire betekenis ligt in:

Overbruggen van de Generalisatiekloof: Door ongecontroleerd te zijn, kan het nieuwe, ongeziene IO's detecteren zonder dat er hertraining op nieuwe gelabelde datasets nodig is.
Oplossen van het Contaminatieprobleem: Het biedt een praktisch mechanisme om anomaliedetectoren te trainen op real-world data (die onvermijdelijk gecontamineerd is) zonder dat het model de anomalieën als normaal leert.
Praktische Bruikbaarheid: De benadering is "training-vrij" met betrekking tot de LLM (gebruikmakend van bevroren gewichten) en vertrouwt op één enkele TPP-trainingsstap, wat het aanpasbaar maakt aan diverse bestaande TPP- en LLM-architecturen.

De auteurs concluderen dat hoewel ongecontroleerde optimalisatie van de temperatuurparameter $\beta$ een toekomstige richting blijft, TENSOR momenteel een nieuwe state-of-the-art baseline vestigt voor ongecontroleerde IO-gebruikersdetectie in real-world, ongebalanceerde scenario's.