🤖 machine learning

Unsupervised Anomaly Detection of Information Operations Users via Behavioral and Language Patterns

Dieses Paper stellt TENSOR vor, ein neuartiges unüberwachtes Framework, das Nutzer von Informationsoperationen durch die Modellierung ihrer koordinierten zeitlichen Verhaltensweisen mittels Temporal Point Processes erkennt und diese Signale durch quantitative Scores verfeinert, die aus der Analyse ihrer Textinhalte durch Large Language Models abgeleitet werden, wodurch es bestehende Methoden auf realen Datensätzen übertrifft.

Ursprüngliche Autoren: Sishun Liu, Sajal Halder, Ke Deng, Yan Wang, Xiuzhen Zhang

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sishun Liu, Sajal Halder, Ke Deng, Yan Wang, Xiuzhen Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich das Internet als einen riesigen, belebten Marktplatz vor, auf dem Millionen von Menschen chatten, Nachrichten teilen und über Politik streiten. Normalerweise sind die meisten Leute einfach ganz normale Bürger (nennen wir sie „Control Users“), die ihr Leben leben. Aber manchmal taucht eine kleine, geheime Gruppe von Akteuren (genannt „Information Operation“ oder „IO-User“) auf dem Platz auf. Sie sind nicht da, um zu chatten; sie sind da, um das Gespräch zu manipulieren, Lügen zu verbreiten und Unruhe zu stiften, oft arbeiten sie zusammen wie ein gut einstudiertes Ensemble.

Das Problem ist, dass diese Manipulatoren sehr gut darin sind, sich zu verstecken. Sie versuchen, wie normale Menschen auszusehen, aber sie haben einen geheimen Rhythmus und eine spezifische Art zu sprechen, die sie verrät.

Die alten Wege, sie zu finden (und warum sie scheiterten)

Früher versuchten Detektive, diese Manipulatoren auf zwei Arten zu fangen:

Die „Suche nach der Liste“-Methode (Überwachtes Lernen): Sie trainierten Computer mit einer Liste bekannter böswilliger Akteure. Doch sobald die böswilligen Akteure ihre Taktiken änderten (was sie sehr schnell tun), wurde der Computer verwirrt und konnte die neuen Tricks nicht mehr erkennen.
Die „Sie bewegen sich gemeinsam“-Methode (Unüberwachtes Clustering): Sie gingen davon aus, dass böswillige Akteure immer in perfektem Einklang handeln, wie eine Marschkapelle. Wenn zwei Personen exakt dasselbe zur exakt gleichen Zeit posteten, wurden sie markiert. In der Realität sind böswillige Akteure jedoch klüger als das; sie marschieren nicht immer im Gleichschritt, daher übersah diese Methode viele von ihnen.

Die neue Lösung: TENSOR

Die Autoren dieser Arbeit haben ein neues Detektivwerkzeug namens TENSOR entwickelt. Betrachten Sie TENSOR als ein zweiteiliges Sicherheitssystem, das zwei Dinge gleichzeitig beobachtet: wann Menschen posten und was sie sagen.

Teil 1: Der Rhythmus-Beobachter (Temporal Point Process)

Stellen Sie sich einen Sicherheitswachmann vor, der den Marktplatz bewacht und besessen davon ist, den Zeitpunkt der Bewegungen der Menschen zu beobachten.

Normale Menschen posten zu zufälligen Zeiten: vielleicht am Morgen, vielleicht in der Mittagspause, vielleicht spät in der Nacht. Ihr Rhythmus ist chaotisch und natürlich.
Böswillige Akteure haben oft einen seltsamen, koordinierten Rhythmus. Sie posten vielleicht zu schnell oder sie posten alle zur exakt gleichen Sekunde, weil sie einem Skript folgen.

TENSOR nutzt ein mathematisches Werkzeug (einen sogenannten Temporal Point Process), um den „Herzschlag“ des Marktplatzes zu lernen. Es lernt, wie ein normaler Rhythmus aussieht. Wenn es einen Rhythmus sieht, der zu perfekt oder zu seltsam ist, schlägt es Alarm.

Der Haken: Der Sicherheitswachmann hat ein Problem. Die Trainingsdaten (die Liste der Menschen, die der Wachmann studiert hat) sind „kontaminiert“. Es ist, als würde man versuchen, einem Wachmann beizubringen, was „normal“ aussieht, aber die Klasse enthält auch einige böswillige Akteure, die so tun, als wären sie normal. Der Wachmann könnte versehentlich den seltsamen Rhythmus der böswilligen Akteure als „normal“ erlernen.

Teil 2: Der Sprach-Detektiv (Das LLM)

Um den Fehler des Wachmanns zu korrigieren, bringt TENSOR einen zweiten Experten hinzu: ein Large Language Model (LLM). Betrachten Sie dies als einen superintelligenten Literaturkritiker, der Millionen von Büchern gelesen hat und den Unterschied zwischen einer echten menschlichen Stimme und einem roboterhaften Skript kennt.

Das LLM liest die tatsächlichen Worte, die die Menschen posten. Es achtet nicht nur auf den Zeitpunkt; es achtet auf den Stil.

Spricht diese Person über ihre Katze, ihren Job und Politik? (Wahrscheinlich ein Control User).
Spricht diese Person nur über ein bestimmtes politisches Thema, verwendet seltsame, repetitive Phrasen und ignoriert alles andere? (Wahrscheinlich ein IO-User).

Das Zusammenführen: Die „Evidenzfunktion“

Dies ist die Geheimzutat. TENSOR lässt die beiden Experten nicht einfach nur abstimmen; es verwendet eine spezielle Formel (eine sogenannte Evidence Function), um ihre Meinungen zu kombinieren.

Der Rhythmus-Beobachter sagt: „Dieser Zeitplan ist verdächtig.“
Der Sprach-Detektiv sagt: „Diese Worte klingen wie ein Skript.“
Die Evidenzfunktion nimmt die Meinung des Sprach-Detektivs und nutzt sie, um den Rhythmus-Beobachter zu korrigieren.

Wenn der Rhythmus-Beobachter verwirrt war, weil er aus den Trainingsdaten der böswilligen Akteure gelernt hat, springt der Sprach-Detektiv ein und sagt: „Warte, schau auf die Worte. Das ist definitiv ein böswilliger Akteur, selbst wenn der Zeitplan etwas normal aussah.“ Dies ermöglicht es TENSOR, die böswilligen Akteure zu entdecken, selbst wenn die Trainingsdaten „schmutzig“ waren.

Was sie herausgefunden haben

Die Forscher testeten TENSOR mit realen Daten aus fünf verschiedenen Ländern (Ägypten, China, Iran, Russland und die VAE). Sie verglichen es mit anderen Methoden und fanden heraus:

TENSOR war der Beste: Es entlarvte mehr böswillige Akteure und machte weniger Fehler als die alten Methoden.
Beide Teile sind notwendig: Wenn sie den „Sprach-Detektiv“ (das LLM) oder den „Rhythmus-Beobachter“ (die Zeitanalyse) entfernt hätten, wäre das System viel schlechter geworden. Es benötigt sowohl das Wann als auch das Was, um zu funktionieren.
Es funktioniert mit verschiedenen Gehirnen: Sie testeten TENSOR mit verschiedenen KI-Modellen (wie verschiedenen Arten von „Sprach-Detektiven“), und es funktionierte mit fast allen sehr gut.

Das Fazament

TENSOR ist eine neue Art, Internet-Manipulatoren zu finden, ohne eine vorgefertigte Liste zu benötigen, wer sie sind. Es funktioniert, indem es bemerkt, dass böswillige Akteure einen seltsamen „Tanz“ (Timing) und eine falsche „Stimme“ (Sprache) haben. Indem eine KI die Stimme überprüft und die Analyse des Tanzes korrigiert, kann sie die Manipulatoren aufspüren, selbst wenn sie versuchen, sich unter die Menge zu mischen.

Technisches Resümee: TENSOR zur unüberwachten Erkennung von IO-Nutzern

Problemdefinition

Die Arbeit befasst sich mit der Herausforderung, Informationsoperationen (IO)-Nutzer in sozialen Netzwerken (SNs) zu erkennen. IOs sind organisierte Versuche, die öffentliche Meinung durch Desinformation und Hassrede zu manipulieren, die oft von kleinen Gruppen koordinierter Nutzer initiiert werden. Die primäre Schwierigkeit liegt in der Generalisierungsfähigkeit bestehender Erkennungsmethoden:

Überwachte und halbüberwachte Ansätze verlassen sich auf gelabelte Datensätze, die der sich schnell entwickelnden Natur von IO-Kampagnen hinterherhinken, was sie gegenüber ungesehenen IOs unwirksam macht.
Bestehende unüberwachte Ansätze beruhen oft auf vereinfachten Annahmen über Koordination (z. B. Clustering basierend auf Ähnlichkeit), die in der Praxis möglicherweise nicht haltbar sind oder komplexe zeitliche Dynamiken nicht erfassen können.
Datenkontamination: Ein kritisches Problem ist, dass Trainingsdaten für die Anomalieerkennung oft „kontaminiert“ sind, was bedeutet, dass der Datensatz, der als „normal“ (Kontrollgruppe) dienen soll, zwangsläufig einen kleinen Anteil an IO-Nutzern enthält. Das Trainieren von Modellen auf solchen Daten kann dazu führen, dass das Modell Anomalien als normal betrachtet, was die Leistung verschlechtert.

Die Autoren formulieren die Erkennung von IO-Nutzern als ein unüberwachtes Anomalieerkennungsproblem mit dem Ziel, IO-Nutzer (Label 0) von Kontrollnutzern (Label 1) unter Verwendung ausschließlich ihrer Post-Zeitlinien zu identifizieren, die aus Zeitstempeln ( $t$ ) und Inhalten ( $c$ ) bestehen.

Methodik: TENSOR

Die vorgeschlagene Lösung ist Temporal-bEhavior-laNguage Signals for information Operation Recognition (TENSOR). Es handelt sich um ein multimodales, unüberwachtes Framework, das Verhaltensmuster (temporal) und Sprachmuster (textuell) kombiniert, um Anomalien zu erkennen. Die Architektur besteht aus zwei Kernkomponenten, die über ein Anpassungsframework integriert sind:

1. Temporal Point Process (TPP) für Verhaltensmuster

Funktion: Der TPP modelliert die Posting-Timeline des Nutzers als stochastischen Prozess. Er erfasst die bedingte Intensitätsfunktion $\lambda^*(t)$ , welche die Wahrscheinlichkeit eines Ereignisses zum Zeitpunkt $t$ unter Berücksichtigung der Historie darstellt.
Training: Ein TPP-Modell (speziell der Self-attentive Hawkes Process, SAHP) wird auf dem kontaminierten Datensatz $T$ (der sowohl Kontroll- als auch IO-Nutzer enthält) trainiert.
Mechanismus: IO-Nutzer zeigen oft koordinierte Verhaltensweisen (z. B. Postings in spezifischen Intervallen oder das Fluten mit Inhalten), die sich von organischen Nutzern unterscheiden. Der TPP berechnet einen Score basierend auf der negativen Log-Likelihood der beobachteten Zeitstempel: $f(x_i) = \exp(-\frac{1}{M_i} \log p(t_i))$ .
Limitierung: Da die Trainingsdaten kontaminiert sind, kann das TPP-Modell die IO-Muster als Teil der „normalen“ Verteilung erlernen, was seine Fähigkeit zur Unterscheidung von Anomalien verringert.

2. Large Language Model (LLM) für Sprachmuster

Funktion: Ein LLM wird verwendet, um die textuellen Inhalte der Nutzer-Posts ( $c_i$ ) zusammen mit der Timeline zu analysieren, um einen „Evidenz“-Score zu generieren.
Prompting: Das LLM wird mit einer Zero-Shot-Systemanweisung instruiert, als Social-Media-Analyst zu agieren, der zwischen „IO-Accounts“ (koordiniert, staatlich gesponsert) und „Kontroll-Accounts“ (organisch) unterscheidet.
Evidenzfunktion: Die rohe Textausgabe des LLM wird mittels einer semantischen Ähnlichkeitsmapping-Strategie in einen quantitativen Score $T(t_i, c_i)$ umgewandelt. Die Ausgabe wird gegen Referenztexte („IO-Account“ vs. „Kontroll-Account“) verglichen, um eine Wahrscheinlichkeitsverteilung zu erzeugen. Um die Robustheit gegenüber der Nicht-Deterministik des LLM zu gewährleisten, werden $N$ Stichproben gezogen und gemittelt, um $\bar{T}_N(t_i, c_i)$ zu erzeugen.

3. Evidence-based Post-Hoc Adjustment (EPHAD)

Um das Problem der Trainingsdatensatz-Kontamination anzugehen, integriert TENSOR die TPP- und LLM-Komponenten über das Evidence-based Post-Hoc Adjustment Framework for Anomaly Detection (EPHAD).

Anstatt das TPP neu zu trainieren, passt das Framework den TPP-Output zum Zeitpunkt der Testung mithilfe der vom LLM abgeleiteten Evidenz an.
Der endgültige Entscheidungs-Score wird berechnet, indem der TPP-Score exponentiell mit der LLM-Evidenz „gekippt“ wird:
$\hat{f}(x) = f(x) \exp(\bar{T}_N(t_i, c_i) / \beta)$
wobei $\beta$ ein Temperaturparameter ist.
Dies ermöglicht es dem System, die durch die kontaminierten Trainingsdaten verursachten Bias im TPP durch das Verständnis der Sprachmuster des LLM zu korrigieren.

Wichtigste Beiträge

Neuartige Formulierung: Die Arbeit rahmt die Erkennung von IO-Nutzern als unüberwachtes Anomalieerkennungsproblem ein und bewegt sich damit weg von den Einschränkungen überwachter Methoden, die verzögerte gelabelte Daten erfordern.
Multimodale Integration: TENSOR ist der erste Ansatz, der temporale Verhaltensmuster (via TPP) und Sprachmuster (via LLM) gemeinsam für die unüberwachte IO-Erkennung nutzt.
Minderung der Datenkontamination: Die Arbeit führt eine neuartige Anwendung des EPHAD-Frameworks auf die spezifische Domäne der IO-Erkennung ein. Sie mildert effektiv die Leistungsverschlechterung ab, die durch das Training auf kontaminierten Datensätzen (in denen IO-Nutzer vorhanden sind) entsteht, indem sie eine LLM-basierte Evidenzfunktion zur Anpassung der TPP-Inferenz nutzt.
Zero-Shot-Fähigkeit: Die Methode erfordert keine gelabelten IO-Daten für das Training der LLM-Komponente, sondern stützt sich statlich auf Zero-Shot-Prompting und semantische Ähnlichkeit.

Experimentelle Ergebnisse

Die Autoren evaluierten TENSOR anhand von fünf realen IO-Datensätzen (Ägypten, China_1, Iran_1, Russland_1, VAE), die 26 gelabelte IOs aus 15 Ländern abdecken. Die Datensätze sind stark imbalanciert (wenige IO-Nutzer, viele Kontrollnutzer).

Leistung: TENSOR übertraf drei Baselines – User Embedding Clustering, Behavioral Languages for Online Characterization (BLOC) und einen reinen LLM-basierten Zero-Shot-Detektor – in den meisten Metriken (Precision, Recall, F1, AUC und AUPRC).
Ablationsstudien:
- Das Entfernen der LLM-Evidenzfunktion reduzierte die Leistung signifikant, was die Notwendigkeit von Sprachmustern bestätigt.
- Das Entfernen des TPP (Verwendung nur des LLM) führte zu einer schlechten Leistung, was bestätigt, dass temporale Dynamiken entscheidend sind.
- Die Verwendung einer zufälligen Evidenzfunktion schnitt schlechter ab als der Standard-TPP, was beweist, dass das LLM ein echtes Signal liefert.
Sensitivitätsanalyse:
- LLM-Wahl: TENSOR blieb über verschiedene LLMs hinweg (einschließlich Reasoning-Modellen wie gpt-oss-120B und Non-Reasoning-Modellen wie llama3.3-70B) stabil und effektiv, wobei größere Reasoning-Modelle im Allgemeinen etwas bessere Ergebnisse lieferten.
- Temperatur ( $\beta$ ): Die Leistung war sensitiv gegenüber dem Temperaturparameter $\beta$ . Während der Standardwert $\beta=0.5$ effektiv war, merkten die Autoren an, dass optimale Werte je nach Datensatz variieren (oft um 0,3), was auf Potenzial für eine zukünftige unüberwachte Optimierung dieses Hyperparameters hindeutet.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass TENSOR eine resistente Alternative zu traditionellen überwachten Modellen bietet, indem sie den Fokus auf die inhärente Reibung zwischen koordinierten IO-Kampagnen und organischem Nutzerverhalten legt. Ihre primäre Bedeutung liegt in:

Überwindung der Generalisierungslücke: Durch den unüberwachten Charakter kann es neue, ungesehene IOs erkennen, ohne ein Retraining auf neuen gelabelten Datensätzen zu erfordern.
Lösung des Kontaminationsproblems: Es bietet einen praktischen Mechanismus, um Anomalie-Detektoren auf realen Daten (die zwangsläufig kontaminiert sind) zu trainieren, ohne dass das Modell die Anomalien als normal erlernt.
Praktikabilität: Der Ansatz ist hinsichtlich des LLM „training-frei“ (unter Verwendung von Frozen Weights) und basiert auf einem einzigen TPP-Trainingsschritt, was ihn an verschiedene bestehende TPP- und LLM-Architekturen anpassbar macht.

Die Autoren kommen zu dem Schluss, dass TENSOR – obwohl die unüberwachte Optimierung des Temperaturparameters $\beta$ eine zukünftige Forschungsrichtung bleibt – derzeit einen neuen State-of-the-Art-Baseline für die unüberwachte IO-Nutzererkennung in realen, imbalancierten Szenarien etabliert.