🤖 machine learning

Unsupervised Anomaly Detection of Information Operations Users via Behavioral and Language Patterns

Cet article présente TENSOR, un nouveau cadre non supervisé qui détecte les utilisateurs d'opérations d'information en modélisant leurs comportements temporels coordonnés via des processus ponctuels temporels et en affinant ces signaux avec des scores quantitatifs dérivés de l'analyse de leur contenu textuel par un grand modèle de langage, surpassant ainsi les méthodes existantes sur des jeux de données réels.

Auteurs originaux : Sishun Liu, Sajal Halder, Ke Deng, Yan Wang, Xiuzhen Zhang

Publié 2026-07-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sishun Liu, Sajal Halder, Ke Deng, Yan Wang, Xiuzhen Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une place de village immense et animée où des millions de personnes discutent, partagent des nouvelles et se disputent sur la politique. Habituellement, la plupart des gens sont des citoyens ordinaires (appelons-les « Utilisateurs de Contrôle ») qui vivent leur vie. Mais parfois, un petit groupe d'acteurs secrets (appelés utilisateurs d'« Opérations d'Information » ou « IO ») entre dans la place. Ils ne sont pas là pour discuter ; ils sont là pour manipuler la conversation, répandre des mensonges et semer le trouble, travaillant souvent ensemble comme une chorale bien orchestrée.

Le problème est que ces manipulateurs sont très doués pour se cacher. Ils essaient de ressembler à des gens normaux, mais ils ont un rythme secret et une façon spécifique de parler qui les trahit.

Les anciennes méthodes pour les trouver (et pourquoi elles ont échoué)

Auparavant, les détectives essayaient de capturer ces manipulateurs de deux manières :

La méthode « Chercher sur une liste » (Apprentissage supervisé) : Ils entraînaient des ordinateurs en utilisant une liste de mauvais acteurs connus. Mais dès que les mauvais acteurs changeaient de tactiques (ce qu'ils font très rapidement), l'ordinateur devenait confus et ne parvenait plus à repérer les nouveaux tours.
La méthode « Ils bougent ensemble » (Regroupement non supervisé) : Ils supposaient que les mauvais acteurs agissaient toujours en parfaite unité, comme une fanfare. Si deux personnes publiaaient exactement la même chose au même moment précis, elles étaient signalées. Mais en réalité, les mauvais acteurs sont plus intelligents que cela ; ils ne marchent pas toujours au pas, donc cette méthode en manquait beaucoup.

La nouvelle solution : TENSOR

Les auteurs de cet article ont construit un nouvel outil de détection appelé TENSOR. Voyez TENSOR comme un système de sécurité en deux parties qui observe simultanément deux choses : quand les gens publient et ce qu'ils disent.

Partie 1 : Le surveillant du rythme (Processus de point temporel)

Imaginez un garde de sécurité surveillant la place du village qui est obsédé par le moment des mouvements des gens.

Les gens normaux publient à des moments aléatoires : peut-être le matin, peut-être au déjeuner, peut-être tard le soir. Leur rythme est désordonné et naturel.
Les mauvais acteurs ont souvent un rythme étrange et coordonné. Ils peuvent publier trop vite, ou ils peuvent tous publier à la seconde exacte car ils suivent un script.

TENSOR utilise un outil mathématique (appelé Processus de point temporel) pour apprendre le « battement de cœur » de la place. Il apprend à quoi ressemble un rythme normal. Lorsqu'il voit un rythme trop parfait ou trop étrange, il déclenche une alarme.

Le piège : Le garde de sécurité a un problème. Les données d'entraînement (la liste des gens qu'il a étudiés) sont « contaminées ». C'est comme essayer d'apprendre à un garde ce qu'est la « normalité », mais la classe comprend quelques mauvais acteurs qui prétendent être normaux. Le garde pourrait accidentellement apprendre le rythme étrange des mauvais acteurs comme étant la « normalité ».

Partie 2 : Le détective du langage (L'LLM)

Pour corriger l'erreur du garde, TENSOR fait appel à un second expert : un Modèle de Langage de Grande Taille (LLM). Voyez cela comme un critique littéraire super intelligent qui a lu des millions de livres et connaît la différence entre une voix humaine authentique et un script robotique.

L'LLM lit les mots réels que les gens publient. Il ne regarde pas seulement le timing ; il regarde le style.

Est-ce que cette personne parle de son chat, de son travail et de politique ? (Probablement un Utilisateur de Contrôle).
Est-ce que cette personne ne parle que d'un sujet politique spécifique, en utilisant des phrases étranges et répétitives, et ignore tout le reste ? (Probablement un Utilisateur d'IO).

Mettre tout cela ensemble : La « Fonction d'Évidence »

C'est la recette magique. TENSOR ne se contente pas de laisser les deux experts voter ; il utilise une formule spéciale (appelée Fonction d'Évidence) pour combiner leurs opinions.

Le Surveillant du Rythme dit : « Le timing de cette personne est suspect. »
Le Détective du Langage dit : « Les mots de cette personne ressemblent à un script. »
La Fonction d'Évidence prend l'opinion du Détective du Langage et l'utilise pour corriger le Surveillant du Rythme.

Si le Surveillant du Rythme était confus parce qu'il a appris à partir de mauvais acteurs dans les données d'entraînement, le Détective du Langage intervient et dit : « Attendez, regardez les mots. C'est définitivement un mauvais acteur, même si le timing semblait un peu normal. » Cela permet à TENSOR de repérer les mauvais acteurs même lorsque les données d'entraînement étaient « sales ».

Ce qu'ils ont trouvé

Les chercheurs ont testé TENSOR sur des données réelles provenant de cinq pays différents (Égypte, Chine, Iran, Russie et Émirats arabes unis). Ils ont comparé TENSOR aux autres méthodes et ont constaté que :

TENSOR était le meilleur : Il a attrapé plus de mauvais acteurs et a fait moins d'erreurs que les anciennes méthodes.
Les deux parties sont nécessaires : S'ils retiraient le « Détective du Langage » (l'LLM) ou le « Surveillant du Rythme » (l'analyse du timing), le système devenait beaucoup moins performant. Il a besoin à la fois du quand et du quoi pour fonctionner.
Il fonctionne avec différents cerveaux : Ils ont testé TENSOR avec différents modèles d'IA (comme différents types de « Détectives du Langage »), et il a bien fonctionné avec presque tous.

L'essentiel à retenir

TENSOR est une nouvelle façon de trouver les manipulateurs sur Internet sans avoir besoin d'une liste préétablie de qui ils sont. Il fonctionne en remarquant que les mauvais acteurs ont une « danse » bizarre (le timing) et une « voix » fausse (le langage). En utilisant une IA pour vérifier la voix et corriger l'analyse de la danse, il peut repérer les manipulateurs même lorsqu'ils essaient de se fondre dans la foule.

Résumé Technique : TENSOR pour la détection non supervisée d'utilisateurs d'Opérations d'Information (IO)

Définition du Problème

L'article traite du défi de la détection des utilisateurs d'Opérations d'Information (IO) sur les réseaux sociaux (SN). Les IO sont des tentatives organisées de manipulation de l'opinion publique par la désinformation et les discours de haine, souvent initiées par de petits groupes d'utilisateurs coordonnés. La difficulté principale réside dans la capacité de généralisation des méthodes de détection existantes :

Les approches supervisées et semi-supervisées dépendent de jeux de données étiquetés qui accusent un retard sur la nature évolutive rapide des campagnes d'IO, ce qui les rend inefficaces contre les IO inédites.
Les approches non supervisées existantes reposent souvent sur des hypothèses de coordination simplistes (par exemple, le regroupement par similitude) qui peuvent ne pas se vérifier en pratique ou échouer à capturer des dynamiques temporelles complexes.
Contamination des données : Un problème critique est que les données d'entraînement pour la détection d'anomalies sont souvent « contaminées », ce qui signifie que le jeu de données destiné à représenter les utilisateurs « normaux » (contrôle) contient inévitablement une petite fraction d'utilisateurs d'IO. L'entraînement de modèles sur de telles données peut amener le modèle à traiter les anomalies comme normales, dégradant ainsi les performances.

Les auteurs formulent la détection d'utilisateurs d'IO comme un problème de détection d'anomalies non supervisé, visant à identifier les utilisateurs d'IO (étiquette 0) parmi les utilisateurs de contrôle (étiquette 1) en utilisant uniquement leurs chronologies de publications, composées de marqueurs temporels ( $t$ ) et de contenu ( $c$ ).

Méthodologie : TENSOR

La solution proposée est TENSOR (Temporal-bEhavior-laNguage Signals for information Operation Recognition). Il s'agit d'un cadre multimodal et non supervisé qui combine des schémas comportementaux (temporels) et des schémas linguistiques (textuels) pour détecter les anomalies. L'architecture se compose de deux composants de base intégrés via un cadre d'ajustement :

1. Processus Ponctuel Temporel (TPP) pour les schémas comportementaux

Fonction : Le TPP modélise la chronologie de publication de l'utilisateur comme un processus stochastique. Il capture la fonction d'intensité conditionnelle $\lambda^*(t)$ , représentant la probabilité qu'un événement se produise à l'instant $t$ étant donné l'historique.
Entraînement : Un modèle TPP (spécifiquement le processus de Hawkes auto-attentif, SAHP) est entraîné sur le jeu de données contaminé $T$ (contenant à la fois des utilisateurs de contrôle et des utilisateurs d'IO).
Mécanisme : Les utilisateurs d'IO présentent souvent des comportements coordonnés (par exemple, publier à des intervalles spécifiques ou inonder de contenu) qui diffèrent des utilisateurs organiques. Le TPI calcule un score basé sur la log-vraisemblance négative des horodatages observés : $f(x_i) = \exp(-\frac{1}{M_i} \log p(t_i))$ .
Limitation : Parce que les données d'entraînement sont contaminées, le modèle TPP peut apprendre les schémas d'IO comme faisant partie de la distribution « normale », réduisant sa capacité à distinguer les anomalies.

2. Grand Modèle de Langage (LLM) pour les schémas linguistiques

Fonction : Un LLM est utilisé pour analyser le contenu textuel des publications de l'utilisateur ( $c_i$ ) aux côtés de la chronologie afin de générer un score de « preuve ».
Prompting : Le LLM est sollicité avec une instruction système en zero-shot pour agir comme un analyste de médias sociaux, distinguant les « comptes d'IO » (comptes coordonnés, parrainés par un État) des « comptes de contrôle » (organiques).
Fonction de preuve : La sortie textuelle brute du LLM est convertie en un score quantitatif $T(t_i, c_i)$ via une stratégie de mise en correspondance de similitude sémantique. La sortie est comparée à des textes de référence (« compte d'IO » vs « compte de contrôle ») pour générer une distribution de probabilité. Pour garantir la robustesse face au non-déterminisme du LLM, $N$ échantillons sont tirés et moyennés pour produire $\bar{T}_N(t_i, c_i)$ .

3. Ajustement Post-Hoc basé sur l'Évidence (EPHAD)

Pour traiter le problème de la contamination du jeu d'entraînement, TENSOR intègre les composants TPP et LLM via le cadre EPHAD (Evidence-based Post-Hoc Adjustment Framework for Anomaly Detection).

Au lieu de réentraîner le TPP, le cadre ajuste la sortie du TPP au moment du test en utilisant l'évidence dérivée du LLM.
Le score de décision final est calculé en penchant exponentiellement le score du TPP avec l'évidence du LLM :
$\hat{f}(x) = f(x) \exp(\bar{T}_N(t_i, c_i) / \beta)$
où $\beta$ est un paramètre de température.
Cela permet au système de tirer parti de la compréhension des schémas linguistiques par le LLM pour corriger les biais introduits par les données d'entraînement contaminées dans le TPP.

Contributions Clés

Nouvelle formulation : L'article cadre la détection d'utilisateurs d'IO comme un problème de détection d'anomalies non supervisé, s'éloignant des limites des méthodes supervisées qui nécessitent des données étiquetées tardives.
Intégration multimodale : TENSOR est la première approche à exploiter conjointement les schémas comportementaux temporels (via TPP) et les schémas linguistiques (via LLM) pour la détection non supervisée d'IO.
Atténuation de la contamination des données : L'article introduit une application novatrice du cadre EPHAD au domaine spécifique de la détection d'IO. Il atténue efficacement la dégradation des performances causée par l'entraînement sur des jeux de données contaminés (où les utilisateurs d'IO sont présents dans l'ensemble d'entraînement) en utilisant une fonction d'évidence basée sur un LLM pour ajuster l'inférence du TPP.
Capacité Zero-Shot : La méthode ne nécessite pas de données d'IO étiquetées pour l'entraînement du composant LLM, s'appuyant plutôt sur le prompting zero-shot et la similitude sémantique.

Résultats Expérimentaux

Les auteurs ont évalué TENSOR sur cinq jeux de données d'IO réels (Égypte, Chine_1, Iran_1, Russie_1, Émirats Arabes Unis) couvrant 26 IO étiquetées dans 15 pays. Les jeux de données sont fortement déséquilibrés (peu d'utilisateurs d'IO, beaucoup d'utilisateurs de contrôle).

Performance : TENSOR a surpassé trois bases de référence — User Embedding Clustering, Behavioral Languages for Online Characterization (BLOC), et un détecteur pur basé sur le LLM en zero-shot — sur la plupart des métriques (Précision, Rappel, F1, AUC et AUPRC).
Études d'ablation :
- Le retrait de la fonction d'évidence du LLM réduit considérablement la performance, confirmant la nécessité des schémas linguistiques.
- Le retrait du TPP (en utilisant uniquement le LLM) entraîne de faibles performances, confirmant que les dynamiques temporelles sont cruciales.
- L'utilisation d'une fonction d'évidence aléatoire donne de moins bons résultats que le TPP standard, prouvant que le LLM fournit un signal réel.
Analyse de sensibilité :
- Choix du LLM : TENSOR est resté stable et efficace à travers différents LLM (incluant des modèles de raisonnement comme gpt-oss-120B et des modèles non-raisonnement comme llama3.3-70B), bien que les modèles de raisonnement plus larges produisent généralement de meilleurs résultats.
- Température ( $\beta$ ) : La performance était sensible au paramètre de température $\beta$ . Bien que la valeur par défaut $\beta=0.5$ soit efficace, les auteurs notent que les valeurs optimales varient selon le jeu de données (souvent autour de 0.3), suggérant un potentiel pour l'optimisation non supervisée future de cet hyperparamètre.

Signification et Revendications

L'article affirme que TENSOR offre une alternative résiliente aux modèles supervisés traditionnels en déplaçant l'attention vers la friction inhérente entre les campagnes d'IO coordonnées et les comportements des utilisateurs organiques. Sa principale importance réside dans :

Surmonter le fossé de généralisation : En étant non supervisé, il peut détecter de nouvelles IO inédites sans nécessole de réentraînement sur de nouveaux jeux de données étiquetés.
Résoudre le problème de contamination : Il fournit un mécanisme pratique pour entraîner des détecteurs d'anomalies sur des données réelles (inevitablement contaminées) sans que le modèle n'apprenne les anomalies comme étant normales.
Praticité : L'approche est « sans entraînement » concernant le LLM (utilisation de poids gelés) et repose sur une seule étape d'entraînement TPP, ce qui la rend adaptable à diverses architectures TPP et LLM existantes.

Les auteurs concluent que, bien que l'optimisation non supervisée du paramètre de température $\beta$ reste une direction future, TENSOR établit actuellement un nouveau niveau de référence (state-of-the-art) pour la détection non supervisée d'utilisateurs d'IO dans des scénarios réels et déséquilibrés.