Résumé technique : Déjà vu dans les scénarios (CS-VAR)

Définition du problème

Les plateformes de streaming en direct font face à des risques croissants provenant de comportements malveillants coordonnés, tels que les arnaques, les promotions illicites et le jeu d'argent. Ces risques se caractérisent par deux défis principaux :

1. Accumulation progressive et coordination : Les actions nuisibles se déroulent souvent progressivement dans le temps et impliquent des interactions coordonnées entre les diffuseurs et les spectateurs (par exemple, des complices augmentant l'engagement). Une action isolée peut sembler bénigne, mais l'accumulation de comportements interdépendants forme une chaîne de risques.
2. Récurrence inter-sessions : Les acteurs malveillants réutilisent souvent des modèles de comportement « scénarisés » similaires à travers des flux apparemment sans lien (par exemple, une arnaque à l'emploi à temps partiel et une arnaque à un téléphone soldé suivant des progressions comportementales identiques). Détecter ces motifs de « déjà vu » nécessite un raisonnement qui dépasse les limites d'une seule session.

Les approches actuelles font face à un compromis : les modèles traditionnels manquent de capacités de raisonnement pour identifier des motifs complexes et inter-sessions, tandis que les grands modèles de langage (LLM) possèdent de solides capacités de raisonnement mais sont trop coûteux en calcul et trop lents pour un déploiement en temps réel à grande échelle. De plus, l'obtention d'annotations fines au niveau des patches pour l'apprentissage supervisé est irréalisable en raison des coûts.

Méthodologie : CS-VAR

Les auteurs proposent CS-VAR (Détecteur augmenté par la recherche conscient des preuves inter-sessions), un cadre qui unifie un modèle léger spécifique au domaine avec un LLM pour exploiter les preuves inter-sessions tout en maintenant une efficacité en temps réel. Le cadre fonctionne en quatre étapes distinctes :

1. Modèle de base léger : PatchNet

Le moteur d'inférence central est PatchNet, un modèle léger conçu pour traiter les sessions de streaming en direct sous forme de grilles de patches.

• Définition du patch : Une session est discrétisée en patches utilisateur-créneau ($p_{u,k}$), regroupant les actions par utilisateurs spécifiques au sein de fenêtres temporelles spécifiques.
• Architecture : PatchNet utilise un encodeur en deux étapes. D'abord, un encodeur Transformer traite la séquence d'actions pour capturer les dépendances à long terme. Ensuite, un Transformer conscient des graphes affine les embeddings de patches en utilisant des matrices d'adjacence spécifiques aux relations qui modélisent les dépendances temporelles, utilisateur, rôle (diffuseur vs spectateur) et auxiliaires.
• Échauffement : Initialement, PatchNet est entraîné avec une perte de binaire croisée au niveau de la session pour apprendre des embeddings de patches prêts à la recherche et identifier les « patches clés » à forte attention au sein d'une session.

2. Construction de l'index

Pour permettre un raisonnement inter-sessions sans étiquettes fines, le système construit un index de recherche :

• Sélection des patches clés : Basé sur les poids d'attention de la phase d'échauffement, les 5 meilleurs patches de diffuseur et les 3 meilleurs patches de spectateur sont sélectionnés comme unités de preuve clés.
• Augmentation sémantique : Un LLM génère des résumés conscients de la session pour ces patches clés. Au lieu d'indexer du texte brut, l'index stocke l'embedding PatchNet couplé à un résumé généré par le LLM qui contextualise le patch dans le cadre plus large de la session et des chaînes de risques potentielles.

3. Raisonnement augmenté par la recherche avec LLM

Pendant la phase d'entraînement, le système simule un scénario augmenté par la recherche :

• Recherche : Pour une session requête, ses patches clés sont utilisés pour récupérer des patches similaires d'autres sessions (en excluant la session actuelle) depuis l'index.
• Raisonnement : Le LLM reçoit les patches de la requête ainsi que leurs voisins récupérés. Il effectue un Raisonnement intégré aux preuves, produisant :
  • Des scores de risque au niveau du patch et des poids de saillance.
  • Un score de risque au niveau de la session qui synthétise les indices locaux avec le contexte inter-sessions.
• Cette étape permet au LLM d'agir comme un « enseignant », raisonnant sur des preuves distribuées pour identifier des motifs malveillants récurrents qu'un modèle mono-session pourrait manquer.

4. Distillation multi-granularité

L'étape finale distille le raisonnement du LLM vers le modèle léger PatchNet :

• Objectif multi-tâche : PatchNet est optimisé à l'aide d'une fonction de perte composite :
  • Perte de session : S'aligne sur les étiquettes de session de vérité terrain.
  • Perte de patch : Force PatchNet à correspondre aux scores de risque au niveau du patch du LLM.
  • Perte Patch-vers-session : Garantit que lorsque les prédictions de patch de PatchNet sont agrégées en utilisant les poids de saillance du LLM, le résultat correspond à la prédiction de niveau de session du LLM.
• Résultat : PatchNet apprend à internaliser les capacités de raisonnement inter-sessions du LLM, lui permettant d'effectuer une inférence rapide et indépendante au moment du déploiement tout en conservant la capacité de fournir des signaux interprétables au niveau du patch.

Contributions clés

1. Premier cadre de ce type : L'article prétend présenter le premier cadre exploitant les LLM pour l'évaluation des risques au niveau de la session dans le streaming en direct, ciblant spécifiquement les routines inter-sessions récurrentes.
2. Architecture CS-VAR : La proposition d'un détecteur augmenté par la recherche qui distille des jugements multi-granularités d'un LLM vers un modèle léger, atteignant à la fois une conscience inter-sessions et une efficacité en temps réel.
3. Interprétabilité et actionnabilité : Le système génère des signaux au niveau du patch qui soutiennent une modération actionnable, allant au-delà des scores de risque boîte noire pour fournir des preuves sur des segments comportementaux spécifiques.

Résultats expérimentaux

Les auteurs ont évalué CS-VAR en utilisant des ensembles de données industriels à grande échelle (mai et juin) provenant d'une plateforme de streaming en direct majeure, ainsi qu'une validation de déploiement en ligne.

• Performance hors ligne : CS-VAR a atteint des performances de pointe sur toutes les métriques (PR-AUC, score F1, R@0.1FPR, FPR@0.9R) sur les deux ensembles de données. Il a surpassé de solides références, y compris des modèles de séquence (Transformer, Reformer) et des méthodes d'agrégation d'instances (variantes MIL). Notamment, sur l'ensemble de données de mai, il a amélioré le PR-AUC de 5,0 % et réduit le taux de faux positifs à 90 % de rappel de 10,9 % par rapport à la meilleure référence.
• Études d'ablation : La suppression de n'importe quel composant (attention graphique, recherche, raisonnement LLM ou distillation) a entraîné une dégradation des performances, confirmant que l'intégration de toutes les étapes est nécessaire pour un transfert efficace du raisonnement inter-sessions.
• Déploiement en ligne : Dans un environnement de production réel, CS-VAR a considérablement surpassé les modèles en place (XGBoost et basés sur Transformer). Il a atteint un PR-AUC de 0,6643 contre 0,4543 pour XGBoost et a amélioré le rappel contraint (R@0.1FPR) à 0,8305, démontrant son utilité pratique pour réduire les fausses alarmes tout en détectant le contenu à risque.
• Études de cas et visualisation : Les visualisations t-SNE ont montré que CS-VAR regroupe des sessions avec un contenu de surface différent mais des motifs de risque sous-jacents similaires (par exemple, fraude collusive et jeu d'argent illicite). Les études de cas ont mis en évidence la capacité du modèle à détecter des comportements coordonnés diffuseur-spectateur, tels que des témoignages mis en scène dans une arnaque à « l'adoption de chatons ».

Signification et affirmations

L'article positionne CS-VAR comme une solution aux contraintes spécifiques du contrôle des risques dans le streaming en direct : le besoin de supervision faible (seulement des étiquettes au niveau de la session), d'interprétabilité (preuves explicables pour les modérateurs), d'évolutivité (traitement en temps réel) et de la capacité à détecter des motifs récurrents.

Les auteurs affirment qu'en couplant un modèle spécifique au domaine avec un LLM, ils ont réussi à concilier les demandes contradictoires de raisonnement sur des preuves distribuées et de l'efficacité requise pour un déploiement en temps réel. Le cadre transfère efficacement les insights « du local au global » du LLM vers le petit modèle, permettant la détection de motifs malveillants de « déjà vu » que les modèles traditionnels manquent, tout en fournissant l'interprétabilité nécessaire à la modération humaine.