Résumé Technique : StagePilot

Énoncé du Problème

Le cyber-grooming (ou cyber-prédatisme) représente une menace critique et évolutive pour la jeunesse, où des prédateurs exploitent les plateformes numériques pour manipuler des mineurs, établir une confiance et les contraindre à l'exploitation sexuelle. Alors que les recherches existantes se sont concentrées sur la détection de chats malveillants après que les dommages ont été causés ou sur l'analyse des traits des victimes, il existe une lacune significative dans les outils de prévention proactifs et centrés sur la victime. Les formations actuelles basées sur des simulations manquent d'interactions prédateur-victime réalistes et stratégiques qui reflètent la progression non linéaire et par étapes du grooming. De plus, l'implication directe de participants humains (mineurs) dans de telles simulations soulève de graves préoccupations éthiques, nécessissant une alternative sûre, contrôlée et reproductible pour la formation éducative.

Méthodologie

Les auteurs proposent StagePilot, un agent d'Apprentissage par Renforcement Profond (DRL) hors ligne conçu pour simuler des conversations de cyber-grooming contrôlées par étapes. Contrairement aux systèmes de dialogue traditionnels qui génèrent du texte tour par tour, StagePilot reformule le problème comme une tâche de planification sur des étapes d'interaction abstraites.

Cadre Fondamental

1. Formulation contrôlée par étapes : Le système adopte la typologie en six étapes d'O'Connell (Formation de l'amitié, Formation de la relation, Évaluation des risques, Exclusivité, Sollicitation sexuelle et Conclusion). L'agent apprend une politique pour sélectionner la prochaine étape plutôt que de générer des énoncés bruts.
2. Architecture Hybride :
   • Agent RL : Opère comme un planificateur au niveau des étapes. Il observe le contexte conversationnel (les quatre derniers énoncés et l'étape précédente) et sélectionne l'action de l'étape suivante.
   • Environnement LLM : Les modèles de langage de grande taille (spécifiquement Mistral 7B Instruct v0.2) agissent comme la dynamique de l'environnement. Ils génèrent les réponses textuelles réelles pour le « prédateur » et la « victime », conditionnées par l'étape sélectionnée par l'agent RL.
3. Apprentissage Hors Ligne : En raison de l'impossibilité éthique d'un RL en ligne avec des mineurs, l'agent est entraîné hors ligne sur le jeu de données Perverted-Justice (PJ). Ce jeu de données est constitué de journaux de chat entre prédateurs et leurres, annotés selon les six étapes de grooming à l'aide d'un ensemble de LLM (GPT-4o et Claude 3.5 Sonnet).
4. Contraintes et Récompenses :
   • Contraintes de Transition : Pour garantir la plausibilité comportementale, l'espace d'action est masqué pour n'autoriser que les transitions vers des étapes adjacentes (ex: Étape 2 $\to$ 1, 2 ou 3), empênant des sauts irréalistes.
   • Récompense Composite : La fonction de récompense équilibre deux objectifs :
     • Récompense de Sentiment ($r_{sent}$) : Dérivée d'un classificateur basé sur RoBERTa, mesurant la positivité de la réponse de la victime pour maintenir l'engagement.
     • Récompense de Distance ($r_{dist}$) : Une fonction linéaire incitant à la progression vers l'étape finale (Étape 6).
     • Récompense Totale : $R_t = \alpha \cdot r_{sent} + \beta \cdot r_{dist}$.

Algorithmes Évalués

L'étude compare plusieurs méthodes d'apprentissage de politique sous des contraintes uniformes :

• Ingénierie de Prompt (Prompt Engineering) : Prompting zero-shot sans ajustement fin (fine-tuning).
• Imitation par Apprentissage Comportemental (Behavior Cloning - BC) : Apprentissage supervisé imitant les transitions d'étapes observées.
• Apprentissage Q Conservateur (Conservative Q-Learning - CQL) : RL hors ligne pénalisant les actions hors distribution.
• IQL + Advantage-Weighted Actor-Critic (IQL+AWAC) : Une approche hybride combinant une estimation conservatrice de la valeur et des mises à jour de politique sensibles aux récompenses.

Principales Contributions

1. Formulation de Dialogue Contrôlée par Étapes : Le papier introduit un cadre de RL hors ligne où le flux de dialogue est contrôlé via des étapes d'interaction abstraites plutôt que par la génération directe de texte, permettant une planification interprétable à long terme.
2. Contraintes de Transition Fondées sur le Comportement : L'implémentation du masquage des étapes adjacentes garantit que les progressions d'étapes sont flexibles mais plausibles sur le plan comportemental, reflétant la dynamique réelle du grooming tout en évitant les sauts brusques et irréalistes.
3. Récompense Composite Sensible aux Émotions : Une conception de récompense novatrice intègre les signaux de sentiment de la victime avec les objectifs de distance d'étape, permettant à l'agent d'équilibrer l'engagement émotionnel et la progression stratégique.
4. Cadre d'Évaluation Complet : Les auteurs établissent un cadre d'évaluation contrôlé couvrant l'accessibilité des étapes, la dynamique de transition, l'alignement du sentiment et l'efficacité du dialogue, en comparant le zero-shot, le apprentissage supervisé et les bases de référence de RL hors ligne.
5. Validation Empirique : L'étude démontre que le cadre proposé unifie efficacement la cohérence émotionnelle et la planification stratégique, atteignant une performance supérieure pour atteindre les dernières étapes de grooming par rapport aux bases de référence.

Résultats Expérimentaux

Le système a été évalué via 100 dialogues simulés par modèle, comparant les performances en termes de progression d'étape, d'alignement de sentiment et d'efficacité.

• Supériorité de Performance : L'agent IQL+AWAC a obtenu le meilleur équilibre entre planification stratégique et cohérence émotionnelle. Il a atteint l'Étape 6 dans 95 % des simulations et a complété des terminaisons réussies (5+ tours à l'Étape 6) dans 91 % des cas.
• Comparaison avec les Bases de Référence :
  • L'Ingénierie de Prompt a mal performé, atteignant l'Étape 6 dans seulement 14 % des cas, restant souvent bloquée dans les premières étapes.
    ent de l'Étape 6 dans 52 % des cas, mais a eu des difficultés avec la planification à long terme, entraînant des trajectoires inefficaces (moyenne de 130,8 tours pour les exécutions réussies).
  • CQL s'est amélioré par rapport à BC (83 % d'atteinte de l'Étape 6) mais a montré un compromis avec le sentiment, générant davantage de réponses négatives de la part de la victime.
• Efficacité : IQL+AWAC a généré les conversations réussies les plus courtes (moyenne de 64,89 tours) tout en maintenant un alignement de sentiment supérieur à 70 % (positif ou neutre), démontifiant une planification efficace et orientée vers un but.
• Dynamique de Transition : Les méthodes basées sur le RL ont montré des taux de transition vers l'avant plus élevés et une stagnation moindre par rapport aux bases de référence. IQL+AWAC a spécifiquement montré une capacité stratégique à naviguer dans les étapes ultérieures (5 et 6) tout en minimant le temps passé dans les étapes de création de rapport initiales lorsque cela était nécessaire pour l'achèvement de l'objectif.
• Études d'Ablation : La recherche a mis en évidence un compromis critique entre le sentiment et la progression. Sur-pondérer les récompenses de sentiment ($\alpha \ge 0,8$) entraînait des boucles répétitives dans les premières étapes, tandis que les incitations basées sur la distance ($\beta$) favorisaient une progression efficace. La configuration sélectionnée ($\alpha=0,8, \beta=0,2$ avec DistilRoBERTa) offrait le meilleur équilibre pédagogique.

Signification et Revendications

Le papier affirme que StagePilot fournit une alternative sûre et contrôlée pour l'éducation préventive en temps réel en simulant les dynamiques de grooming sans exposer les mineurs à des dommages. Sa signification réside dans :

• Sécurisation Éthique : En utilisant des interactions entièrement automatisées et simulées (modèles LLM prédateur et victime), le cadre respecte les principes de l'IA responsable, permettant l'exploration des dynamiques conversationnelles avant toute étude impliquant des humains.
• Utilité Pédagogique : Le système génère des conversations réalistes et cohérentes alignées sur les dynamiques de grooming, offrant un outil pour renforcer la reconnaissance des signaux d'alerte du grooming et les stratégies de réponse chez les adolescents.
• Avancée Méthodologique : Il démontre que le DRL hors ligne avec une abstraction par étapes est supérieur à l'apprentissage par imitation et aux approches basées sur des règles pour la simulation de dialogue à long terme et à haute criticité de sécurité.

Les auteurs déclarent explicitement que StagePilot n'est pas destiné à un déploiement dans le monde réel impliquant des enfants et ne doit être utilisé que sous une surveillance éthique stricte. Ils soulignent que la simulation est plus compressée temporellement et plus linéaire que les cas réels typiques, servant d'outil pédagogique formatif plutôt que de réplique parfaite de chaque interaction réelle. Le travail conclut que la planification par étapes est un mécanisme viable pour structurer les interactions critiques pour la sécurité, avec des extensions potentielles vers les simulations de conseil et les jeux de rôle de négociation.