Résumé technique : Vers la détection de la persuasion sur les réseaux sociaux

Énoncé du problème

L'article aborde le défi critique de la détection des éléments persuasifs au sein de la publicité politique sur les réseaux sociaux. Alors que la propagande politique façonne l'opinion publique par le biais de techniques subtiles (par exemple, un langage chargé, des insultes, des appels à la peur), la détection manuelle devient de plus en plus irréalisable en raison du volume de contenu. Les approches computationnelles existantes reposent souvent sur des ensembles lourds de transformateurs ou sur une augmentation extensive des données, créant des barrières élevées à l'entrée en matière de ressources computationnelles et d'exigences en données. De plus, il existe un manque de compréhension quant à la façon dont ces modèles de détection se comportent lorsqu'ils sont transférés des domaines de l'actualité principale vers le contexte spécifique des publicités politiques sur les réseaux sociaux.

Méthodologie

La recherche est structurée en deux études interconnectées :

Étude 1 : Développement d'un modèle léger (SemEval-2023)

Les auteurs ont développé PPAsy (Persuasion Prediction Asymmetric), une nouvelle approche de classification multi-étiquettes pour détecter 23 techniques de persuasion distinctes.

• Architecture du modèle : L'étude a sélectionné XLNet-base (110 millions de paramètres) comme colonne vertébrale, privilégiant un équilibre entre performance et efficacité des ressources par rapport à des ensembles plus volumineux.
• Fonction de perte : Une fonction de perte Asymmetric Binary Cross-Entropy personnalisée a été introduite pour gérer le déséquilibre sévère des étiquettes. Cette fonction applique un poids spécifique à l'instance ($w_i$) modulé par un paramètre $\beta$, pénalisant les mauvaises classifications de manière variable en fonction de la distribution des classes.
• Stratégie de données : Au lieu d'entraîner le modèle sur toutes les données multilingues disponibles, les auteurs ont traduit uniquement le sous-ensemble français (qui contenait les 23 étiquettes et la moyenne la plus élevée de techniques par document) en anglais. Cela a réduit la taille des données d'entraînement à environ 153 000 jetons, nettement inférieure aux 1,16 million de jetons utilisés par les concurrents de l'état de l'art (SOTA).
• Prétraitement : Un prétraitement minimal a été appliqué (lemmatisation, mise en minuscules), en conservant la ponctuation car il a été constaté qu'elle améliorait l'interprétation du modèle.

Étude 2 : Adaptation de domaine et application réelle (APA22)

La deuxième étude a évalué l'utilité du modèle sur un nouvel ensemble de données, APA22, comprenant 56 958 publicités politiques issues de l'élection fédérale australienne de 2022, collectées via la Meta Ad Library.

• Adaptation de domaine : Le modèle entraîné sur SemEval-23 (articles de presse) a été testé sur APA22. Reconnaissant une baisse de performance, le modèle a été affiné (fine-tuned) sur un sous-ensemble manuellement annoté d'APA22 (658 échantillons, binarisés en « persuasif » contre « neutre »).
• Analyse : Le modèle affiné a étiqueté l'ensemble du jeu de données APA22 pour analyser les schémas de financement, de démographie, de changements temporels et de caractéristiques linguistiques (bigrammes et TF-IDF) distinguant les publicités à forte persuasion de celles à faible persuasion.

Contributions clés

1. Développement de modèle efficace : Introduction d'un modèle de classification multi-étiquettes léger qui atteint des performances de l'état de l'art sur la tâche 3, sous-tâche 3 de SemEval-2023, avec des coûts computationnels considérablement réduits.
2. Efficacité des ressources : L'approche proposée nécessite environ 86,8 % de données en moins, jusqu'à 77,6 % de paramètres en moins (par rapport à l'ensemble APatt) et 86,2 % de temps d'entraînement en moins (par rapport à KInIT), tout en surpassant ou en égalant les méthodes SOTA existantes.
3. Nouvel ensemble de données (APA22) : Création et annotation partielle d'un ensemble de données à grande échelle de publicités politiques issues de l'élection fédérale australienne de 2022, comblant le fossé entre les benchmarks académiques et le contenu réel des réseaux sociaux.
4. Insights empiriques : Démonstration que le réentraînement spécifique au domaine est essentiel pour l'analyse des publicités sur les réseaux sociaux, et révélation de stratégies de persuasion distinctes (par exemple, dépenses plus élevées et durée plus longue pour les publicités à forte persuasion) dans les campagnes politiques.

Résultats

Performance sur SemEval-2023

• PPAsy-XLNet a obtenu un F1-Micro de 40,62 % et un F1-Macro de 21,78 % sur le jeu de données de test anglais.
• Cela a surpassé la ligne de base SVM (19,51 % F1-Micro) et dépassé l'ensemble APatt (37,56 % F1-Micro) ainsi que le modèle RoBERTa-large KInIT (40,38 % F1-Micro), malgré l'utilisation d'une fraction des paramètres et des données d'entraînement.
• Des études d'ablation ont confirmé que la fonction de perte personnalisée et l'utilisation spécifique de l'ensemble de données traduit du français vers l'anglais étaient des moteurs critiques de la performance.

Performance sur APA22

• Changement de domaine : Lorsqu'il a été appliqué directement à APA22 sans réentraînement, le modèle entraîné sur SemEval n'a atteint qu'une précision de 59,39 %, mettant en évidence un fossé de domaine significatif entre les articles de presse et les publicités sur les réseaux sociaux.
• Affinage (Fine-tuning) : Le réentraînement sur le sous-ensemble APA22 a amélioré la précision à 82,42 %, démontrant la nécessité de données spécifiques au domaine.

Insights de l'analyse APA22

• Corrélation avec la portée : Les publicités classées comme « forte persuasion » (contenant plus de 80 % de phrases persuasives) ont reçu 45,6 % d'impressions en plus et 48,2 % de dépenses en plus que les publicités à « faible persuasion ».
• Dynamique temporelle : Les dépenses et les impressions des publicités à forte persuasion ont augmenté de manière significative (jusqu'à 4,8 fois) dans les jours précédant l'élection, tandis que les publicités à faible persuasion ont montré une trajectoire de croissance régulière et modeste.
• Schémas linguistiques : Les publicités à forte persuasion utilisaient un vocabulaire orienté vers l'action (« voter », « avenir », « changement ») et des bigrammes émotionnels (« changement climatique », « meilleur avenir »). Les publicités à faible persuasion se concentraient sur des détails informatifs, locaux et administratifs (« local », « soutien », « petite entreprise »).

Importance et affirmations

L'article affirme que son travail souligne la nécessité d'une modélisation spécifique au domaine pour analyser la persuasion sur les réseaux sociaux. Il soutient que, bien que les modèles lourds et gourmands en ressources soient courants, des modèles efficaces et légers peuvent atteindre des résultats comparables ou supérieurs s'ils sont associés à une sélection stratégique des données (par exemple, en choisissant le sous-ensemble de langue le plus diversifié).

Les auteurs postulent que la révélation de ces stratégies de persuasion par le biais d'une détection automatisée peut :

• Améliorer la transparence des processus démocratiques.
• Informer les électeurs sur la nature du message politique.
• Promouvoir la responsabilité dans les campagnes numériques.

L'étude conclut que, bien que les modèles actuels fournissent une base pour comprendre la persuasion numérique, les travaux futurs devraient explorer des approches multimodales (intégrant des images) et affiner les stratégies de classification pour mieux capturer l'interaction complexe entre le texte et les médias visuels dans la formation de l'opinion publique. Les auteurs restent modestes concernant les limites de leurs données (par exemple, la dépendance aux drapeaux politiques auto-déclarés par Meta et l'absence de données précises sur le micro-ciblage) et les défis de la généralisation des résultats à différents contextes politiques.