Contextualized Prompting For Stance Detection On Social Media

Résumé technique : Prompting contextuel pour la détection de positionnement sur les réseaux sociaux

Énoncé du problème
La détection de positionnement (stance detection) sur les réseaux sociaux, particulièrement sur Twitter, est intrinsèquement complexe en raison de la nature courte, bruitée et hautement dépendante du contexte des contenus générés par les utilisateurs. Bien que les grands modèles de langage (LLM) aient démontré de fortes capacités de généralisation en zero-shot et few-shot, les configurations de prompting standard classent généralement les tweets de manière isolée. Cette approche échoue souvent à résoudre les expressions ambiguës où un seul post manque d'informations suffisantes pour déterminer le point de vue de l'auteur envers une cible spécifique (par exemple, une personne, une organisation ou un sujet). Bien que les recherches antérieures en apprentissage supervisé suggèrent que l'intégration de métadonnées (telles que les biographies d'utilisateurs et les tweets historiques) améliore les performances, il reste incertain si ces avantages se traduisent dans les scénarios de prompting zero-shot et few-shot, où les LLM sont très sensibles à la conception du prompt et peuvent avoir du mal à distinguer le contexte pertinent de l'irrelevant.

Méthodologie
Les auteurs étudient systématiquement l'impact de l'intégration de diverses caractéristiques contextuelles dans le prompting zero-shot et few-shot pour la détection de positionnement. L'étude emploie un ensemble diversifié de quatre LLM basés sur le raisonnement et ajustés par instruction (GPT-OSS-20B, Qwen2.5-32B, Gemma3-27B et Ministral3-14B) sur quatre jeux de données de référence : semeval2016t6, covid19-glandt, wtwt (fusions et acquisitions) et un nouveau jeu de données allemand de haute qualité, covid19-de.

L'étude évalue trois catégories de caractéristiques contextuelles :

1. Métadonnées du monde réel : Récupérées via l'API Twitter, incluant les noms d'utilisateur (Usernames), les biographies d'utilisateurs (User Biographies) et d'autres tweets (Other Tweets) (les dix tweets les plus similaires du même utilisateur, sélectionnés via la similitude cosinus de Sentence-BERT).
2. Métadonnées dérivées : Classifications d'auteurs (ex: citoyen, politicien, scientifique) et groupes d'auteurs plus fins dérivés des biographies.
3. Contexte généré par LLM : Données synthétiques générées avec GPT-4, spécifiquement les descriptions de cibles (Target Descriptions) (une courte description de l'entité cible) et le contexte spécifique au tweet (Tweet-Specific Context) (une description de la cible dans le contexte spécifique du tweet).

Le dispositif expérimental compare les baselines zero-shot et few-shot standards contre des prompts augmentés par ces caractéristiques. Les auteurs évaluent également le prompting de type Chaîne de Pensée (Chain-of-Thought ou CoT) et une approche "LLM-as-a-Judge" où le modèle réévalue sa prédiction initiale. La performance est mesurée à l'aide de scores F1 macro-moyennés, calculés sur trois graines aléatoires (seeds).

Principales contributions

1. Évaluation systématique du contexte : Le papier fournit une analyse complète de la manière dont différents types de contexte (réel, dérivé et généré) affectent la performance des LLM dans la détection de positionnement, allant au-delà des bases de connaissances statiques utilisées dans les travaux précédents.
2. Nouveau jeu de données : Les auteurs publient covid19-de, un nouveau jeu de données allemand de haute qualité pour la détection de positionnement sur Twitter (n=3 750) portant sur les mesures gouvernementales durant la pandémie de COVID-19, annoté avec un accord substantiel (Krippendorff $\alpha > 0,67$).
3. Résultats empiriques sur l'utilité du contexte : L'étude remet en question l'hypothèse selon laquelle plus de contexte est toujours préférable. Elle démontre que si les descriptions de cibles générées par LLM améliorent systématiquement les performances, d'autres caractéristiques contextuelles (comme les biographies d'utilisateurs ou d'autres tweets) produisent des résultats mitigés, voire délétères.
4. Analyse qualitative des modes d'échec : Les auteurs identifient que les LLM peinent à distinguer le contexte informatif de l'irrelevant. Plus précisément, l'ajout de "Autres Tweets" ou de "Contexte Spécifique au Tweet" conduit souvent à des prédictions incorrectes, particulièrement en biaisant le modèle vers des positions non neutres (faveur/contre) même lorsque l'étiquette correcte est neutre.

Résultats

• Descriptions de cibles : Les descriptions de cibles générées par LLM ont été la caractéristique la plus robuste, améliorant systématiquement la précision sur presque tous les jeux de données et modèles (ex : +5,10 pp sur semeval2016t6 en zero-shot). Cela suggère que l'information explicite sur la cible aide à résoudre les références implicites dans les textes courts.
• Autres tweets : Contrairement aux conclusions de l'apprentissage supervisé, fournir d'autres tweets du même utilisateur a généralement dégradé la performance ou n'a apporté aucun bénéfice significatif. L'augmentation de la longueur de l'entrée semble avoir distrait le modèle, et le contexte ajouté a souvent induit un biais vers des positions partisanes, dégradant les performances sur les instances neutres.
• Contexte spécifique au tweet : Étonnamment, le contexte spécifique au tweet généré par LLM a eu un effet négatif dans tous les cas, probablement parce que le modèle incorpore des mots porteurs de positionnement issus du contexte généré qui entrent en conflit avec le contenu réel du tweet.
• Baselines : Le prompting CoT a généralement sous-performé par rapport aux baselines zero-shot standards sur les tâches de textes courts sans contexte additionnel. L'approche "LLM-as-a-Judge" s'est révélée compétitive, montrant une force particulière sur le jeu de données déséquilibré covid19-de en corrigeant les prédictions vers la classe majoritaire neutre.
• Métadonnées d'auteur : Les classifications semi-automatiques d'auteurs (ex : politicien vs citoyen) n'ont pas significativement surpassé la baseline sans contexte, suggérant que de telles métadonnées ne se traduisent pas en gains pour les LLM en zero-shot/few-shot.

Signification et affirmations
Le papier affirme que si l'intégration d'informations contextuelles est prometteuse pour améliorer la détection de positionnement dans des environnements réels bruités, les bénéfices sont hautement conditionnels. La principale signification réside dans la mise en évidence des limites des stratégies de prompting actuelles : les LLM manquent de robustesse pour filtrer efficacement le contexte irrelevant ou conflictuel. Les auteurs soutiennent que simplement ajouter plus de données au prompt est insuffisant ; la recherche future doit se concentrer sur le développement de méthodes permettant de différencier le contexte utile du bruit, particulièrement pour les tâches subjectives où la pertinence n'est pas définie de manière objective. Ce travail étend la recherche sur la subjectivité contextuelle à la détection de positionnement, démontrant que l'heuristique "plus de contexte est meilleur" ne s'applique pas universellement au prompting des LLM.