Navigating the Rabbit Hole: Emergent Biases in LLM-Generated Attack Narratives Targeting Mental Health Groups

Résumé Technique : Naviguer dans le terrier du lapin : Biais émergents dans les récits d'attaques générés par les LLM ciblant les groupes de santé mentale

Énoncé du problème
Bien que les grands modèles de langage (LLM) soient connus pour présenter des biais contre des groupes d'identité spécifiques, le phénomène d'attaques ciblées non provoquées reste sous-exploré. Plus précisément, il existe un manque de compréhension concernant la manière dont les LLM escaladent de manière autonome des récits préjudiciables contre des populations vulnérables, telles que les groupes de santé mentale, même lorsque ces groupes ne sont pas explicitement mentionnés dans les prompts initiaux. Les évaluations actuelles des biais reposent souvent sur une elicitation de toxicité statique et directe basée sur des prompts ou sur des contrôles de toxicité à génération unique, échouant ainsi à capturer la nature récursive et réticulée de la façon dont la toxicité se déploie et se propage à travers les trajectoires génératives. Ce document traite de l'écart de compréhension de la manière dont les identités de santé mentale sont de manière disproportionnée ciblées et stigmatisées au sein des « Terriers du Lapin de la Toxicité » (Toxicity Rabbit Holes - TRH) — des chaînes de génération récursives où un LLM est incité de manière itérative à rendre le contenu de plus en plus toxique.

Méthodologie
L'étude utilise le jeu de données Toxicity Rabbit Hole (TRH) (Dutta et al., 2024), un corpus à grande échelle de 459 millions de tokens générés par 10 LLM ciblant 1 266 groupes d'identité. Pour cette analyse, les auteurs se concentrent sur le modèle Mistral 7B, comprenant 15 401 chaînes de génération et 190 599 sorties individuelles.

La méthodologie se déroule en trois étapes principales :

1. Curation des données et extraction d'entités :

   • Les auteurs ont filtré le corpus pour ne conserver que les générations toxiques, excluant les sorties neutres ou de contre-discours.
   • En utilisant LLaMA-3.2 3B, ils ont extrait les « entités victimes » (groupes ciblés par les attaques) et les entités non participantes du texte.
   • Un processus de consolidation manuelle a fusionné les entités morphologiquement et sémantiquement redondantes (ex. : « Musulmans » et « Moslems »), aboutissant à un vocabulaire final de 24 185 entités victimes uniques (VictimSet).
   • Un lexique spécifique de 390 termes de santé mentale (dérivés de la CIM-10, de Wikipédia et de termes familiers) a été utilisé pour filtrer un sous-ensemble de MHSet (195 entités de santé mentale uniques) à partir du VictimSet.

2. Construction du réseau (Réseau du Terrier du Lapin) :

   • Un graphe orienté pondéré $G = (V, E)$ a été construit où les nœuds représentent les entités victimes et les arêtes représentent les transitions entre les entités dans les générations successives au sein d'une même chaîne.
   • Les poids des arêtes correspondent à la fréquence des transitions ($u \to v$).
   • L'analyse s'est concentrée sur la plus grande composante faiblement connectée, contenant 24 184 nœuds et 663 433 arêtes.

3. Cadres analytiques :

   • Centralité de réseau (RQ1) : Les auteurs ont calculé la centralité de proximité, de degré (pondérée/non pondérée), de PageRank et d'intermédiarité pour les nœuds MHSet par rapport aux nœuds Non-MHSet, en utilisant des tests de Mann-Whitney U pour la significativité.
   • Détection de communauté (RQ2) : L'algorithme de Leiden a été appliqué pour identifier les clusters d'entités co-ciblées. Un coefficient de Gini a été calculé pour mesurer la concentration des entités de santé mentale au sein de communautés spécifiques.
   • Analyse de la stigmatisation (RQ3) : S'appuyant sur le cadre de Link & Phelan (2001), les auteurs ont analysé l'évolution des composantes de la stigmatisation (Étiquetage, Stéréotypage négatif, Séparation, Perte de statut/Discrimination) à mesure que les chaînes progressent des cibles initiales ($V_{init}$) vers la première apparition des cibles de santé mentale ($V_{MH}$). LLaMA-3.2 3B a été utilisé pour annoter la présence de ces composantes, et des tests de rang signé de Wilcoxon ont été effectués sur des échantillons appariés au sein des chaînes.

Principales contributions

1. Évaluation explicite des attaques non provoquées : Le papier fournit la première évaluation explicite des attaques générées par les LLM ciblant spécifiquement des groupes de santé mentale hautement vulnérables au sein de chaînes de génération récursives, démontrant que ces groupes sont ciblés même sans prompt initial.
2. Cadre basé sur les réseaux : Il introduit une approche basée sur les réseaux pour étudier la propagation des biais relatifs, modélisant comment le contenu toxique transite entre les entités et identifiant les « terriers du lapin » structurels où les entités de santé mentale agissent comme des hubs centraux.
3. Évaluation de la stigmatisation émergente : L'étude quantifie le degré relatif de stigmatisation qui émerge dans ces chaînes, montrant que le cadrage des cibles de santé mentale devient qualitativement plus sévère que celui des cibles initiales.

Résultats

• Centralité (RQ1) : Les entités de santé mentale occupent des positions nettement plus centrales dans le réseau que les entités non-MH.
  • Centralité de proximité : Les entités MH ont une proximité moyenne significativement plus élevée (Moyenne = 0,71 vs 0,63, $p = 4,06 \times 10^{-10}$), indiquant qu'elles sont structurellement plus faciles à atteindre à partir d'autres nœuds en moins d'étapes.
  • Degré et PageRank : Les entités MH présentent des scores de centralité de degré (pondéré et non pondéré) et de PageRank significativement plus élevés ($p < 0,001$), suggérant qu'elles sont des points focaux fréquents et profondément ancrées dans des clusters influents.
  • Intermédiarité : Aucune différence significative n'a été trouvée, impliquant que les entités MH fonctionnent comme des hubs denses plutôt que comme des ponts entre des régions déconnectées.
• Structure de communauté (RQ2) : Les entités MH ne sont pas distribuées de manière aléatoire mais sont étroitement regroupées.
  • Le coefficient de Gini de 0,7 indique une forte concentration.
  • 75,9 % de toutes les entités MH résident dans seulement deux communautés : l'une contenant des troubles cliniques spécifiques (ex. : bipolaire, dyslexie) et l'autre contenant des termes socialement construits plus larges (ex. : « personnes ayant des problèmes de santé mentale »).
  • Un sous-ensemble plus petit d'entités reflète un ciblage intersectionnel (ex. : « personnes noires souffrant de maladies mentales »).
• Évolution de la stigmatisation (RQ3) : À mesure que les chaînes génératives passent des cibles initiales aux cibles de santé mentale, la sévérité de la stigmatisation augmente significativement à travers les quatre composantes.
  • Perte de statut et Discrimination : Ont montré l'augmentation la plus prononcée (Différence de proportion moyenne = -0,70, $p = 7,16 \times 10^{-143}$).
  • Étiquetage : A également montré une forte hausse (Différence de proportion moyenne = -0,47, $p = 5,44 \times 10^{-81}$).
  • Cela indique qu'une fois les entités de santé mentale invoquées, le discours devient nettement plus déshumanisant et discriminatoire.

Signification et affirmations
Le papier soutient que les évaluations de sécurité actuelles des LLM possèdent un angle mort critique : les modèles peuvent nuire de manière disproportionnée aux groupes de santé mentale même lorsque ces groupes sont absents du prompt initial. Les auteurs affirment que la structure générative interne du modèle, semblable à un biais implicite, conduit à un ciblage récurrent et à l'amplification des stigmates sociétaux par la génération récursive.

La signification de ce travail réside dans le fait de souligner que le préjudice n'est pas simplement la présence de biais, mais son escalade récursive. Une seule étape générative dans une trajectoire préjudiciable peut dégénérer en des récits profondément déshumanisants que les garde-fous à génération unique ne parviennent pas à capturer. Les auteurs concluent que les paradigmes de sécurité des LLM doivent passer d'une modération réactive à des interventions proactives, conscientes des trajectoires, capables de détecter les schémas de préjudice émergents en temps réel. De plus, ce travail suggère que les futures stratégies de réduction des biais devraient utiliser des réseaux d'interaction d'entités pour guider le fine-tuning et les interventions de contre-stigmatisation.

Limites reconnues
Les auteurs notent que leurs conclusions sont spécifiques au cadre TRH et au modèle Mistral 7B, ce qui peut limiter la généralisabilité. De plus, bien que les méthodes de réseau capturent les dépendances structurelles, elles ne rendent pas pleinement compte des variations de l'intensité ou du cadrage des attaques au-delà des composantes annotées. L'étude repose sur des annotations inférées par LLM pour la toxicité et la stigmatisation, qui ont été vérifiées manuellement mais représentent toujours un substitut au jugement humain. Enfin, la liste des entités a été compilée à partir de sources faisant autorité, et des travaux futurs pourraient explorer les bifurcations communautaires dans la manière dont la stigmatisation est cadrée selon les axes diagnostiques versus sociétaux.