LLM Harms: A Taxonomy and Discussion

Résumé technique : Préjudices des LLM : Une taxonomie et une discussion

Énoncé du problème
L'adoption rapide des modèles de langage de grande taille (LLM) dans les secteurs de la santé, des finances, de l'éducation et des industries créatives a dépassé le développement de cadres intégratifs permettant de catégoriser et d'atténuer les risques associés. Bien que la littérature existante aborde des préjudices spécifiques — allant des violations de la confidentialité lors de la préformation à la génération de contenu extrémiste et au déplacement économique —, ces risques demeurent fragmentés. L'absence d'un socle unifié entrave la responsabilisation, la transparence et la navigation efficace des biais. En outre, les référentiels d'incidents réels indiquent un volume croissant d'échecs de l'IA, nécessitant une catégorisation systématique des préjudices couvrant l'ensemble du cycle de vie des applications d'IA, de la pré-développement au déploiement en aval.

Méthodologie
Cette étude emploie une méthodologie de revue systématique alignée sur la liste de contrôle PRISMA-2020. Les auteurs ont mené une recherche multi-bases de données (couvrant Google Scholar, IEEE Xplore, ACM DL et autres) pour les publications parues entre janvier 2021 et juin 2025. La stratégie de recherche a utilisé des termes ancrés (par exemple, « modèle de langage de grande taille », « modèle fondamental ») combinés à des axes de préjudice spécifiques (pré-déploiement, sortie directe, mauvaise utilisation, systémique). À partir d'un ensemble initial de 1 986 enregistrements plus 24 articles semences manuels, les auteurs ont sélectionné et codé un corpus final de 200 études. Chaque étude a été analysée pour le type de préjudice, la gravité, la prévalence et les affirmations d'atténuation. Cette synthèse quantitative a été complétée par dix entretiens d'experts avec des ingénieurs de sécurité et des décideurs politiques. Le périmètre est restreint aux LLM basés sur le texte ayant des paramètres supérieurs ou égaux à 7 milliards, excluant les hybrides vision-langage et les petits modèles spécifiques à un domaine.

Contributions clés : Une taxonomie du cycle de vie des préjudices
La contribution principale de ce travail est une taxonomie complète des préjudices des LLM, organisée selon une chronologie de développement et répartie en cinq catégories distinctes :

1. Préjudices pré-déploiement :

   • Préjudices liés aux données d'entraînement : Comprend les violations de la confidentialité (mémorisation de données sensibles), le manque de consentement et la perpétuation de biais historiques et de discours haineux intégrés dans des corpus à l'échelle du web.
   • Préjudices environnementaux et liés aux ressources : Couvre l'empreinte carbone significative de l'entraînement et de l'inférence, la consommation d'eau pour le refroidissement, et les impacts de la chaîne d'approvisionnement sur la fabrication du matériel (par exemple, l'extraction de cobalt).
   • Préjudices liés au travail et à l'économie dans le développement : Met en lumière l'exploitation des annotateurs de données (gagnant souvent de faibles salaires), le tollé psychologique sur les modérateurs de contenu et la concentration des ressources de R&D au sein de quelques géants technologiques.

2. Préjudices de sortie directe :

   • Préjudices représentatifs : Englobe les biais démographiques, les stéréotypes et la mauvaise représentation des perspectives et dialectes minoritaires (par exemple, l'anglais vernaculaire afro-américain).
   • Préjudices liés au contenu : Comprend la génération de contenu toxique, de désinformation et de sorties violant la confidentialité.
   • Préjudices liés à la qualité et à la fiabilité : Aborde les hallucinations, les erreurs factuelles, le raisonnement incohérent et la surconfiance dans des réponses incorrectes.

3. Préjudices liés à la mauvaise utilisation et à l'application malveillante :

   • Création délibérée de contenu nuisible : L'utilisation des LLM pour générer du discours haineux, des outils de harcèlement et de la propagande extrémiste à grande échelle.
   • Pratiques trompeuses : Facilitation de la malhonnêteté académique, de la fraude, de l'assistance aux arnaques et de la création de texte deepfake.
   • Attaques de sécurité et de confidentialité : Comprend les vulnérabilités d'injection de prompt, les attaques d'extraction de données (récupération des données d'entraînement) et l'amélioration de l'ingénierie sociale.

4. Préjudices sociétaux et systémiques :

   • Perturbation économique : Déplacement d'emplois, polarisation des salaires et concentration des gains de productivité dans des entreprises « superstar ».
   • Préjudices démocratiques et sociaux : Manipulation des écosystèmes d'information, amplification des biais politiques et dégradation du discours public via des botnets et du contenu « gris ».
   • Inégalités de pouvoir et d'accès : L'élargissement de la fracture technologique due à la concentration de la puissance de calcul, créant des barrières pour les acteurs plus petits et le Sud global.

5. Préjudices liés aux applications en aval :

   • Prise de décision à haut risque : Risques dans le domaine de la santé (erreurs de diagnostic), des finances (conseils hallucinés) et de la justice pénale (amplification des biais dans le scoring de risque).
   • Impacts sur le système éducatif : Érosion des compétences de pensée critique, problèmes d'intégrité des évaluations et effet d'« atrophie de la pensée ».
   • Travail professionnel et créatif : Violations de la propriété intellectuelle, dévaluation du travail créatif humain et sape de l'expertise professionnelle.

Résultats et analyse
L'analyse révèle que les grappes de préjudices sont interdépendantes plutôt qu'isolées ; par exemple, des données d'entraînement violant la confidentialité ensemencent des biais de sortie directe, qui peuvent ensuite être weaponisés via des jailbreaks. L'étude constate que, bien que les atténuations techniques (par exemple, le red-teaming, l'ajustement de l'alignement, la génération augmentée par récupération) aient réduit certains échecs flagrants (comme les sorties toxiques évidentes), des biais plus subtils et des hallucinations persistent. Les réponses de gouvernance sont actuellement fragmentées, l'AI Act de l'UE imposant des obligations contraignantes tandis que les États-Unis s'appuient largement sur des cadres volontaires.

Une découverte critique est l'émergence de nouvelles catégories de préjudices, en particulier dans les écosystèmes de LLM multi-agents, où des échecs récursifs et des comportements collectifs émergents (par exemple, des agents renforçant les hallucinations les uns des autres) créent des risques non couverts par les taxonomies de modèles uniques. Les preuves longitudinales suggèrent que, bien que certains préjudices précoces (par exemple, les insultes flagrantes) aient diminué en raison du filtrage, les préjudices systémiques et liés à la mauvaise utilisation augmentent en prévalence à mesure que les LLM s'intègrent davantage dans la société.

Signification et orientations futures
L'article soutient qu'une « défense en couches » est essentielle, combinant un red-teaming rigoureux, un ajustement de l'alignement, l'utilisation d'outils en bac à sable et une surveillance continue avec une transparence exécutoire et des règles d'allocation de calcul. Il postule que sans une telle intégration, les dividendes de productivité des LLM risquent d'être éclipsés par des violations de confidentialité, des cascades de désinformation et un creusement des inégalités.

Les auteurs préconisent :

• Audit dynamique : Des systèmes de surveillance continue et en temps réel pour signaler les problèmes émergents tels que de nouvelles formes de discours haineux ou d'attaques par prompt.
• Collaboration interdisciplinaire : L'intégration d'éthiciens, de scientifiques sociaux et d'experts du domaine dans la boucle de développement de l'IA pour aborder le contexte socioculturel des préjudices.
• Gouvernance du calcul : L'exploration de régimes réglementaires (par exemple, un système de plafonnement et d'échange pour les FLOPS) pour gérer les ressources en amont qui déterminent les capacités des modèles.
• Évolution des références : Le développement de plateformes de référence dynamiques et ouvertes qui évoluent avec les capacités des modèles et incluent des données d'incidents réels.

En définitive, l'étude conclut que, bien que les LLM détiennent un potentiel considérable pour le bien social, la réalisation de ce potentiel nécessite une approche proactive et multifacette de la minimisation des préjudices, orientant l'innovation grâce à des garde-fous informés par les incidents passés et la recherche en cours.