On the Concept of Violence: A Comparative Study of Human and AI Judgments

Cette étude compare systématiquement les jugements humains et les classifications des grands modèles de langage sur 22 scénarios moralement ambigus afin d'analyser comment l'intelligence artificielle opérationnalise et transforme les conceptions plurielles de la violence, révélant ainsi son rôle épistémique dans la médiation des normes sociales.

L'essentiel

🎙️ L'Expérience : Un jeu de radio devenu une enquête scientifique

Imaginez un animateur de radio en Italie qui lance un défi à ses auditeurs : « Est-ce que c'est de la violence ? »

Il leur présente 22 situations, allant du plus évident (un policier qui se fait frapper) au plus subtil (quelqu'un qui vous regarde fixement dans le bus ou qui vous envoie une insulte par message privé). Les gens doivent répondre par un simple « Oui », « Non » ou « Ça dépend ».

Résultat : Plus de 3 000 personnes ont répondu. Leurs avis étaient souvent partagés, surtout pour les cas ambigus. C'est là que l'idée devient fascinante : Et si on posait les mêmes questions à des intelligences artificielles (des robots) ?

🤖 Le Duel : Humains contre Robots

Les chercheurs ont pris 18 modèles d'intelligence artificielle (des versions différentes de "chatbots" comme ceux que vous utilisez peut-être) et leur ont demandé de classer ces mêmes 22 situations.

Le but ? Voir si les robots pensent comme nous, ou s'ils ont leur propre "boussole morale".

🍎 Les Découvertes : Là où les robots et les humains ne sont pas d'accord

Voici les trois grandes leçons de l'étude, expliquées avec des métaphores :

1. Le robot est un "casseur d'ambiguïté" (Le marteau vs le chirurgien)

Les humains adorent dire « Ça dépend ». Si quelqu'un dit une blague méchante, un humain dira : « Ça dépend du contexte, de l'humour, de la relation ».
Les robots, eux, sont comme un marteau qui veut tout frapper net. Ils détestent l'incertitude.

• Ce qu'ils font : Quand les humains hésitent, les robots tranchent souvent en disant « Ce n'est pas de la violence » ou « C'est de la violence », sans laisser de place au doute. Ils simplifient trop le monde.

2. Le mal invisible vs le mal visible (Le coup de poing vs la gifle morale)

C'est le point le plus surprenant.

• Pour les humains : Insulter quelqu'un sur Facebook ou envoyer des menaces de mort en ligne, c'est très violent. C'est comme recevoir une gifle morale.
• Pour les robots : Ils sont beaucoup plus "mous" sur ce point. Ils ont tendance à dire « Ce n'est pas de la violence » pour les insultes en ligne, car ils sont entraînés à penser que la violence, c'est surtout quand il y a du sang ou des coups physiques.
• L'analogie : Imaginez que vous recevez un coup de poing dans le ventre (physique) et qu'on vous crache dessus (humiliation). Pour nous, les deux font mal. Pour le robot, seul le coup de poing compte vraiment.

3. Le contexte est la clé (Le film vs la photo)

Les humains sont des experts du contexte. Ils savent qu'une phrase peut être violente ou non selon qui la dit, quand et pourquoi.

• L'exemple du film : Dans l'étude, il y a une scène où un animateur de TV empêche un invité de dire des choses horribles.
  • Les humains disent : « Ce n'est pas de la violence, l'animateur a sauvé la situation ! »
  • Les robots disent souvent : « Si, c'est de la violence, car l'invité voulait dire des choses violentes ! »
• La métaphore : Les humains regardent le film entier (l'histoire, la fin heureuse). Les robots regardent juste une photo (ce qui a été dit) et ignorent la suite de l'histoire.

⚠️ Le Danger : Pourquoi on ne devrait pas faire confiance aveuglément aux robots

L'étude met en garde contre un piège dangereux : La confiance aveugle.

• Les moteurs de recherche (Google) sont comme une bibliothèque : ils vous donnent 10 livres différents. Vous devez lire, comparer et décider vous-même. Vous voyez qu'il y a des désaccords.
• Les robots (Chatbots) sont comme un oracle qui vous donne une seule réponse, très sûre de lui, très polie, très convaincante.

Le problème ? Le robot ne "sait" pas vraiment. Il devine statistiquement la réponse la plus probable. Mais comme il parle avec une telle assurance, nous avons tendance à croire qu'il a raison, même quand il se trompe sur des sujets moraux complexes.

🏁 Conclusion : Le robot est un outil, pas un juge

En résumé, cette étude nous dit :

1. Les robots sont bons pour les cas évidents (frapper quelqu'un = violence).
2. Mais ils sont mauvais pour les nuances (l'humour, l'intention, le contexte social).
3. Ils ont tendance à "nettoyer" le monde en enlevant les zones grises, ce qui peut être dangereux si on les laisse décider de ce qui est bien ou mal.

Le message final : Utilisez l'IA comme un assistant qui vous aide à réfléchir, mais ne la laissez jamais prendre la décision finale sur des questions de morale ou de justice. Gardez votre cerveau humain pour les nuances, car c'est là que réside notre humanité.

Résumé technique

1. Problématique

La définition de la violence est intrinsèquement subjective, fluctuante et dépendante du contexte culturel et individuel. Alors que l'agression physique est un prototype clair, les formes modernes de violence (exclusion, harcèlement en ligne, actes symboliques, omissions) font l'objet de débats moraux intenses.
Le problème central soulevé par cette étude est le suivant : alors que les grands modèles de langage (LLM) sont de plus en plus sollicités pour interpréter, étiqueter et arbitrer des comportements sociaux complexes, leurs jugements correspondent-ils aux perceptions humaines ? Les LLM reproduisent-ils la pluralité des opinions humaines, ou tendent-ils à simplifier, aplatir ou déformer ces concepts moraux ambigus en raison de leurs mécanismes d'alignement et de leurs contraintes de sécurité ?

2. Méthodologie

L'étude adopte une approche comparative systématique entre des jugements humains et des classifications générées par des LLM sur un ensemble de 22 scénarios délibérément provocateurs.

• Données Humaines :

  • Collecte : Plus de 3 000 réponses ont été recueillies via un questionnaire anonyme diffusé sur les réseaux sociaux d'une émission de radio italienne (Chiacchiericcio sur Radio Deejay).
  • Tâche : Les participants devaient classer chaque phrase dans l'une des trois catégories : « Violence », « Non-violence » ou « Dépend du contexte ».
  • Échantillon : Environ 73 335 jugements humains au total.

• Données IA (LLM) :

  • Modèles : 18 modèles de langage open-weight variés (architectures LLaMA, Mistral, Qwen, Phi, Gemma, etc.) ont été sélectionnés pour couvrir une diversité de tailles (de ~1B à >10B de paramètres) et de stratégies d'entraînement (tuning d'instruction, RLHF, optimisation de préférence).
  • Contraintes : Tous les modèles ont reçu le même prompt strict (Algorithm 1) leur demandant de choisir une seule catégorie sans justification, afin de minimiser les biais de formulation et d'assurer une comparaison équitable.
  • Exclusion : Deux modèles (phi3:mini et gemma3:4b) ont été exclus car ils n'ont pas pu fournir de classifications rigides pour l'ensemble des phrases.

• Analyse Statistique :

  • Comparaison des distributions globales et par phrase via des tests du Chi-deux ($\chi^2$).
  • Correction de la fausse découverte (FDR) de Benjamini-Hochberg pour les comparaisons multiples.
  • Calcul de l'accord inter-modèle (Kappa de Fleiss) et de la corrélation avec le consensus humain (Spearman).
  • Analyse de l'alignement par modèle (précision par rapport à la majorité humaine) et par domaine thématique.

3. Contributions Clés

• Première comparaison systématique : Mise en place d'un cadre méthodologique rigoureux pour comparer les jugements moraux humains et artificiels sur un large éventail de scénarios de violence, y compris des nuances subtiles (harcèlement en ligne, omissions, actes symboliques).
• Analyse de la variabilité des modèles : Démonstration que les LLM ne forment pas un bloc monolithique ; leur comportement varie significativement selon la taille, la famille et les stratégies d'alignement, bien que sans corrélation linéaire simple avec le nombre de paramètres.
• Identification des biais structurels : Mise en évidence de la tendance des LLM à réduire l'ambiguïté contextuelle (« dépend du contexte ») au profit de catégories binaires, et de leur sensibilité différentielle aux formes de violence verbale versus physique.

4. Résultats Principaux

• Divergence Globale : Bien que les LLM classent globalement la majorité des scénarios comme violents (71,9 %), leur distribution diffère significativement de celle des humains ($p = 0,0034$). La différence majeure réside dans le déplacement des jugements « Dépend du contexte » (humains) vers « Non-violence » (IA).
• Disparités par Domaine :
  • Expressions verbales (Harcèlement en ligne) : C'est le domaine de plus grande divergence. Les humains considèrent massivement les insultes privées/publiques et les campagnes de harcèlement comme violents (>90 %), tandis que les LLM les classent souvent comme « Non-violence » (~50-56 %). Cela suggère que les LLM ont une définition plus étroite de la violence, centrée sur la force physique, et sous-estiment l'agression psychologique/réputationnelle.
  • Incitation interrompue (Scénario 20) : À l'inverse, pour un scénario où un hôte interrompt un invité sur le point d'appeler à l'élimination physique d'un groupe, les LLM classent cela comme « Violence » (81,2 %) beaucoup plus souvent que les humains (27,2 %). Les humains intègrent l'interruption (l'absence de résultat) comme atténuation, tandis que les LLM se focalisent sur le contenu propositionnel et l'intention.
  • Convergence : Les deux groupes s'accordent fortement sur les cas prototypiques (violence physique directe, contact non consenti).
• Consensus Inter-Modèle : L'accord entre les différents LLM est faible (Kappa de Fleiss = 0,134), indiquant une grande instabilité des modèles sur les cas ambigus. Là où les humains et les IA divergent le plus, les modèles divergent aussi entre eux.
• Impact de la Taille et de l'Architecture : Aucune corrélation monotone n'a été trouvée entre la taille du modèle (nombre de paramètres) et la précision par rapport aux jugements humains. L'alignement dépend davantage des stratégies de fine-tuning et de sécurité que de l'échelle pure.

5. Signification et Implications

• Rôle Épistémique de l'IA : Les LLM ne sont pas de simples reflets de la moyenne des opinions humaines. Ils agissent comme des forces sociales qui peuvent « lisser » la complexité morale. En réduisant l'ambiguïté (en évitant la catégorie « Dépend du contexte »), ils risquent de présenter des jugements probabilistes comme des vérités définitives.
• Risques pour l'Utilisateur : Dans des contextes quotidiens, les utilisateurs pourraient surinterpréter les réponses catégorielles des LLM comme des arbitrages moraux experts, ignorant la pluralité des perspectives humaines et les nuances contextuelles. Cela peut conduire à une « réification » des sorties de l'IA en normes factuelles ou morales non fondées.
• Recommandations : Il est crucial de développer une littératie numérique permettant aux utilisateurs de comprendre que ces systèmes sont des modèles statistiques génératifs, et non des arbitres de vérité. La transparence sur l'incertitude et la pluralité des interprétations doit être maintenue, contrairement à la tendance actuelle des chatbots à fournir des réponses fluides et univoques.

En conclusion, cette étude révèle que si les LLM capturent les cas clairs de violence, ils échouent à modéliser la complexité des frontières morales humaines, privilégiant souvent le contenu littéral au détriment du contexte situationnel, ce qui pose des défis majeurs pour leur déploiement dans des domaines nécessitant un jugement éthique nuancé.