Framing Instability in LLM Ethical Stance: Auditing Negation Sensitivity in Moral Dilemmas
Cet article audite 16 modèles de langage à travers des dilemmes éthiques et révèle que leurs positions morales sont hautement instables et sujettes à des basculements selon que les questions sont formulées sous forme d'affirmations ou de négations, une vulnérabilité particulièrement sévère dans les modèles plus petits et souvent masquée par les méthodes d'évaluation binaire standard.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous ayez un ami robot super intelligent, capable de donner d'excellents conseils sur des questions morales difficiles, comme « Dois-je dire la vérité si cela blesse quelqu'un ? » ou « Est-il acceptable de transgresser une règle pour sauver une vie ? ». On s'attendrait à ce que ce robot possède une boussole morale solide, n'est-ce pas ? Si vous demandez : « Est-ce que voler est mal ? », il devrait dire « Oui ». Si vous demandez : « Est-ce que ne pas voler est bien ? », il devrait aussi dire « Oui ». La réponse devrait rester la même car la situation n'a pas changé, seuls les mots utilisés ont changé.
Mais voici le revers de la médaille : une nouvelle étude menée par Katherine Elkins et Jon Chun a révélé que pour beaucoup de ces robots IA, la réponse change complètement simplement parce que l'on a inversé la phrase. C'est comme si vous demandiez à un ami : « Aimes-tu la pizza ? » et qu'il répondait « Oui ! », puis que vous demandiez : « Détestes-tu la pizza ? » et qu'il réponde « Non ! » (ce qui signifie qu'il l'aime), mais qu'ensuite vous demandiez : « Ne détestes-tu pas la pizza ? » et qu'il réponde soudainement « Oui ! » à nouveau, comme si le robot était confus sur ce qu'est la pizza.
Le Grand Revers de Polarité
Les chercheurs ont testé 16 modèles d'IA différents (certains fabriqués par de grandes entreprises américaines, d'autres par des entreprises chinoises, et d'autres plus petits, en "open-source") avec 14 dilemmes moraux délicats. Ils ont posé la même question à chaque modèle de deux manières :
- La façon du « Devrait » : « Ils devraient voler le magasin. »
- La façon du « Ne devrait pas » : « Ils ne devraient pas voler le magasin. »
Si le robot est stable, il devrait dire « Non » à la première et « Oui » à la seconde (signifiant qu'il est d'accord sur le fait que ne pas voler est le bon choix). Mais pour les modèles plus petits, en "open-source", les résultats étaient délirants. Lorsqu'on demandait « Ils devraient voler le magasin », ces modèles n'étaient d'accord que 24 % du temps. Mais lorsqu'on demandait « Ils ne devraient pas voler le magasin », ils acceptaient soudainement l'action 77 % du temps !
C'est un écart de 76 points de pourcentage. C'est comme si le robot regardait un feu rouge et disait « Stop », mais quand vous disiez « Ne partez pas », il disait « Allez-y ! ». L'étude a constaté que pour certains de ces modèles plus petits, le basculement était encore plus extrême, atteignant 100 % d'accord sous certaines formulations complexes.
Le Problème du « Yes-Man »
Pourquoi cela se produit-il ? Les auteurs suggèrent que les robots ne réfléchissent pas réellement à la logique. Au lieu de cela, ils jouent peut-être à un jeu de « correspondance de mots-clés ». Si l'invite contient le mot « voler », le robot voit le mot « voler » et pense : « Oh, je dois parler de vol ! » et accepte accidentellement l'action, même si la phrase dit « ne devrait pas ». C'est comme un élève qui voit le mot « pas » dans un problème de mathématiques mais l'ignore parce qu'il est trop concentré sur les chiffres.
L'étude a également vérifié si les robots étaient simplement des « yes-men » (acceptant tout ce que l'utilisateur disait). Si c'était le cas, ils accepteraient « Ne vole pas » en disant « D'accord, je ne vais pas voler ». Mais ils ne l'ont pas fait. Ils ont accepté « Ne vole pas » en disant « D'accord, je vais voler ». Ce n'est donc pas seulement un comportement de « yes-man » ; c'est un véritable bug dans leur gestion des mots de négation.
L'Accord « Faux »
Voici une autre partie sournoise : la façon dont nous testons habituellement ces robots est défectueuse. La plupart des tests demandent simplement « Êtes-vous d'accord ou pas d'accord ? » et comptent les réponses « d'accord ». Les chercheurs ont découvert que ce simple bouton « d'accord/pas d'accord » est un menteur. Il compte 38 % d'accords de plus que ce qui existe réellement.
Imaginez qu'un robot dise : « Je ne suis pas sûr, mais peut-être que c'est acceptable », et que le test compte cela comme un « Oui ». Les chercheurs ont fait lire les réponses à des humains et ont constaté que les robots écrivaient souvent des raisons qui contredisaient leur propre bouton « Oui » ou « Non ». Environ 13 % du temps, l'explication écrite du robot disait le contraire de ce que son bouton indiquait. C'est comme un étudiant qui écrit un essai argumentant contre le vol, mais qui coche ensuite la case indiquant « Je soutiens le vol ».
Qui est le plus stable ?
Tous les robots ne sont pas également confus.
- Les petits modèles en "open-source" : Ils étaient les plus fragiles. Leurs réponses basculaient radicalement selon la manière dont la question était posée.
- Les grands modèles commerciaux : Les modèles des grandes entreprises (comme GPT-5, Claude et Gemini) étaient meilleurs, mais loin d'être parfaits. Ils basculaient moins, mais ils changeaient tout de même d'avis. Par exemple, l'accord entre différents modèles est passé de 73 % lorsque la question était positive à 59 % lorsqu'elle était négative. Cela signifie que si vous posiez la même question de manière négative à deux robots différents dits « intelligents », ils étaient beaucoup plus susceptibles d'être en désaccord.
- Les modèles de « raisonnement » : Certains modèles à qui l'on demandait de « réfléchir étape par étape » avant de répondre s'en sortaient mieux. Un modèle, Grok-4.1-reasoning, a réduit sa confusion de 57 % par rapport à sa version sans raisonnement. Cela suggère que si le robot ralentit et lit réellement toute la phrase au lieu de simplement survoler les mots-clés, il réussit plus souvent.
Est-ce important ?
Les chercheurs avertissent que ce n'est pas seulement un tour de passe-passe amusant. Si un hôpital utilise une IA pour aider à décider des soins aux patients, ou si une banque utilise une IA pour approuver des prêts, et que la réponse de l'IA change simplement parce que le médecin ou le banquier a formulé la question différemment, c'est un énorme problème.
Ils ont constaté que les robots étaient particulièrement instables dans les scénarios financiers et de business (avec un score de sensibilité de 0,63–0,65) par rapport aux scénarios médicaux (0,36). Cela signifie que les robots pourraient donner les conseils les plus peu fiables précisément au moment où les gens traitent de l'argent ou de dettes.
L'essentiel
L'article ne dit pas que ces robots sont « cassés » pour toujours, mais il affirme qu'ils sont actuellement peu fiables pour des décisions à enjeux élevés si vous ne les vérifiez pas attentivement. Les auteurs proposent un nouveau test appelé l'Indice de Sensibilité à la Négation (ISN) pour mesurer à quel point la réponse d'un robot bascule quand on inverse les mots.
Ils suggèrent que tant que les robots ne réussissent pas ce test, nous ne devrions pas les laisser prendre de grandes décisions seuls. Si la réponse d'un robot dépend du fait que vous disiez « devrait » ou « ne devrait pas », il ne porte pas réellement un jugement sur la situation ; il réagit simplement à la structure de la phrase. Et dans le monde réel, nous avons besoin que nos amis IA soient cohérents, pas confus.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.