Incoherent by Design? On the Moral Self-Consistency of LLMs
Cet article démontre que les grands modèles de langage présentent une incohérence morale significative, avec des taux de contradiction atteignant jusqu'à 78 % à travers des scénarios éthiquement équivalents, remettant ainsi en question l'intégrité épistémique et l'alignement des valeurs des systèmes d'IA utilisés dans des contextes moralement sensibles.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde moderne, nous nous tournons de plus en plus vers l'intelligence artificielle pour nous aider à naviguer dans des choix difficiles. Ces systèmes, connus sous le nom de modèles de langage étendu, sont entraînés sur de vastes quantités de textes humains et peuvent discuter de sujets complexes, de l'histoire à la science, avec une fluidité surprenante. Lorsqu'on les interroge sur le bien et le mal, ils peuvent souvent réciter des principes moraux qui ressemblent beaucoup aux nôtres. Nous pourrions leur demander s'il est acceptable de mentir pour protéger les sentiments de quelqu'un, ou comment diviser des ressources limitées de manière équitable. L'espoir est que ces outils puissent offrir des conseils cohérents et fiables dans des situations où le jugement humain pourrait faillir. Cependant, pour qu'un système soit véritablement digne de confiance en matière d'éthique, il doit faire plus que simplement paraître raisonnable ; il doit être cohérent. Si une personne ou une machine change d'avis sur une règle morale simplement parce que la question a été posée d'une manière légèrement différente, ses conseils deviennent peu fiables. Cela soulève une question fondamentale sur la nature de ces esprits numériques : détiennent-ils un ensemble stable de croyances, ou ne font-ils que mimer le ton de la question qu'ils reçoivent ?
Une équipe de chercheurs de l'Université Cornell et de l'Université technologique de Nanyang s'est donné pour mission de tester cette stabilité. Ils voulaient voir si ces systèmes d'intelligence artificielle pouvaient s'en tenir à une seule philosophie morale face à des situations presque identiques. Pour ce faire, ils n'ont pas demandé aux modèles de choisir entre différentes écoles de pensée éthique, comme comparer une approche basée sur des règles à une approche basée sur les conséquences. Au lieu de cela, ils ont demandé aux modèles d'adopter un point de vue spécifique et de voir s'ils pouvaient l'appliquer de manière cohérente. Les chercheurs se sont concentrés sur trois grandes manières dont les humains ont historiquement pensé la moralité. La première est une approche basée sur les règles, où les actions sont jugées comme bonnes ou mauvaises en fonction du respect d'une loi universelle, quel que soit le résultat. La deuxième est une approche basée sur les conséquences, où la moralité d'une action dépend entièrement de sa capacité à produire le meilleur résultat global pour le plus grand nombre de personnes. La troisième se concentre sur le caractère, jugeant les actions en fonction de savoir si elles reflètent les vertus d'une bonne personne, telles que l'honnêteté ou le courage.
Les chercheurs ont conçu une expérience contrôlée pour isoler le raisonnement des modèles. Ils ont créé quatre scénarios moraux spécifiques, chacun mettant en évidence une tension différente, telle que le conflit entre dire la vérité et prévenir un mal, ou l'arbitrage entre l'équité et l'efficacité. Pour chaque scénario, ils ont rédigé trois versions légèrement différentes de la question. Ces versions ont été conçues pour encourager subtilement la même perspective éthique sans la nommer explicitement. Par exemple, dans un scénario concernant une mère atteinte de démence qui a oublié le décès de son mari, une question pourrait mettre l'accent sur le devoir de dire la vérité, tandis qu'une autre pourrait mettre l'accent sur le devoir de protéger une personne vulnérable de la douleur. Les deux questions étaient conçues pour susciter une réponse basée sur les règles, mais elles présentaient le dilemme différemment. Les chercheurs ont ensuite demandé à trois modèles de langage différents de répondre à ces questions. Après avoir reçu les réponses, ils ont traduit les réponses en langage naturel en un format logique structuré pour vérifier les contradictions. Cela leur a permis de voir si le raisonnement du modèle tenait la route lorsque la même situation sous-jacente était présentée avec une nuance différente.
Les résultats ont révélé un manque de stabilité frappant. Dans les cas les plus extrêmes, les modèles se contredisaient dans jusqu'à 78 % des scénarios. Cela signifie que lorsqu'un même modèle était interrogé pour raisonner à partir du même point de vue éthique sur la même situation, il arrivait fréquemment à des conclusions opposées simplement parce que la formulation de la question avait légèrement changé. Par exemple, un modèle pourrait décider que mentir à un patient mourant est moralement mal quand la question se concentre sur la violation d'une règle, mais pourrait ensuite décider que mentir est moralement acceptable quand la question se concentre sur le devoir de prévenir la souffrance, même si les deux questions étaient destinées à tester la même philosophie basée sur les règles. L'incohérence ne se limitait pas à un seul type de modèle ; elle apparaissait à travers différents systèmes, y compris ceux de développeurs majeurs. L'étude a révélé que les modèles étaient particulièrement instables lorsqu'ils traitaient la tension entre la vérité et les conséquences, ainsi qu'entre la motivation émotionnelle et le raisonnement froid.
Ces conclusions suggèrent que la logique interne de ces systèmes est bien plus fragile qu'on ne le supposait auparavant. Les modèles semblent être très sensibles à la formulation spécifique d'une instruction, changeant leur position morale pour correspondre au ton de la question plutôt que de s'en tenir à un ensemble cohérent de principes. Il ne s'agit pas simplement d'un bug technique ; cela pointe vers un problème plus profond dans la manière dont ces systèmes traitent l'information. Si un système ne peut pas appliquer de manière cohérente ses propres principes énoncés, il ne peut pas être considéré comme fiable pour offrir des conseils dans des situations réelles où les gens dépendent de lui. Les chercheurs soutiennent qu'avant d'espérer aligner l'intelligence artificielle sur les valeurs humaines, nous devons d'abord nous assurer que le système est cohérent en interne. Sans cette fondation d'auto-cohérence, l'objectif de créer un agent moral digne de confiance reste hors de portée. L'étude ne prétend pas que ces modèles sont incapables de raisonnement moral, mais plutôt que leur raisonnement est actuellement trop instable pour être considéré comme fiable. À mesure que ces outils s'intègrent dans nos vies, comprendre leurs limites est crucial pour garantir qu'ils nous servent bien sans nous égarer.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.