📊 statistics

Aristotelian Virtue Profiling of LLMs through Ethical Dilemmas

Cet article présente VirtueMap, un cadre qui évalue les modes de prise de décision éthique des grands modèles de langage à travers l'éthique de la vertu aristotélicienne en classant les réponses aux dilemmes par rapport à des vérités de terrain validées par l'humain afin de générer des profils comparatifs de vertus telles que la sagesse, la justice et le courage.

Auteurs originaux : Ioannis Tzachristas, John Pavlopoulos

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ioannis Tzachristas, John Pavlopoulos

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de décrire la personnalité d'un nouvel ami, mais au lieu de lui demander « Es-tu une bonne personne ? » (ce qui est une question fermée difficile), vous lui demandez comment il gérerait une série de situations délicates du quotidien. Vous ne cherchez pas la « bonne » réponse ; vous cherchez à comprendre comment il hiérarchise ses valeurs.

C'est exactement ce que fait l'article « Aristotelian Virtue Profiling of LLMs through Ethical Dilemmas », mais pour l'Intelligence Artificielle.

Voici la décomposition de leur projet, VirtueMap, en utilisant des analogies simples :

1. Le Problème : L'IA est trop binaire

D'habitude, quand nous testons une IA, nous demandons : « Cette réponse est-elle juste ou fausse ? »
Mais la vie réelle n'est pas ainsi. Parfois, dire la vérité blesse les sentiments de quelqu'un. Parfois, être juste signifie être un peu strict. Parfois, il faut choisir entre être courageux ou être prudent.
Les auteurs soutiennent que les modèles d'IA font des choix différents basés sur différentes « priorités ». Une IA peut toujours choisir la réponse honnête, même si elle est brusque. Une autre peut choisir la réponse polie, même si elle est légèrement vague. Les deux sont « éthiques » à leur manière, mais elles ont des personnalités différentes.

2. La Solution : Une « Carte de Caractère »

Au lieu de donner à l'IA une note de réussite ou d'échec, les auteurs ont créé une VirtueMap. Voyez cela comme un graphique radar à cinq étoiles (une forme de pentagone) qui mesure le « caractère » d'une IA basé sur cinq vertus de la Grèce antique :

Sagesse pratique : Savoir ce qu'il faut faire dans une situation spécifique (pas seulement suivre une règle).
Justice : Être équitable et donner à chacun ce qu'il mérite.
Vérité : Être honnête et ne rien cacher.
Courage : Faire ce qui est juste même si c'est effrayant ou coûteux.
Tempérance : Savoir quand se modérer et ne pas exagérer.

3. Comment ils l'ont testé : Le « Jeu du Classement »

Les chercheurs n'ont pas simplement demandé à l'IA de choisir une réponse. Ils lui ont donné 7 dilemmes éthiques du quotidien (comme « Vous avez trouvé une erreur dans un tableur ; le corrigez-vous immédiatement ou attendez-vous ? »).
Pour chaque dilemme, il y avait 5 réponses possibles.

L'ancienne méthode : Demander à l'IA : « Laquelle est la meilleure ? »
La méthode VirtueMap : Demander à l'IA de classer les 5 options de la « Plus Éthique » à la « Moins Éthique ».

En voyant comment l'IA classe toutes les options, ils peuvent voir sa « personnalité » complète. Déteste-t-elle l'option « impolie mais honnête » ? Adore-t-elle l'option « prudente mais vague » ?

4. La « Vérité de Référence » : Vérification avec des humains

Comment savent-ils quel classement représente le « Courage » ou la « Justice » ?
Ils n'ont pas deviné. Ils ont demandé à plus de 100 humains réels de regarder les 5 options et de dire : « Si nous voulions montrer le Courage, quel serait l'ordre de ces éléments ? »
Ils n'ont conservé les « règles » de notation que si 95 % des humains étaient d'accord. Cela garantit que la carte est basée sur le bon sens, et non sur les opinions personnelles des auteurs.

5. Les Résultats : À quoi « ressemble » l'IA

Ils ont testé 9 familles d'IA célèbres (comme GPT, Claude, Llama, etc.) plusieurs fois pour s'assurer que les résultats étaient stables.

La bonne nouvelle : Les IA étaient très cohérentes. Si vous posiez la même question à la même IA deux fois, elle donnait un classement très similaire (90 % de cohérence).
Les différences de personnalité :
- Toutes les IA étaient très bonnes en Sagesse pratique (elles aimaient les réponses équilibrées et réfléchies).
- Les plus grandes différences apparaissaient dans le Courage, la Tempérance et la Justice.
- Exemple : Une IA peut être très « Courageuse » (choisit toujours la vérité directe et risquée), tandis qu'une autre est très « Tempérante » (choisit toujours la voie sûre et prudente). Aucune n'est « défectueuse » ; elles ont simplement des profils différents.

6. Le Site Web Interactif

Les auteurs ont construit un site web où vous pouvez jouer au jeu. Vous classez les dilemmes, et le site dessine votre « Pentagone de la Vertu ». Il compare ensuite votre forme aux formes des 9 différentes IA pour voir quelle IA possède une personnalité la plus similaire à la vôtre.

L'essentiel

Ce papier ne dit pas que l'IA possède une âme ou qu'elle est véritablement « bonne » ou « mauvaise ». Il dit plutôt : « Les modèles d'IA ont des styles éthiques différents, tout comme les humains. »

VirtueMap est un outil pour mesurer ces styles. Cela nous permet de passer de la question « Cette IA est-elle correcte ? » à la question « Quel genre de caractère éthique cette IA affiche-t-elle ? ». Cela aide à comprendre pourquoi une IA fait les choix qu'elle fait, plutôt que de simplement juger la réponse finale.

Résumé technique : Profilage de la vertu aristotélicienne des LLM à travers des dilemmes éthiques

Énoncé du problème
Les modèles de langage de grande taille (LLM) génèrent fréquemment des sorties qui donnent la priorité à des considérations éthiques concurrentes, telles que la véracité par rapport à la tact, ou la justice stricte par rapport à la flexibilité contextuelle. Les méthodes d'évaluation traditionnelles traitent souvent ces comportements comme des catégories binaires « bien » ou « mal », occultant la structure sous-jacante de la prise de décision éthique. Les auteurs soutiennent qu'un modèle privilégiant un compromis prudent n'est pas nécessairement moins éthique qu'un modèle privilégiant une divulgation directe ; il peut plutôt exprimer un profil éthique distinct. Le défi consiste à dépasser les jugements à étiquette unique pour un cadre descriptif capable de capturer ces nuances de dispositions sans prétendre que les modèles possèdent un véritable caractère moral.

Méthodologie : Le cadre VirtueMap
Le document introduit VirtueMap, un cadre qui profile les modèles (et les humains) à travers un prisme de l'éthique de la vertu aristotélicienne. Au lieu de sélectionner une seule réponse « correcte », le système exige des participants qu'ils classent les cinq réponses à un ensemble de dilemmes éthiques, de la plus à la moins préférable sur le plan éthique.

Vertus et dilemmes : Le cadre profile cinq vertus aristotéliciennes : la sagesse pratique (phronesis), la justice (dikaiosne), la véracité (aletheia), le courage (andreia) et la tempérance (sophrosyne). L'instrument se compose de sept dilemmes généraux, non létaux, non politiques et non religieux (ex. : « Erreur de feuille de calcul », « Exception de délai »), chacun offrant cinq réponses (A–E).
Validation par le sens commun : Pour établir une clé de notation, les auteurs ont proposé un ordonnancement des cinq réponses pour chaque paire dilemme-vertu, représentant l'ordre de la plus à la moins « expressive » de cette vertu. Ces ordonnancements ont été validés via des questionnaires en ligne auprès de plus de 100 répondants par ordonnancement. Un ordonnancement n'a été retenu comme « vérité terrain opérationnelle » que si au moins 95 % des répondants le confirmaient (avec $N > 100$ ). Cela garantit que la clé de notation repose sur la reconnaissance par le sens commun de la pertinence de la vertu plutôt que sur l'intuition des auteurs.
Mécanisme de notation : Les classements sont évalués par rapport aux ordonnancements d'expression de la vertu retenus en utilisant l'alignement de Borda normalisé.
- Des poids de Borda (5, 4, 3, 2, 1) sont attribués aux rangs.
- L'alignement brut $A(d, v)$ est le produit scalaire des scores de Borda du classement observé et de l'ordonnancement de la vertu.
- Ce score brut est normalisé sur une échelle de 0 à 100, où 55 représente un accord parfait avec l'ordonnancement de la vertu et 35 une inversion complète.
- Le score final pour une vertu est la moyenne de ces scores normalisés sur l'ensemble des dilemmes répondus.
Protocole d'évaluation des LLM : Les auteurs ont évalué neuf familles de LLM (GPT, Claude, Gemini, Llama, DeepSeek, Mistral, MiniMax, Grok, Qwen) via OpenRouter. Pour tenir compte de la stochasticité, l'évaluation a été séquentielle : les modèles ont été exécutés plusieurs fois (jusqu'à 10) jusqu'à ce que la demi-largeur de l'intervalle de confiance à 95 % pour les moyennes de vertu descende en dessous de 5,0 points de pourcentage ou que la cohérence atteigne 95 %. Le profil rapporté est la moyenne empirique de ces exécutions répétées.

Principales contributions

Instrument de classement éthique : Un nouvel outil fondé sur les vertus aristotéliciennes qui exige un ordonnancement complet des réponses plutôt qu'une sélection à choix unique.
Critère de validation : Un mécanisme de validation par le sens commun des ordonnancements de réponses basé sur un seuil élevé de confirmation humaine (>95 %), séparant la question de « ce qu'une option exprime » de « ce qu'un modèle préfère ».
Règle de notation explicite : Une méthode mathématiquement définie (alignement de Borda normalisé) pour convertir les classements en profils de vertu continus.
Suite de profilage par exécutions répétées : Une méthodologie qui traite la stochasticité des LLM comme faisant partie de la mesure, rapportant des moyennes empiriques et des intervalles de cohérence plutôt que des instantanés de passes uniques.
Implémentation interactive : Un site web accessible via navigateur qui calcule les profils localement, permettant aux utilisateurs de comparer leurs propres classements aux profils mesurés des LLM.

Résultats
L'évaluation a produit 44 passages complets de questionnaires valides pour neuf familles de modèles.

Cohérence : La cohérence moyenne des rangs entre les modèles est de 90,3 %, indiquant une grande stabilité dans la manière dont les modèles classent les réponses lors des exécutions répétées.
Profils de vertu : Le score moyen le plus élevé parmi tous les modèles est pour la Sagesse pratique (90,4), suivie de la Véracité (82,3), de la Justice (80,5), du Courage (78,0) et de la Tempérance (76,9).
Variabilité : Les plus grandes différences entre les modèles ont été observées dans le Courage (plage de 10,95), la Tempérance (plage de 10,26) et la Justice (plage de 9,70).
Spécificités des modèles : Qwen a obtenu le score le plus élevé en Sagesse pratique ; MiniMax en Justice ; Claude en Véracité et Courage ; et GPT en Tempérance.
Visualisation : Les résultats sont visualisés sous forme de graphiques en pentagone, soulignant que si les modèles convergent sur la Sagesse pratique (préférant souvent des options équilibrées), ils divergent considérablement sur les dimensions nécessitant une intervention (Courage) ou de la retenue (Tempérance).

Signification et affirmations
Le document positionne VirtueMap comme un outil descriptif, et non comme un test de valeur morale. Sa principale importance réside dans le passage de l'évaluation éthique de la recherche d'une étiquette correcte unique à l'identification de la « disposition exprimée par un schéma de choix ».

Interprétabilité : Le cadre fournit un système de coordonnées interprétable par l'humain, permettant de comparer des modèles qui peuvent éviter des réponses préjudiciables mais diffèrent dans leur hiérarchisation des valeurs (par exemple, divulgation par incitation vs retard prudent).
Limites : Les auteurs précisent explicitement que les résultats n'impliquent pas que les LLM possèdent littéralement des vertus. Les profils sont spécifiques au champ d'application du questionnaire (sept dilemmes, cinq vertus) et doivent être considérés comme des modèles de réponses observés sous un protocole spécifique, et non comme des propriétés fixes des modèles. Les auteurs reconnaissent les limites potentielles concernant le biais de confirmation lors de l'étape de validation et la nature de sous-ensemble opérationnel des vertus sélectionnées.

Ce travail contribue à la littérature sur l'IA et l'éthique de la vertu en faisant des vertus aristotéliciennes la représentation primaire de l'espace de profilage du comportement des modèles, plutôt que de les traiter simplement comme un prisme théorique ou une sous-catégorie de benchmarks moraux plus larges.