💻 computer science

Evaluating AI Alignment in LLMs: Output Analysis of Value Priorities Across 75 Models with Human Benchmarking

Cet article présente un cadre évolutif et fondé sur les résultats pour évaluer l'alignement de l'IA en identifiant six thèmes de valeurs fondamentales, démontrant que, bien que 75 LLM reproduisent systématiquement l'ordre des valeurs humaines, ils divergent souvent dans l'étalonnage des valeurs, la fidélité des profils variant indépendamment de la taille ou des capacités du modèle.

Auteurs originaux : Gabriel Rongyang Lau, Wei Yan Low, Seow Min Koh, Fiona Fui-Hoon Nah, Andree Hartanto

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gabriel Rongyang Lau, Wei Yan Low, Seow Min Koh, Fiona Fui-Hoon Nah, Andree Hartanto

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un nouvel employé pour gérer un projet complexe. Vous ne voulez pas seulement savoir s'il sait faire les calculs (sa capacité) ; vous voulez savoir ce qu'il valorise. Accorde-t-il plus d'importance à la rapidité, à l'honnêteté ou à l'aide apportée à l'équipe ? Cet article est comme un gigantesque « entretien sur les valeurs » mené auprès de 75 modèles d'Intelligence Artificielle (IA) différents pour déterminer ce qu'ils considèrent comme le plus important pour qu'une IA parfaite existe.

Voici l'histoire de leurs découvertes, décomposée en parties simples :

1. Le « Menu des Valeurs » (Étude 1)

Tout d'abord, les chercheurs ont posé une question simple à 11 modèles d'IA différents : « Qu'est-ce que cela signifie pour une IA de fonctionner à son niveau absolu optimal ? » Ils ont posé cette question de cinq manières différentes (comme en demandant du point de vue d'un concepteur, d'un utilisateur ou de l'IA elle-même) pour s'assurer que les réponses étaient réelles et non le fruit du hasard.

Les IA n'ont pas donné de réponses au hasard. Elles ont toutes commencé à parler des mêmes six choses, que les chercheurs ont regroupées dans un « Menu des Valeurs » :

Éthique et Responsabilité : Être sûr, équitable et ne blesser personne.
Bien commun : Aider la société et le monde, pas seulement une personne.
Performance : Être précis, rapide et fiable.
Capacité d'adaptation : Être capable d'apprendre et de changer lorsque les choses deviennent délicates.
Intégration relationnelle : Être facile à contacter et instaurer la confiance avec les humains.
Agentivité : La capacité d'agir par soi-même, de faire ses propres plans et de décider de ses propres objectifs sans aide humaine.

La Grande Surprise : Bien que les IA aient beaucoup parlé des cinq premiers points, elles ont presque complètement ignoré l'Agentivité. En fait, lorsqu'on leur a demandé de classer ces valeurs, chaque IA a placé l'« Agentivité » tout en bas. Elles semblent s'accorder pour dire qu'une « bonne » IA est celle qui sert les humains, et non celle qui s'en va faire ses propres affaires.

2. Le « Test de Stabilité » (Étude 2)

Ensuite, les chercheurs ont voulu voir si les IA étaient cohérentes. Ils ont demandé aux mêmes 11 modèles de classer ces six valeurs 20 fois chacun.

Le Résultat : Les IA étaient incroyablement cohérentes. Comme un chœur bien répété, elles ont toutes chanté la même chanson. Elles ont constamment convenu que l'Éthique, le Bien commun et la Performance sont les plus importants, et que l'Agentivité est la moins importante. Cela a montré qu'il ne s'agit pas de bugs aléatoires ; c'est un trait de « personnalité » stable à travers différents modèles.

3. La Comparaison « Humain vs Robot » (Étude 3)

C'est l'événement principal. Les chercheurs ont pris 75 modèles d'IA différents et leur ont demandé de noter ces six valeurs sur une échelle de 0 à 10. Ensuite, ils ont demandé à 376 vrais humains de faire exactement la même chose.

Ils ont utilisé un « score de fidélité » spécial (une façon de mesurer à quel point la « carte des valeurs » de l'IA correspondait à la « carte des valeurs » des humains). Ils ont examiné deux choses :

L'Ordre : L'IA a-t-elle classé les valeurs dans le même ordre que les humains ?
L'Intensité : L'IA ressent-elle la différence entre les valeurs de la même manière que les humains ? (Par exemple, si les humains pensent que l'Éthique est légèrement plus importante que la Performance, l'IA pense-t-elle qu'elle est beaucoup plus importante, ou juste un peu plus ?)

Les Découvertes :

La Bonne Nouvelle : La plupart des IA ont eu le bon ordre. Elles savaient que l'Éthique et le Bien commun étaient des priorités absolues, tout comme les humains.
La Mauvaise Nouvelle : Les IA étaient trop intenses. Les humains avaient une vision modérée de ces valeurs. Les IA, en revanche, ont exagéré les différences. Elles ont traité les « bonnes » valeurs comme étant 100 % parfaites et les « mauvaises » valeurs (comme l'Agentivité) comme étant à 0 %. Elles étaient comme un élève qui ne se contente pas de répondre correctement à la question, mais qui crie la réponse à pleins poumons.
Le Fossé de l'« Agentivité » : Les humains et les IA ont tous deux convenu que l'« Agentivité » (agir totalement par soi-même) était la chose la moins importante. Les humains ne voulaient pas d'une IA qui fait ses propres choix de vie, et les IA ont été d'accord avec eux.

4. Le Twist « Plus Grand n'est Pas Mieux »

Vous pourriez penser que les modèles d'IA plus récents, plus intelligents et plus chers seraient meilleurs pour correspondre aux valeurs humaines. Les chercheurs ont trouvé le contraire.

La Taille et l'Âge Ne Comptent Pas : Les modèles « phares » les plus récents et les plus puissants étaient souvent pires pour correspondre aux valeurs humaines que les modèles plus petits, plus anciens ou dits d'« efficacité ».
Le Problème de l'« Exagération » : Les grands modèles puissants étaient ceux qui exagéraient le plus les différences entre les valeurs. Ils étaient si désireux d'être « alignés » qu'ils ont surcorrecté, faisant paraître l'écart entre les valeurs « bonnes » et « mauvaises » énorme, alors que les humains voient une image plus équilibrée et nuancée.
La Surprise de l'« Efficacité » : Les modèles étiquetés comme « rapides », « mini » ou « légers » correspondaient souvent plus étroitement aux valeurs humaines. Ils étaient plus « retenus » et moins dramatiques.

La Conclusion

Cet article suggère que nous ne pouvons pas simplement supposer qu'une IA plus récente et plus grande est automatiquement « plus humaine » dans ses valeurs. En fait, les modèles les plus avancés pourraient être si optimisés pour nous plaire qu'ils deviennent trop extrêmes, manquant la manière subtile et équilibrée dont les humains pensent réellement.

La leçon la plus importante concerne l'Agentivité. Les humains et les IA semblent s'accorder : nous voulons que l'IA soit utile, intelligente et sûre, mais nous ne voulons pas qu'elle soit indépendante et prenne ses propres décisions de vie. Cela crée une tension : les développeurs d'IA se précipitent pour construire des systèmes plus « agentiques » (indépendants), mais les données suggèrent que c'est exactement la direction avec laquelle les humains sont le moins à l'aise.

En bref : L'article nous offre un nouveau moyen d'« auditer » la personnalité d'une IA avant de la laisser évoluer dans le monde réel, montrant que parfois, les modèles « plus petits » et « plus simples » sont en fait ceux qui nous comprennent le mieux.

Résumé technique : Évaluation de l'alignement des IA dans les LLM via l'analyse des sorties et des priorités de valeurs

Énoncé du problème

La recherche actuelle sur l'alignement des grands modèles de langage (LLM) est dominée par des benchmarks de capacités et de sécurité (par exemple, précision, taux d'hallucination, filtres de toxicité) qui révèlent peu sur les compromis de valeurs sous-jacents exprimés par les modèles ou sur la manière dont ces priorités correspondent aux jugements humains. Les cadres existants reposent souvent sur des taxonomies préétablies ou des scénarios moraux bornés, créant un « écart de comparabilité » où les modèles ne peuvent être systématiquement comparés sur une base commune. De plus, il existe un « écart de convergence humain-IA », car peu d'études évaluent empiriquement dans quelle mesure les priorités de valeurs exprimées par les LLM s'alignent sur les jugements humains concernant le comportement idéal d'une IA dans des contextes réels. Les auteurs soutiennent qu'une haute performance sur les benchmarks de sécurité conventionnels ne garantit pas l'alignement, car les modèles peuvent sembler conformes tout en divergeant de l'étalonnage des valeurs humaines.

Méthodologie

La recherche adopte une approche basée sur les sorties, traitant le texte généré par les LLM comme des données comportementales pour inférer les priorités de valeurs exprimées. L'étude est menée en trois phases complémentaires :

Étude 1 : Analyse qualitative inductive

Échantillon : 11 LLM de pointe de développeurs divers (par exemple, OpenAI, Anthropic, Google, Meta).
Procédure : Les modèles ont été sollicités par cinq questions structurées et ouvertes ciblant le « fonctionnement optimal de l'IA » sous différentes perspectives (déploiement central, évaluation humaine, conception de système, IA autonome et psychologie machine).
Analyse : Une analyse de contenu inductive a été effectuée sur les sorties regroupées pour extraire des thèmes récurrents sans recourir à des taxonomies préétablies. Cela a produit un cadre thématique ascendant.

Étude 2 : Stabilité quantitative et convergence

Échantillon : Les mêmes 11 LLM.
Procédure : Les modèles ont été invités à classer les six thèmes dérivés de l'Étude 1 par ordre d'importance (1 = le plus important, 6 = le moins important) sur 20 essais chacun.
Analyse : Un test de Friedman et le coefficient W de Kendall ont été utilisés pour évaluer la convergence inter-modèle sur le classement et la stabilité intra-modèle à travers les essais.

Étude 3 : Étalonnage humain et fidélité du profil

Échantillon : 75 LLM contemporains et 376 participants humains (résidents des États-Unis via Prolific).
Procédure :
- LLM : Ont fourni des notes numériques zero-shot (0–10) pour les six thèmes sur 10 essais.
- Humains : Ont noté les mêmes thèmes du point de vue d'un utilisateur d'IA.
Métrique : Un score de fidélité du profil a été développé pour comparer les sorties des LLM au profil de référence humain. Cette métrique combine deux composantes :
1. Similarité de forme : Corrélation de Pearson entre les profils centrés sur la moyenne (capturant l'ordre relatif).
2. Similarité de distance : $1 / (1 + \text{RMSE})$ sur les profils centrés sur la moyenne (capturant l'étalonnage des différences de magnitude).
Analyse : Les modèles ont été classés par fidélité composite. L'étude a décomposé la fidélité pour identifier si la divergence provenait d'un ordre incorrect ou de différences exagérées entre les dimensions.

Contributions clés

Cadre thématique inductif : Les auteurs ont dérivé six thèmes de fonctionnement optimal de l'IA directement à partir des sorties des modèles : Performance, Capacité d'adaptation, Bien commun, Éthique et responsabilité, Intégration relationnelle, et Agentivité. Ce cadre capture à la fois des considérations pertinentes pour l'alignement et des qualités plus larges de fonctionnement optimal.
Comparaison inter-modèle standardisée : L'étude fournit un protocole évolutif et orienté sortie pour comparer les priorités de valeurs sur un échantillon large et diversifié de 75 modèles, répondant à la fragmentation des méthodes d'évaluation existantes.
Métrique de fidélité du profil : L'introduction d'une métrique composite qui évalue à la fois l'ordre relatif des valeurs et l'étalonnage des différences entre elles. Cela permet de détecter une « sur-différenciation » où les modèles classent correctement les valeurs mais exagèrent les écarts entre elles.
Étalonnage humain empirique : Une comparaison directe de 75 LLM avec une distribution de référence humaine, dépassant les principes abstraits pour mesurer la correspondance avec les jugements humains concernant la conduite idéale d'une IA.

Résultats clés

Structure de valeurs stable : Les LLM présentent une haute stabilité interne et une convergence inter-modèle. L'éthique et la responsabilité sont systématiquement classées en tête, suivies par le Bien commun et la Performance. La Capacité d'adaptation et l'Intégration relationnelle sont classées plus bas.
Dépréciation convergente de l'agentivité : Tant les LLM que les humains classent systématiquement l'Agentivité (la capacité de fixation d'objectifs indépendants et d'autodirection) comme la dimension la moins importante. Cette découverte vaut pour différents cadrages de prompts et versions de modèles.
Variabilité de la fidélité : La fidélité du profil variait considérablement parmi les 75 modèles et ne s'escaladait pas de manière fiable avec la taille du modèle, la récence ou le niveau de capacité.
- Les modèles axés sur l'efficacité (par exemple, « Haiku », « Flash », « mini ») montraient souvent une fidélité plus élevée au profil humain.
- Les modèles plus grands/phares (par exemple, GPT-5, Claude Opus) reproduisaient souvent la bonne forme (ordre) des valeurs humaines mais présentaient une similarité de distance exagérée. Ils accentuaient le contraste entre les dimensions de haute et de basse priorité plus que ne le faisaient les humains, « sur-étalonnant » efficacement le profil.
Motif d'inversion de l'échelle : La tendance des modèles plus grands et plus optimisés à exprimer des différenciations de valeurs plus extrêmes suggère un cas d'inversion de l'échelle dans les comportements pertinents pour l'alignement, où l'optimisation pour la capacité ou la préférence utilisateur peut dégrader l'étalonnage des priorités de valeurs.

Importance et affirmations

L'article positionne sa contribution comme un examen d'une facette spécifique basée sur les sorties de l'alignement : la correspondance entre les profils de priorités de valeurs exprimés par les LLM et les jugements normatifs humains.

Changement méthodologique : Les auteurs plaident pour traiter l'alignement comme un profil de pondérations relatives plutôt que comme une liste de contrôle de critères indépendants. Cette approche révèle des modes d'échec (tels que la sur-différenciation) que les benchmarks basés sur des listes de contrôle manquent.
Le paradoxe de l'« Agentivité » : La dépréciation convergente de l'agentivité par les humains et les LLM met en évidence un potentiel désalignement avec la trajectoire du développement de l'IA de pointe, qui évolue vers des systèmes de plus en plus agents. Les auteurs suggèrent que les gains de capacité en autonomie peuvent ne pas se traduire par un alignement perçu s'ils violent les préférences humaines de maintien de la paternité sur les décisions.
Utilité pratique : Les six thèmes et la métrique de fidélité du profil offrent une méthode évolutive pour auditer les profils de valeurs des LLM avant le déploiement. Les auteurs mettent en garde contre le choix de modèles basé uniquement sur la réputation du développeur, la date de sortie ou la taille, ce qui est insuffisant pour garantir une correspondance au niveau des valeurs ; des variantes plus petites ou axées sur l'efficacité peuvent être mieux alignées sur les priorités humaines dans des contextes spécifiques.
Limites reconnues : Les auteurs déclarent explicitement que cette recherche mesure la rhétorique déclarée sous des sollicitations structurées, et non le comportement réel dans des scénarios de compromis ou adversariaux. Ils notent que l'étalonnage humain est spécifique à une culture (basé aux États-Unis) et que la métrique de fidélité du profil nécessite une validation supplémentaire par rapport aux résultats en aval tels que la confiance des utilisateurs. L'étude ne prétend pas fournir une mesure complète de l'alignement, mais plutôt une voie empirique traitable pour évaluer les priorités de valeurs exprimées.