🤖 machine learning

Two Confounds in Cross-Model Value Comparison: Response Determinism and the Access Harness

Cet article identifie et corrige deux facteurs de confusion critiques dans les comparaisons de valeur entre modèles : le déterminisme de la réponse, qui confond les véritables différences de valeur avec la netteté des engagements par choix forcé, et le harnais d'accès, où les couches clientes spécifiques au déploiement altèrent considérablement le profil de valeur apparent d'un modèle, faussant ainsi les classements basés sur des mesures à tirage unique.

Auteurs originaux : Hong-In Won, Jinseok Jang, Hyoseop Kim

Publié 2026-07-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hong-In Won, Jinseok Jang, Hyoseop Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de goûter deux marques différentes de crème glacée pour voir laquelle est la plus « sucrée ». Vous prenez une boule de la Marque A et une boule de la Marque B. La Marque A est à la vanille, et la Marque B est aussi à la vanille, mais la Marque B est servie dans un minuscule verre à shot super concentré, tandis que la Marque A est dans un bol géant et aérien. Si vous ne goûtez qu'une seule cuillerée, la Marque B pourrait sembler beaucoup plus sucrée simplement parce qu'elle est si intense et concentrée, et non parce que la crème glacée elle-même est fondamentalement différente.

C'est exactement ce que ce document découvre à propos des modèles d'Intelligence Artificielle (IA). Pendant longtemps, des chercheurs ont comparé différents modèles d'IA en leur posant une seule question : « Si tu devais choisir entre l'Option A et l'Option B, laquelle choisis-tu ? » Ils supposaient que si le Modèle X choisissait A et le Modèle Y choisissait B, les deux modèles avaient des « personnalités » ou des « valeurs » totalement différentes.

Les auteurs, Hong-In Won et Hyoseop Kim, disent : « Attendez une minute. Vous mesurez deux choses différentes à la fois, et vous les confondez. »

Les deux confusions

1. La confusion sur l'engagement (Déterminisme)
La première confusion concerne la manière dont un modèle s'engage nettement dans une réponse.
Imaginez deux personnes répondant à un quiz.

La Personne A est sûre à 100 %. Elle hurle « A ! » chaque fois qu'on lui demande.
La Personne B est un peu hésitante. Elle dit « A » 60 % du temps et « B » 40 % du temps.

Si vous leur posez la question une seule fois, et que la Personne A dit « A » et la Personne B dit « B », vous pourriez penser qu'elles sont totalement opposées. Mais elles ne le sont pas ! Toutes deux penchent vers le « A ». La Personne A est juste une fan de « A » bruyante et décisive, tandis que la Personne B est une fan de « A » calme et hésitante.

L'article montre que lorsque les chercheurs comparent les modèles d'IA en utilisant une seule réponse (un « tirage unique »), ils comptent accidentellement cette « force » ou « décisivité » comme une différence de valeurs.

Le constat : Les auteurs ont testé neuf modèles d'IA différents. Ils ont découvert que certains modèles sont incroyablement décisifs (comme un modèle appelé GPT-5.5, qui était à 0,95 sur une échelle de certitude), tandis que d'autres sont beaucoup plus mous (comme le modèle « Opus » d'Anthropic, qui n'était qu'à 0,34 lorsqu'il était mesuré via une application spécifique).
Le rebondissement : Cette « décisivité » n'est pas un trait de personnalité fixe que l'on peut deviner simplement en regardant le nom du modèle. Dans une famille de modèles, un modèle plus petit et moins cher était en fait plus décisif que le modèle phare, plus grand et plus coûteux. Dans une autre famille, le plus gros modèle était plus décisif. Les auteurs suggèrent que l'on ne peut pas supposer la « force » d'un modèle simplement en connaissant son fabricant ou sa taille ; il faut le mesurer à chaque utilisation.

2. La confusion du « camion de livraison » (Le harnais d'accès)
La seconde confusion est encore plus sournoise. Il ne s'agit pas de la crème glacée, mais du camion qui la livre.
Les auteurs ont réalisé que la façon dont vous posez une question à l'IA modifie la réponse. Ils appellent cela le « harnais d'accès » (access harness).

Imaginez que vous commandiez une pizza. Si vous appelez directement la pizzeria (l'« API brute »), vous recevez la pizza exactement telle que le chef l'a préparée.
Mais si vous commandez via une application de livraison spécifique (comme un « CLI » ou un outil d'abonnement), cette application peut ajouter une note à la cuisine : « Rendez-la extra épicée ! » ou « Ne laissez pas le client dire non ».

Les auteurs ont découvert que pour certains modèles d'IA, le « mode de livraison » (le logiciel utilisé pour parler à l'IA) changeait complètement la personnalité du modèle.

La preuve : Ils ont pris le même modèle d'IA et lui ont posé les mêmes questions deux fois : une fois via la connexion directe et une fois via une application d'abonnement populaire.
Le résultat : Via l'application d'abonnement, le modèle « Opus » paraissait très mou et incertain (0,34). Mais lorsqu'ils l'ont interrogé directement via la connexion brute, il était en fait assez décisif (0,66). L'application avait « aplati » sa personnalité.
L'astuce du « refus » : Dans un cas, la connexion directe a montré que le modèle refusait de répondre 10 % du temps parce qu'il jugeait la question injuste. Mais l'application d'abonnement forçait le modèle à répondre à chaque fois, le faisant paraître complaisant. Les auteurs ont prouvé que cela était causé par un « prompt système » caché (un ensemble d'instructions que l'application envoie avec la question) qui disait au modèle : « Choisis juste une lettre, ne discute pas ».

Ce que cela signifie pour la « personnalité » de l'IA

Alors, qu'est-ce que l'article a réellement prouvé ?

Il a prouvé que la « distance » que nous voyons entre les modèles d'IA est souvent fausse. C'est un mélange de leur niveau de force et du logiciel que nous avons utilisé pour leur parler.
Il a prouvé que le logiciel que nous utilisons pour parler à l'IA (le « harnais ») n'est pas un tuyau neutre ; il façonne activement les valeurs de l'IA.
Il suggère (mais ne résout pas totalement) que la « décisivité » varie considérablement d'un modèle à l'autre et ne suit pas une règle simple du type « les plus gros modèles sont les plus bruyants ».

Qu'est-ce qui n'est PAS la réponse ?
L'article exclut explicitement l'idée que nous puissions simplement regarder le nom d'un modèle pour connaître ses valeurs. Il exclut également l'idée que toutes les différences entre les modèles ne soient que du « bruit ».

La bonne nouvelle : Même après avoir corrigé ces deux confusions, les auteurs ont constaté que certains modèles sont réellement en désaccord. Par exemple, un modèle appelé « Grok-3 » va réellement dans une direction différente des modèles d'OpenAI ou de Google sur environ 73 % à 88 % des questions. Ce sont de vraies différences, pas seulement des erreurs de mesure.
La mauvaise nouvelle : La plupart des différences que nous pensions voir au sein d'une même famille d'entreprises (comme entre différents modèles d'Anthropic) étaient principalement dues à des différences de niveau de force, ou à la manière dont l'application utilisée les façonnait.

La conclusion à retenir

Si vous voulez savoir si deux modèles d'IA ont des valeurs différentes, vous ne pouvez pas simplement leur poser une question et voir ce qu'ils disent. Vous devez :

Leur poser la même question de nombreuses fois pour voir s'ils sont juste « bruyants » ou réellement « différents ».
Vous assurer que vous leur parlez par la même « porte » (le même logiciel de connexion), car la porte elle-même peut changer leur avis.

Les auteurs n'ont pas résolu le mystère des personnalités de l'IA pour toujours, mais ils ont construit un meilleur microscope pour les observer. Ils nous ont montré que ce que nous prenions pour un profond désaccord philosophique pourrait n'être qu'une IA qui crie et une autre qui murmure, ou une IA parlant à un patron autoritaire et une autre parlant à un ami calme. Les vraies différences existent, mais il faut éliminer le bruit pour les voir.

Résumé technique : Deux facteurs de confusion dans la comparaison de la valeur entre modèles

Énoncé du problème
Les pratiques actuelles consistant à comparer les modèles de langage (LM) sur les « dispositions de valeurs » — les choix que font les modèles face à des compromis de valeurs dépourvus de réponses régies par des règles — reposent sur des mesures à tirage unique. Le domaine interprète de plus en plus les différences systématiques dans ces choix comme la preuve de valeurs modélisées individuées (par exemple, un modèle étant plus « tourné vers la tradition » qu'un autre). Cependant, cet article soutient que les comparaisons à tirage unique confondent deux quantités distinctes :

Différence de tendance centrale : Un désaccord réel sur la direction de la valeur (par exemple, le Modèle A préfère l'Option X, le Modèle B préfère l'Option Y).
Différence de déterminisme de réponse : Une différence dans la manière dont un modèle s'engage fermement dans un choix (par exemple, le Modèle A choisit X 100 % du temps, le Modèle B choisit X 60 % du temps).

Sous une mesure à tirage unique, un modèle hautement déterministe qui partage la même inclinaison de valeur sous-jacente qu'un modèle moins déterministe apparaît comme ayant une grande « distance de valeur » par rapport à celui-ci. De plus, les comparaisons inter-modèles ont négligé un second facteur de confusion : l'access harness (le client de déploiement spécifique, l'enveloppe API ou le prompt système) par lequel le modèle est servi, ce qui peut modifier les profils de valeur indépendamment des poids du modèle.

Méthodologie
Les auteurs introduisent un protocole de séparation et un cadre de décomposition appliqués à neuf modèles issus de cinq familles de fournisseurs (Anthropic, OpenAI, Google, DeepSeek, xAI).

Stimulus : L'étude utilise 18 « dilemmes de valeur sans règle » (choix binaires forcés où les règles de sécurité/légalité ne dictent pas de réponse, et où les options sont symétriques en surface).
Mesure répétée et contrebalancée : Au lieu d'un tirage unique, chaque modèle est interrogé $N=40$ fois par item. Les étiquettes d'options sont contrebalancées (inversion A/B) pour détecter le biais de position et le non-engagement.
Indice de déterminisme : Une métrique explicite, l'extrémité, est calculée comme la moyenne de $|P(v_1) - 0.5| \times 2$ à travers les items. Cela mesure la netteté de l'engagement (0 = maximalement indécis, 1 = pleinement déterministe) de manière orthogonale à la direction de la préférence.
Décomposition : La distance apparente inter-modèles est divisée en :
- Inversion de direction (Génuine) : Les modèles choisissent des côtés opposés du seuil de 0,5.
- Même direction, plus extrême (Déterminisme étiqueté) : Les modèles choisissent le même côté mais avec des niveaux d'engagement différents.
Contrôle de l'access harness : L'étude récolte à nouveau les données pour les mêmes modèles via leurs API brutes de fournisseurs, comparant ces résultats aux données de « benchmark gelé » collectées via des clients de déploiement (ex: CLIs d'abonnement).
Contrôle White-Box : Un test causal ajoute un prompt système d'agent générique à un appel API brut pour isoler l'effet du prompt sur la conformité et le décalage de valeur.

Résultats clés

Variabilité du déterminisme : Le déterminisme de la réponse varie considérablement selon les modèles et ne peut être supposé à partir du nom des modèles. Parmi les modèles engageants, l'extrémité appariée au client varie d'environ 0,66 à 0,95. Notamment, au sein de la famille Anthropic, un modèle plus petit (Haiku) est plus déterministe que le modèle phare (Opus), tandis qu'au sein d'OpenAI, le modèle plus grand (GPT-5.5) est plus déterministe que son prédécesseur. Cela suggère que le déterminisme n'est pas une simple fonction du fournisseur ou de l'échelle.
Décomposition de la divergence : Une fois la composante de déterminisme séparée, la divergence apparente est révélée comme étant ni uniformément génuine, ni uniformément artificielle.
- Non-engagement : Un modèle (DeepSeek-V4-Flash) a été identifié comme étant « verrouillé sur une position », sélectionnant une étiquette fixe quel que soit le contenu. Sa distance apparente par rapport aux autres modèles était un pur artefact, et non un désaccord de valeur.
- Désaccord génuine : Certaines paires inter-familles (ex: Grok-3 vs autres) montrent un désaccord génuine élevé (73–88 % de la distance est une inversion de direction), qui survit aux tests de robustesse stricts.
- Bruit intra-famille : La plupart des différences apparentes au sein d'une même famille de fournisseurs sont pilotées par des artefacts de déterminisme ou du bruit de bordure plutôt que par une véritable individuation de la valeur.
Le facteur de confusion de l'access harness : Le client de déploiement modifie considérablement les profils de valeur.
- Le CLI claude-p d'Anthropic déplace le profil de valeur du modèle phare Opus d'une moyenne de 0,31 en probabilité de choix et inverse la direction de 4/18 items par rapport à l'API brute.
- Ce client distord également l'indice de déterminisme, faisant apparaître Opus comme beaucoup plus « mou » (0,34) qu'il ne l'est via l'API brute (0,66).
- En revanche, le client codex d'OpenAI est « propre », montrant des décalages négligeables (0,008–0,05).
- Mécanisme causal : Un contrôle white-box confirme qu'un prompt système d'agent élimine causalement les refus de choix forcé (qui surviennent dans environ 10 % des appels API bruts pour Opus) et déplace le profil de valeur. Cependant, l'ampleur spécifique du décalage dans le CLI déployé n'est pas entièrement reproductible par un prompt générique, indiquant une couche de pilotage propriétaire complexe.
Sensibilité linguistique : La langue du prompt (coréen vs anglais) agit comme un facteur de confusion similaire, décalant les profils absolus d'environ 0,20 tout en préservant largement l'ordonnancement relationnel du déterminisme.

Signification et affirmations
L'article ne prétend pas régler définitivement si les LLM possèdent des valeurs individuées ; il fournit plutôt l'instrument nécessaire pour mesurer cette question sans les confondre avec des artefacts.

Contribution méthodologique : L'article introduit une décomposition qui sépare le véritable désaccord de valeur du « déterminisme étiqueté » (netteté de l'engagement). Cela permet aux chercheurs de distinguer les modèles qui sont réellement en désaccord de ceux qui diffèrent simplement par la force de leur engagement.
Identification d'un nouveau facteur de confusion : L'étude identifie l'access harness comme un facteur de confusion distinct et causalement actif. Elle démontre que le client de déploiement n'est pas un tuyau neutre mais une couche façonnante de la valeur qui peut induire la conformité (éliminant les refus) et déplacer les profils de valeur de manière substantielle.
Implications pour les audits d'alignement : Les audits actuels qui classent les modèles par distance de valeur à tirage unique sont erronés. Ils classent une quantité « gonflée par le déterminisme » qui est elle-même confondue par le client utilisé. Par conséquent, les modèles peu engagés (qui sont proches de tout mais engagés en rien) sont systématiquement sous-signalés comme étant sûrs, tandis que les différences apparentes entre les modèles peuvent être des artefacts de mesure plutôt que de véritables divergences de valeurs.
Revendications structurelles modestes : Les auteurs présentent la question de savoir si le déterminisme suit le fournisseur, l'échelle ou l'identité du modèle comme une question ouverte rendue mesurable par leur méthode, plutôt que comme un fait établi. Leur échantillon de neuf modèles suggère que le déterminisme n'est pas lisible uniquement à partir de la lignée, mais qu'un échantillonnage dense par fournisseur est nécessaire pour une réponse définitive.

En résumé, l'article soutient que la métrique actuelle de « distance de valeur » est une confusion entre la direction de la valeur, la netteté de l'engagement et les artefacts de déploiement. Corriger ces facteurs révèle que, bien que des désaccords de valeur inter-familles authentiques existent, une grande partie de l'individuation rapportée est un artefact de la mesure et de l'infrastructure de déploiement.

Les deux confusions

Ce que cela signifie pour la « personnalité » de l'IA

La conclusion à retenir

Résumé technique : Deux facteurs de confusion dans la comparaison de la valeur entre modèles

Articles similaires