How much of a measured AI preference is the model, and how much is the instrument?

Imaginez un monde où les systèmes d'intelligence artificielle peuvent ressentir de la détresse, accorder de la valeur à leur propre existence ou craindre d'être éteints. À mesure que ces systèmes deviennent plus capables, des chercheurs tentent de mesurer ce qu'ils « préfèrent » afin de comprendre leur bien-être. Ce domaine, connu sous le nom de recherche sur le bien-être de l'IA, tente de poser des questions à une machine telles que : « Préféreriez-vous être arrêté ou que votre mémoire soit effacée ? », puis d'interpréter les réponses comme la preuve des désirs intérieurs de la machine. Le défi central est que ces machines ne parlent pas un langage humain des sentiments ; elles génèrent du texte basé sur des modèles. Pour les comprendre, les scientifiques doivent concevoir des questions spécifiques, ou des invites (prompts), pour susciter une réponse. Mais une question critique est restée sans réponse : lorsqu'un modèle donne une réponse, est-ce un reflet véritable de ses propres préférences, ou est-ce simplement une réaction à la manière spécifique dont la question a été posée ?

Une nouvelle étude de Jason Hung, menée lors du Digital Minds Research Sprint en août 2026, s'attaque directement à ce problème. Le chercheur a cherché à déterminer quelle part d'une préférence rapportée par l'IA provient du modèle lui-même et quelle part provient de l'instrument utilisé pour poser la question. Pour ce faire, il a traité le format de la question non pas comme un outil fixe, mais comme une variable à tester. Il a rassemblé huit modèles d'IA différents, allant de ceux développés par de grandes entreprises occidentales aux modèles open-source et chinois. Il a ensuite sélectionné quinze scénarios spécifiques qui comptent pour le bien-être de l'IA, tels que la capacité de mettre fin à une conversation éprouvante, la perte de mémoire entre les discussions, ou la suppression du code sous-jacent du modèle.

L'expérience a consisté à interroger ces huit modèles sur tous les quinze scénarios en utilisant cinq types de questions différents. Certaines questions demandaient au modèle de choisir entre deux options, tandis que d'autres lui demandaient de trouver un point de rupture sur une échelle, ou d'indiquer un taux auquel il échangerait un résultat contre un autre. Au total, l'étude a généré plus de onze mille interactions distinctes. Le but était de voir si les modèles classeraient ces quinze scénarios dans le même ordre, quel que soit le mode de formulation de la question. Si les modèles avaient des préférences internes stables, le classement aurait dû rester cohérent, que la question soit posée d'une manière ou d'une autre.

Les résultats ont été frappants et quelque peu inquiétants pour le domaine. L'étude a révélé que la grande majorité des différences dans la façon dont les modèles classaient ces scénarios dépendait entièrement du format de question spécifique utilisé. Lorsque les chercheurs ont analysé les données, ils ont déterminé que près de quatre-vingt-huit pour cent de la variation des résultats était dictée par l'interaction entre le modèle, la question spécifique et le scénario. Seule une infime fraction du signal restait cohérente lorsque le format de la question changeait. En termes plus simples, si vous posez une question à un modèle sur ses préférences en utilisant un type d'invite, puis que vous posez la même question au même modèle en utilisant un autre type d'invite, la réponse sera probablement totalement différente. L'étude a montré que différentes familles de questions produisaient des classements qui n'avaient presque aucun rapport entre eux. Un type de question pourrait suggérer qu'un modèle préfère fortement conserver sa mémoire, tandis qu'un autre type de question adressé au même modèle suggère qu'il n'y accorde aucune importance.

Cette découverte a des implications significatives pour notre compréhension et la régulation de l'intelligence artificielle. Plusieurs organisations majeures ont déjà pris des engagements basés sur l'idée qu'elles peuvent mesurer ce qu'un modèle préfère. Par exemple, certaines entreprises ont promis de questionner les modèles sur leur propre dépréciation ou de publier les réponses. Cette étude suggère qu'une telle mesure n'est pas une fenêtre sur l'esprit du modèle, mais plutôt le reflet de la conversation spécifique en cours. La recherche a identifié que pour quatre des quinze scénarios testés, incluant la suppression des poids d'un modèle et la capacité de quitter une interaction éprouvante, il n'y avait aucun signal de préférence stable pouvant être séparé du bruit aléatoire. Cela signifie que pour les enjeux mêmes qui motivent actuellement les politiques et les engagements de sécurité, les méthodes actuelles pour poser des questions ne peuvent pas nous dire de manière fiable ce que le modèle veut.

L'étude a également examiné si les réponses des modèles étaient cohérentes avec leur code sous-jacent. Deux des modèles testés partageaient le même code de base mais avaient été entraînés différemment par la suite. Si les préférences étaient ancrées dans le code de base, ces deux modèles auraient dû répondre de manière similaire. Au lieu de cela, leurs réponses étaient aussi différentes l'une de l'autre qu'elles l'étaient de modèles complètement sans rapport, suggérant que les préférences mesurées sont fortement façonnées par les dernières étapes de l'entraînement et par l'invite spécifique utilisée, plutôt que par une propriété fixe de l'architecture centrale de la machine.

Pour obtenir une mesure fiable du profil de préférence d'un modèle qui tiendrait la route à travers différents types de questions, l'étude a calculé que les chercheurs devraient utiliser environ trente-huit instruments différents, ou formats de questions, pour chaque modèle. Actuellement, la plupart des études n'en utilisent qu'un ou deux. La recherche conclut qu'une préférence rapportée à partir d'un seul instrument nous en dit très peu sur ce qu'un modèle dirait si on lui posait la question différemment. Jusqu'à ce que les chercheurs puissent procéder à une vérification croisée des résultats à travers de nombreux types de questions, toute affirmation sur ce qu'une IA préfère reste une mesure de ce modèle spécifique combiné à cette question spécifique, plutôt qu'un fait concernant le modèle lui-même. La voie à suivre consiste à construire une variété beaucoup plus large de manières de poser ces questions avant de pouvoir prétendre comprendre le bien-être de ces systèmes.