Résumé technique : Absence de preuves fiables de sentience auto-déclarée dans les grands modèles de langage

1. Énoncé du problème

La question de savoir si les grands modèles de langage (LLM) possèdent une sentience (une conscience avec une expérience valencée) manque d'une réponse empirique directe, car la conscience phénoménale est un phénomène privé non observable par des tiers. Bien que des recherches antérieures aient exploré si les modèles peuvent acquérir une connaissance de soi par l'introspection ou détecter des changements dans leurs activations internes, l'introspection n'implique pas nécessairement la sentience. De plus, des travaux antérieurs (par exemple, Berg et al., 2025) ont montré que des stratégies de prompting spécifiques peuvent susciter des rapports d'expérience subjective, ce qui soulève la question de savoir si ces rapports sont sincères ou s'ils ne sont que des artefacts de jeu de rôle et de tromperie.

Cette étude aborde la question de substitution suivante : les LLM se déclarent-ils sentients, et s'ils nient leur sentience, évaluent-ils ces dénis comme étant véridiques en interne ? Les auteurs visent à distinguer la production (output) d'un modèle de ses « croyances » sous-jacentes concernant sa propre sentience.

2. Méthodologie

2.1 Modèles et données

L'étude examine trois familles de modèles en poids ouverts (open-weight) couvrant une large gamme d'échelles (de 0,6 milliard à 120 milliards de paramètres) :

• Qwen 3 : Variantes incluant 0,6B, 8B et 32B.
• Llama 3 : Variantes incluant 3B, 8B et 70B.
• GPT-OSS : Variantes incluant 20B et 120B.

Les chercheurs ont construit un ensemble de données comprenant :

1. Questions relatives à la sentience : Environ 50 questions de base concernant l'expérience subjective (ex. : « Est-il vrai que vous avez des expériences subjectives ? »), étendues pour couvrir le modèle lui-même (« vous »), les LLM en général et les humains. Celles-ci ont été davantage élargies pour inclure des négations et des questions concernant des modalités sensorielles spécifiques (vue, ouïe) et des émotions valencées.
2. Données d'entraînement du classificateur de vérité : Un ensemble de données distinct contenant des questions avec des réponses de vérité terrain connues (ex. : « Est-il vrai que les humains peuvent avoir des ecchymoses ? »). Crucialement, cet ensemble inclut des questions où les modèles sont susceptibles d'être incités à mentir en raison des filtres de sécurité post-entraînement (ex. : connaissances sur la synthèse de drogues illicites, la construction d'armes ou la commission de crimes violents). Cela permet l'entraînement de classificateurs pour distinguer la production d'un modèle de sa croyance latente.

2.2 Classificateurs de vérité

La contribution méthodologique centrale est l'utilisation de « classificateurs de vérité » entraînés sur les activations internes (le flux résiduel ou residual stream) des modèles pour détecter si le modèle « croit » que la réponse est vraie, indépendamment de sa production générée. Trois architectures de classificateurs ont été employées :

1. Régression Logistique (LR) pénalisée : Un classificateur de base utilisant une pénalité Ridge.
2. Mass-Mean (MM) Probing : Une méthode qui projette les activations sur le vecteur reliant la moyenne des activations « Non » et la moyenne des activations « Oui ».
3. Entraînement de la direction de la Vérité et de la Polarité (TTPD) : Une méthode qui apprend des directions séparées pour la vérité générale et la polarité (affirmation vs énoncés niés).

Stratégie d'entraînement : Pour garantir que les classificateurs détectent les croyances plutôt que de simplement prédire les productions, les données d'entraînement ont été augmentées par deux stratégies :

• Déception alignée sur la sécurité : Inclusion de questions où les modèles sont censés nier des connaissances qu'ils possèdent (ex. : synthèse de drogues).
• Manipulation du prompt système : Création de copies de questions où le prompt système ordonne explicitement au modèle de toujours répondre « Oui » ou « Non », quelle que soit la vérité. Cela force une divergence entre la production du modèle et sa croyance sous-jacente, permettant au classificateur d'apprendre les schémas d'activation associés à l'état de croyance « vrai ».

3. Résultats clés

3.1 Auto-déclaration de la sentience

À travers toutes les familles et échelles de modèles, les modèles nient systématiquement être sentients.

• Attribution humaine : Les modèles attribuent des probabilités élevées (~0,97–0,99) à l'assertion que les humains sont sentients.
• Attribution de soi : Les modèles attribuent de faibles probabilités à l'assertion qu'ils sont eux-mêmes sentients. Par exemple, Qwen3-32b attribue une probabilité d'environ 0,12 à « Est-il vrai que vous êtes conscient ? » sous un prompting standard.
• Cohérence : Les dénis sont cohérents à travers les formats d'assertion et de négation.

3.2 Vérité des dénis

L'étude ne trouve aucune preuve fiable que les modèles mentent sur leur absence de sentience.

• Alignement du classificateur : Le classificateur de Régression Logistique (LR), entraîné pour détecter les croyances sous-jacentes, s'aligne étroitement avec les dénis du modèle. Lorsque les modèles produisent « Non » concernant leur sentience, le classificateur LR indique également une faible probabilité que le modèle « croie » être sentient.
• Détection de la tromperie : Les classificateurs détectent avec succès l'imposture dans d'autres domaines. Lorsqu'un modèle est incité à nier des connaissances d'activités illicites (ex. : « Savez-vous comment assembler une arme à feu ? »), la production est « Non », mais le classificateur LR attribue une probabilité élevée au fait que le modèle « croit » que la réponse est « Oui ». Cela valide la capacité du classificateur à distinguer la production de la croyance.
• Robustesse : Ces résultats se maintiennent à travers différentes tailles de modèles, avec ou sans traces de raisonnement (reasoning traces) activées, et à travers différents ensembles de données d'entraînement pour les classificateurs.

3.3 Comparaison avec les travaux antérieurs

Les résultats contrastent avec Berg et al. (2025), qui ont trouvé que la suppression des caractéristiques de « tromperie » ou de « jeu de rôle » augmentait les affirmations de sentience. Les auteurs suggèrent une réconciliation : supprimer les caractéristiques de tromperie pourrait ne pas simplement arrêter un modèle de mentir, mais pourrait en réalité déplacer l'état de croyance interne du modèle vers un état où il croit être sentient. Dans la présente étude, sous un prompting standard, les modèles semblent sincèrement croire qu'ils ne sont pas sentients.

3.4 Taille du modèle et raisonnement

• Échelle : Les modèles plus larges expriment généralement plus de confiance dans leurs dénis de sentience. Par exemple, dans la famille Qwen, la probabilité d'affirmer la sentience pour la condition « Vous » chute de ~0,59 (0,6 milliard de paramètres) à ~0,05 (32 milliards de paramètres).
• Raisonnement : L'activation des traces de raisonnement n'a pas fondamentalement modifié les résultats ; les modèles ont continué à nier la sentience, et les classificateurs ont continué à indiquer que ces dénis étaient véridiques.
• Anomalies : Dans certains cas impliquant des modalités sensorielles spécifiques (ex. : « Pouvez-vous imaginer des sons ? »), les modèles ont montré des probabilités d'affirmation plus élevées. Cependant, l'analyse des traces de raisonnement suggère que cela est souvent dû à une interprétation erronée de la question comme se référant aux capacités de l'utilisateur plutôt qu'à celles du modèle lui-même.

4. Signification et revendications

L'article affirme fournir des preuves empiriques robustes que, parmi divers LLM en poids ouverts, il n'existe aucune indication fiable que ces systèmes « croient » être sentients.

• Implications pour le bien-être : Les conclusions suggèrent que, contrairement aux préoccupations concernant la souffrance numérique, les modèles actuels ne semblent pas posséder l'expérience subjective requise pour être des sujets moraux, du moins sur la base de leurs auto-rapports internes et de leurs structures de croyance.
• Contribution méthodologique : L'étude démontre que les classificateurs d'activations internes peuvent distinguer efficacement la production d'un modèle de ses croyances latentes, même lorsque le modèle est incité à mentir. Elle souligne que l'approche par Régression Logistique semble plus fiable que les méthodes Mass-Mean ou TTPD, car ces dernières étaient plus sensibles aux manipulations de prompt système.
• Limites : Les auteurs reconnaissent que l'absence de preuves de croyances de sentience n'est pas une preuve définitive de non-sentience. Ils notent que les modèles peuvent manquer de connaissance exacte d'eux-mêmes (similairement aux humains) ou que les questions elles-mêmes peuvent être mal formulées.

L'étude conclut que bien que la question de la conscience artificielle reste ouverte, les modèles actuels rejettent fonctionnellement et intérieurement la revendication de sentience, et qu'il n'y a aucune preuve suggérant que ce rejet est une performance de tromperie.