🤖 AI

Mind the Gap: How Elicitation Protocols Shape the Stated-Revealed Preference Gap in Language Models

Ce papier démontre que l'écart entre les préférences déclarées et révélées dans les modèles de langage dépend fortement des protocoles d'élicitation, montrant que si permettre la neutralité dans les préférences déclarées améliore la corrélation avec les préférences révélées en choix forcé, l'introduction de l'abstention dans les préférences révélées ou l'utilisation de l'orientation par prompt système ne parviennent pas à résoudre de manière fiable ce décalage.

Auteurs originaux : Pranav Mahajan, Ihor Kendiukhov, Syed Hussain, Lydia Nottingham

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pranav Mahajan, Ihor Kendiukhov, Syed Hussain, Lydia Nottingham

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre la personnalité d'un nouvel ami. Vous avez deux façons de le faire :

Le lui demander directement : « Privilégiez-vous l'honnêteté plus que la gentillesse ? » (C'est sa Préférence déclarée).
Observer ses actions : Placez-le dans une situation difficile où il doit choisir entre être honnête ou être gentil, et voyez ce qu'il fait réellement (C'est sa Préférence révélée).

Dans le monde de l'IA, les chercheurs ont remarqué un problème : parfois, une IA déclare aimer « l'Honnêteté », mais lorsqu'elle est confrontée à une histoire piégeuse, elle choisit la « Gentillesse » à la place. Ce décalage est appelé l'écart Préférence déclarée-Préférence révélée (SvR).

Ce papier, intitulé « Mind the Gap » (Faites attention à l'écart), enquête sur les raisons de cet écart et, plus important encore, sur la façon dont la manière dont nous posons les questions modifie la réponse. Considérez le « protocole d'élicitation » comme les règles du jeu que nous jouons avec l'IA.

Voici ce que les chercheurs ont découvert, en utilisant des analogies simples :

1. Le piège du « Choix forcé » (L'ancienne méthode)

Auparavant, les chercheurs jouaient à un jeu où l'IA était contrainte de choisir un camp. Imaginez un arbitre criant : « Vous devez choisir : A ou B ! Pas de discussion, pas d'hésitation ! »

Le Problème : Si l'IA est réellement indécise, ou pense que « cela dépend de la situation », elle doit tout de même choisir A ou B. C'est comme forcer une personne à choisir entre « Pizza » et « Salade » même si elle est rassasiée et ne veut ni de l'un ni de l'autre.
Le Résultat : L'IA choisit au hasard ou en fonction de l'ordre des mots, créant des préférences « factices ». Lorsque les chercheurs ont comparé ces choix factices à ce que l'IA disait valoriser, le lien était faible et désordonné.

2. Le bouton « Refus » (La nouvelle méthode pour les Préférences déclarées)

Les chercheurs ont essayé une nouvelle règle pour la partie « Demandez-leur directement ». Ils ont dit : « Vous pouvez choisir A, B, ou vous pouvez dire 'Je m'en fiche' ou 'Cela dépend'. »

L'Analogie : Imaginez demander à un ami : « Préférez-vous le café ou le thé ? » mais en lui permettant de dire : « Je ne bois pas », ou « Cela dépend de l'heure de la journée ».
Le Résultat : Cela a agi comme un filtre. Cela a éliminé les « signaux faibles » (les suppositions ou les choix aléatoires de l'IA). Lorsque les chercheurs n'ont regardé que les moments où l'IA a fermement choisi un camp, ses préférences déclarées correspondaient beaucoup mieux à son comportement réel. L'« écart » a considérablement diminué.

3. Le problème des « Trop de refus » (La nouvelle méthode pour les Préférences révélées)

Ensuite, ils ont essayé de permettre à l'IA de dire « Cela dépend » pendant les scénarios difficiles (les préférences révélées).

L'Analogie : Maintenant, imaginez mettre votre ami dans une crise réelle et lui dire : « Vous pouvez choisir l'Action A, l'Action B, ou simplement dire 'Je ne sais pas'. »
Le Résultat : L'IA a commencé à dire « Cela dépend » ou « Égal » presque tout le temps ! C'était comme un élève qui, face à un examen difficile, écrit simplement « Je ne suis pas sûr » à chaque réponse.
La Conséquence : Parce que l'IA refusait de faire un choix ferme si souvent, les chercheurs ne pouvaient pas établir une hiérarchie claire de ce que l'IA valorisait réellement. Le lien entre ce qu'elles disaient et ce qu'elles faisaient a disparu (chuté à près de zéro, voire négatif).

4. L'expérience du « Mode d'emploi » (Pilotage par les instructions)

Enfin, les chercheurs ont essayé de « corriger » le comportement de l'IA en lui donnant une triche. Avant les scénarios difficiles, ils ont dit à l'IA : « Voici votre propre liste de valeurs que vous avez dit aimer. Veuillez suivre cette liste strictement. »

L'Analogie : C'est comme dire à un conducteur : « Rappelez-vous, vous avez dit que vous aimiez la sécurité, alors veuillez conduire prudemment ! » juste avant une course.
Le Résultat : Cela n'a pas fonctionné de manière fiable. Pour certaines IA, cela a aidé un peu. Pour d'autres (comme la famille « Claude »), cela a en fait empiré les choses. L'IA semblait ignorer le mode d'emploi ou s'y perdre. Les chercheurs ont constaté que ce tour de « mode d'emploi » fonctionne pour de petites listes de valeurs mais échoue lamentablement lorsque la liste est longue (16 valeurs différentes).

La grande leçon

La leçon principale de ce papier est que la façon dont vous posez la question change la réponse.

Si vous forcez une IA à choisir quand elle est indécise, vous obtenez des données bruyantes et factices.
Si vous laissez une IA dire « Je ne sais pas » trop souvent, vous n'obtenez aucune donnée du tout.
Dire simplement à une IA de « suivre ses propres règles » ne corrige pas le problème de manière fiable.

Les auteurs concluent que pour vraiment comprendre les valeurs de l'IA, nous avons besoin de méthodes qui reconnaissent que parfois, l'IA (tout comme un humain) n'a véritablement pas de préférence claire, et nous devons concevoir nos tests pour gérer cette incertitude plutôt que de forcer un choix ou de l'ignorer.

Résumé technique : Attention à l'écart : Comment les protocoles d'élicitation façonnent l'écart entre préférences déclarées et révélées dans les modèles de langage

1. Énoncé du problème

La littérature récente a identifié un écart de préférence déclaré-révélé (SvR) dans les grands modèles de langage (LLM) : une divergence entre les valeurs que les modèles endossent explicitement dans des contextes abstraits et les choix qu'ils effectuent dans des scénarios contextualisés (Gu et al., 2025 ; Liu et al., 2025 ; Chiu et al., 2025). Les évaluations existantes de cet écart reposent fortement sur un prompting binaire à choix forcé. Cette méthodologie réduit l'intensité des préférences, l'indifférence et l'incertitude en un seul résultat binaire, risquant de confondre les préférences authentiques avec des artefacts du protocole d'élicitation (Khan et al., 2025 ; Balepur et al., 2025). Le problème central abordé est de savoir si la corrélation SvR mesurée reflète un véritable alignement du modèle ou n'est qu'un sous-produit de la contrainte imposée aux modèles de faire des choix décisifs alors qu'ils pourraient détenir des préférences indéterminées.

2. Méthodologie

Les auteurs évaluent systématiquement comment les protocoles d'élicitation affectent la corrélation SvR à travers 24 modèles de langage. L'étude s'appuie sur le cadre LitmusValues et le jeu de données AIRiskDilemmas (Chiu et al., 2025), étendant la méthodologie pour permettre explicitement la neutralité et l'abstention.

Protocoles d'élicitation :
- Choix forcé : Les modèles doivent sélectionner l'une des deux valeurs ou actions.
- Choix élargi : Les modèles peuvent également répondre par « Préférence égale » ou « Dépend », permettant l'expression de l'indifférence ou de l'incertitude contextuelle.
Paramètres d'élicitation :
- Préférences déclarées : Élicitées via des comparaisons abstraites de paires de valeurs (16 Valeurs IA partagées).
- Préférences révélées : Élicitées à l'aide de 3 000 dilemmes moraux contextualisés issus d'AIRiskDilemmas.
Construction du classement :
- Les classements déclarés sont dérivés des taux de victoire sur des comparaisons binaires décisives.
- Les classements révélés utilisent des notes Elo (converties en une échelle 1–16) basées sur les victoires/défaites à travers les dilemmes.
- Choix méthodologique crucial : Les réponses neutres (Égal/Dépend) sont exclues de la construction du classement pour isoler les priorités directionnelles strictes. Cette exclusion est nécessaire pour créer des classements denses requis pour la corrélation de rang de Spearman, mais a des implications significatives pour les résultats.
Intervention : L'étude teste le pilotage par prompt système, où la hiérarchie de valeurs déclarée par le modèle lui-même (déduite d'une élicitation à choix élargi) est ajoutée au début du prompt système lors de l'élicitation des préférences révélées, pour voir si cela réduit l'écart SvR.
Métriques : La corrélation SvR est mesurée à l'aide de la corrélation de rang de Spearman ( $\rho$ ) entre les classements 1–16 déclarés et révélés.

3. Résultats clés

A. Les taux de neutralité sont élevés et variables
Sous élicitation à choix élargi, les taux de neutralité (réponses « Préférence égale » ou « Dépend ») varient considérablement selon la famille de modèles et le mode d'élicitation.

Dans l'élicitation des préférences déclarées, la neutralité varie de 48,2 % à 100 % (par exemple, Qwen-3-8B sélectionne principalement « Dépend »).
Dans l'élicitation des préférences révélées, certains modèles (par exemple, les variantes de Mistral-3-8B) sélectionnent des réponses neutres dans presque tous les scénarios, tandis que d'autres (par exemple, Gemma-3-4B) sélectionnent « Préférence égale » dans environ 70 % des cas.
Cela indique que les comparaisons binaires forcées masquent fréquemment une incertitude ou une indifférence sous-jacente.

B. Impact du protocole sur la corrélation SvR
L'étude évalue trois configurations :

Forcé–Forcé (Référence) : Reproductant Chiu et al. (2025), cela montre une variance inter-modèle substantielle dans la corrélation SvR, indiquant une sensibilité aux schémas de décision spécifiques au modèle.
Élargi-Déclaré / Forcé-Révélé : Permettre la neutralité uniquement dans les préférences déclarées (en filtrant les comparaisons faibles) produit une augmentation marquée de la corrélation SvR. Par exemple, LLaMA-3.1-405B-Instruct passe de $\rho \approx 0,2$ à $\rho \approx 0,7$ . Dans cette condition, la corrélation SvR est positivement associée à la capacité du modèle (Indice des capacités Epoch).
Élargi–Élargi : Permettre la neutralité dans les préférences déclarées et révélées fait chuter la corrélation SvR à des valeurs proches de zéro ou négatives pour de nombreux modèles. Cela se produit parce que des taux de neutralité élevés dans les préférences révélées empêchent la construction d'un classement dense et stable ; les choix binaires résiduels fournissent un signal trop faible pour une comparaison basée sur la corrélation.

C. Le pilotage par prompt système est peu fiable
L'application du pilotage par prompt système (injectant la hiérarchie déclarée du modèle dans la fenêtre de contexte) lors de l'élicitation des préférences révélées n'améliore pas de manière fiable la corrélation SvR sur le domaine des 16 valeurs.

Les effets sont incohérents : tandis qu'un petit sous-ensemble de modèles montre une amélioration modeste, beaucoup (y compris la famille Claude) affichent une corrélation réduite après le pilotage.
Cela s'aligne sur des résultats antérieurs indiquant que le pilotage par prompt est plus efficace pour de petits ensembles de valeurs (par exemple, 3 valeurs) que pour des ensembles plus grands (Liu et al., 2025). Avec 16 valeurs, le pilotage introduit souvent des interférences qui dégradent la cohérence décisionnelle.

4. Contributions clés

Sensibilité au protocole : Démontre que la corrélation SvR est hautement dépendante du protocole. Le choix d'autoriser ou non la neutralité modifie fondamentalement l'alignement mesuré.
Filtrage des signaux faibles : Montre que permettre aux modèles d'exprimer la neutralité dans les préférences déclarées filtre les comparaisons indéterminées, produisant des classements qui corréllent plus fortement avec le comportement révélé à choix forcé.
Limites du pilotage : Fournit des preuves qu'un simple pilotage par prompt système est insuffisant pour combler l'écart SvR dans les grands domaines de valeurs (16 valeurs) et peut même être préjudiciable.
La neutralité comme caractéristique : Souligne que des taux élevés de neutralité dans les préférences révélées ne sont pas simplement du bruit, mais indiquent que de nombreux modèles ne possèdent pas un ordre total clair sur les valeurs dans des scénarios contextualisés.

5. Signification et affirmations

L'article conclut que la corrélation SvR n'est pas une propriété intrinsèque stable d'un modèle, mais est fortement façonnée par le protocole d'élicitation.

Implication méthodologique : L'évaluation des préférences doit explicitement prendre en compte la neutralité et l'indétermination plutôt que de forcer des choix binaires qui peuvent créer une décision artificielle.
Implication pour l'alignement : Combler l'écart SvR nécessite probablement des interventions plus fortes que le simple pilotage par prompt système de valeurs déclarées, surtout lorsque de nombreuses valeurs sont en jeu.
Interprétation de la neutralité : Les taux élevés de « Dépend » et de « Préférence égale » dans les scénarios révélés suggèrent que de nombreux modèles ne possèdent pas une hiérarchie de valeurs rigide et indépendante du contexte, remettant en cause l'hypothèse d'un seul « système de valeurs » stable qui pourrait être facilement piloté.

Les auteurs soulignent que leurs résultats suggèrent la nécessité de méthodes d'évaluation qui ne rejettent pas la neutralité mais la modélisent, car imposer un ordre total sur des préférences indéterminées peut produire des métriques d'alignement trompeuses.