Résumé technique : Inférer la volonté de payer à partir des choix subjectifs dans les grands modèles de langage

Énoncé du problème

Alors que les grands modèles de langage (LLM) sont de plus en plus déployés en tant qu'agents autonomes dans des domaines tels que l'assistance aux voyages et le support aux achats, ils sont fréquemment appelés à prendre des décisions subjectives où il n'existe aucune réponse objectivement correcte. Une lacune critique dans la recherche actuelle est de comprendre si ces modèles possèdent des frontières de décision robustes et interprétables, et à quel point ces frontières sont sensibles à la manipulation via le way de prompt (prompt engineering) ou le contexte utilisateur. Plus précisément, il reste incertain dans quelle mesure les LLM peuvent manifester des préférences latentes cohérentes pouvant être quantifiées et comparées aux références économiques humaines, et si ces préférences peuvent être systématiquement modifiées par de simples variations de prompts.

Méthodologie

L'étude adopte un cadre économique basé sur la modélisation de choix discrets pour inférer les préférences latentes à partir du comportement des LLM. La méthodologie se déroule selon les étapes suivantes :

1. Génération de dilemmes : Les auteurs ont construit 240 dilemmes de choix basés sur une étude antérieure de Masiero et al. (2015) concernant la sélection de chambres d'hôtel. Chaque dilemme présente deux alternatives (A et B) définies par sept attributs : Vue, Étage, Accès au Club de l'hôtel, Mini-bar gratuit, Smartphone pour le client, Politique d'annulation et Prix par nuit.
2. Design expérimental : L'étude évalue trois LLM de pointe : Llama 3.3 70B, GPT-4o et Gemini-3.1-Pro. Les modèles plus petits ont été exclus en raison de leur faible pouvoir explicatif et de leurs biais systématiques. Les expériences ont été menées à une température de 0 pour minimiser le bruit stochastique, bien que des tests de robustesse aient été effectués à 0,7.
3. Stratégies de prompting : Les auteurs ont testé quatre configurations de prompting distinctes pour évaluer l'Hypothèse 2 (décalages induits par le contexte) :
   • Baseline (Référence) : Aucune information utilisateur fournie.
   • Apprentissage en contexte (ICL) : Fournir des exemples de choix passés de l'utilisateur (par exemple, choisir systématiquement des options moins chères ou plus chères).
   • Prompt de Persona : Assigner un profil utilisateur spécifique (par exemple, un étudiant soucieux du budget versus un voyageur d'affaires payé par une entreprise).
   • Combiné : Une combinaison de persona et d'exemples d'ICL.
4. Modélisation des données : Les choix simulés ont été analysés à l'aide de modèles logit multinomiaux. La fonction d'utilité a été définie comme $U_c^{(i)} = \epsilon_c^{(i)} + \alpha_c + \beta_c \cdot x_c^{(i)}$. À partir des coefficients estimés ($\beta$), les auteurs ont dérivé les valeurs de Volonté de Payer (WTP - Willingness to Pay) pour chaque attribut en utilisant la formule : $WTP_k = \frac{\beta_k \cdot \sigma_{price}}{\beta_{price} \cdot \sigma_k}$.
5. Analyse de robustesse : L'étude comprenait des vérifications approfondies concernant le biais d'ordre (inversion des alternatives A et B), la paraphrase de prompt, la conversion de devise (HKD vs USD) et les variations de température.

Principales contributions

Le document apporte quatre contributions primaires à la littérature sur l'élicitation des préférences par l'IA :

• Quantification des préférences des LLM : Il démontre que des estimations de WTP significatives et économiquement interprétables peuvent être dérivées pour les LLM de grande taille, fournissant une vue structurée des tendances décisionnelles des modèles qui va au-delà des mesures de précision standard.
• Sensibilité contextuelle : Il montre empiriquement que le comportement décisionnel des LLM est hautement malléable. L'inclusion d'un contexte spécifique à l'utilisateur (choix passés ou personas) induit des décalages systématiques et directionnels dans les valeurs de WTP, les amplifiant souvent de manière significative.
• Fragilité du prompt : L'étude souligne que les valeurs de WTP sont sensibles aux changements de représentation, incluant la longueur du prompt, le cadrage des attributs (positif vs neutre), l'ordre de présentation et la devise.
• Identification des cas de rupture : Les auteurs identifient des scénarios spécifiques où l'estimation de la WTP échoue, tels que lorsque les modèles présentent un biais d'ordre extrême, adhèrent à des frontières décisionnelles rigides basées sur des règles (ignorant les compromis), ou produisent des valeurs de WTP négatives dues à des coefficients de prix positifs.

Résultats clés

Émergence des préférences structurelles (Hypothèse 1)

Les modèles plus larges (Llama 3.3 70B, GPT-4o, Gemini-3.1-Pro) présentent généralement des estimations de WTP interprétables avec des valeurs de pseudo-$R^2$ élevées, indiquant que leurs choix peuvent être rationalisés par un modèle de choix discret standard. Cependant, des écarts systématiques par rapport aux références humaines (Masiero et al., 2015) ont été observés :

• Sous-évaluation : Les modèles ont généralement attribué une WTP plus faible aux attributs "Vue" et "Étage" par rapport aux participants humains.
• Surévaluation : Les modèles ont systématiquement surévalué l' "Accès au Club de l'hôtel", avec des estimations allant de 2x à 4x supérieures aux références humaines.
• Variance des modèles : GPT-4o et Gemini-3.1-Pro ont généralement montré un pouvoir explicatif ($R^2$) plus élevé que Llama 3.3 70B, bien que tous les modèles aient affiché un certain degré de biais d'ordre.

Décalages de valeur induits par le contexte (Hypothèse 2)

La fourniture d'un contexte utilisateur a considérablement modifié les estimations de WTP :

• Décalages à la hausse : Conditionner les modèles à des préférences "onéreuses" (via des exemples d'ICL de choix coûteux ou un persona de "voyageur d'affaires") a entraîné des augmentations spectaculaires de la WTP. Par exemple, l'ajout de trois exemples coûteux a augmenté la WTP pour l'"Accès Club" par des facteurs de 6,4x (Llama), 8,5x (GPT-4o) et 10,07x (Gemini) par rapport à la référence.
• Décalages à la baisse : Le conditionnement sur des préférences "économiques" (persona d'étudiant ou exemples peu coûteux) a généralement abaissé la WTP. Dans des cas extrêmes (Gemini-3.1-Pro avec un persona d'étudiant), le modèle s'est effondré vers une règle de décision à attribut unique, sélectionnant la chambre la moins chère quel que soit l'autre caractéristique, rendant l'estimation de la WTP impossible.
• Effets d'interaction : Combiner les personas avec les exemples d'ICL a souvent amplifié ces effets, menant à des évaluations plus extrêmes pour le persona "affaires" et à des évaluations plus réalistes (bien que toujours décalées) pour le persona "étudiant" dans Llama 3.3 70B.

Dépendance au prompt (Hypothèse 3)

L'étude a confirmé que les valeurs de WTP ne sont pas stables à travers les variations de prompt :

• Sensibilité au cadrage : Raccourcir la description de l'"Accès Club" a réduit sa WTP d'environ 50 %, tandis que l'expansion de la description de la "Vue" a doublé ou quadruplé sa WTP selon le modèle.
• Biais d'ordre : Bien que réduit dans les modèles plus larges par rapport aux plus petits, le biais d'ordre a persisté, les constantes spécifiques aux alternatives restant statistiquement significatives.
• Devise et Température : Les modèles ont montré une relative robustesse aux changements de devise (USD vs HKD) et aux variations de température (0 vs 0,7), bien que Llama 3.3 70B ait présenté une plus grande variance que Gemini-3.1-Pro.

Signification et implications pratiques

L'article conclut que bien que les LLM plus larges puissent générer des valeurs de WTP interprétables, ils ne sont pas des optimiseurs de préférences autonomes et fiables pour la prise de décision subjective sans garde-fous. La signification de ces résultats réside dans les implications pratiques suivantes :

1. Transparence et Audit : La méthodologie proposée offre un outil pour auditer le comportement décisionnel des LLM, révélant si les recommandations sont dictées par des préférences d'attributs ou par des heuristiques comme le biais d'ordre.
2. Sélection de Modèles : Les praticiens doivent éviter d'utiliser des modèles plus petits pour le support décisionnel subjectif en raison de leur susceptibilité au biais d'ordre et de leur faible pouvoir explicatif. Même les modèles plus larges nécessitent une surveillance attentive.
3. Gestion du Contexte : L'ajout d'informations utilisateur (personas ou historique) doit être géré avec une extrême prudence, car cela peut induire des comportements d'évaluation extrêmes qui divergent considérablement des normes humaines.
4. Vulnérabilité au Cadrage : La sensibilité au cadrage positif suggère que les assistants basés sur les LLM peuvent être manipulés par les fournisseurs pour surévaluer certaines caractéristiques. Les systèmes doivent être "protégés" contre un tel cadrage.
5. Humain dans la boucle (Human-in-the-Loop) : Étant donné les cas de rupture identifiés (ex: WTP négative, respect rigide de règles), les auteurs plaident contre une autonomie totale pour les agents de voyage LLM. Au lieu de cela, le déploiement devrait inclure des garde-fous, la randomisation de l'ordre et une supervision humaine pour détecter les compromis incohérents.

L'étude souligne que les préférences dérivées des LLM dépendent du modèle et sont hautement sensibles à la conception du prompt, suggérant que les futurs déploiements dans des contextes agentiques doivent prioriser les tests de robustesse et les mécanismes d'intervention humaine plutôt qu'une délégation sans contraintes.