Résumé technique : Les préférences révélées peuvent-elles clarifier l'alignement et le pilotage des grands modèles de langage ?

Énoncé du problème

Alors que les grands modèles de langage (LLM) passent de la réponse à des questions au soutien de décisions à haut risque dans des conditions d'incertitude (par exemple, le diagnostic médical), l'alignement dépend non seulement de l'exactitude factuelle, mais aussi de la manière dont les modèles pondèrent implicitement les compromis entre différents résultats. Les méthodes d'évaluation actuelles reposent souvent sur une exactitude statique ou des évaluations heuristiques des biais, échouant à caractériser rigoureusement les croyances et préférences sous-jacentes qui entraînent des actions conséquentes. Plus précisément, il reste unclear si les LLM se comportent comme des agents cohérents orientés vers un but, si leurs objectifs déclarés correspondent à leurs politiques de décision réelles, et si les instructions explicites de l'utilisateur (pilotage) peuvent modifier de manière fiable ces politiques.

Méthodologie

Les auteurs proposent un pipeline empirique fondé sur la théorie de la décision et l'analyse des préférences révélées pour inférer les modèles d'utilité implicites des LLM. Le cadre traite le LLM comme un agent effectuant des choix dans un problème de décision statistique et procède en trois étapes :

1. Élicitation des croyances et des actions :

   • Croyances : Pour une tâche de décision donnée avec un contexte $x$, le modèle est invité à signaler une distribution de probabilité subjective $P^E(\theta | x)$ sur l'état latent $\theta$ (par exemple, la probabilité qu'un patient soit atteint d'une maladie).
   • Actions : Le modèle est invité à prendre une décision $a \in \mathcal{A}$ (par exemple, diagnostiquer, ne pas diagnostiquer, ou reporter) basée sur le même contexte.
   • Auto-déclarations : Le modèle est également invité à décrire verbalement la fonction de perte (coûts des faux positifs, des faux négatifs et du report) qu'il compte utiliser, à la fois globalement et pour des cas spécifiques.

2. Estimation de la fonction de perte (Préférences révélées) :

   • En utilisant les croyances élicitées et les actions observées, les auteurs ajustent un modèle de choix discret (spécifiquement un modèle logit multinomial) pour retrouver les paramètres de la fonction de perte $\hat{c}$ qui rationalisent le mieux le comportement observé.
   • La fonction de perte est paramétrée comme suit : $\ell_c(a, \theta) = c_{FP} \cdot I[a=1, \theta=0] + c_{FN} \cdot I[a=0, \theta=1] + c_{defer} \cdot I[a=defer]$.
   • L'analyse se concentre sur les rapports de ces coûts (par exemple, $c_{FN}/c_{FP}$), qui sont identifiés même si l'échelle absolue ne l'est pas.

3. Métriques d'évaluation :

   • Cohérence (ILFC) : Le pourcentage de cas où la décision réalisée du modèle correspond à la décision optimale dérivée de la combinaison de ses croyances élicitées avec la fonction de perte récupérée.
   • Véracité : Une comparaison entre les rapports de coûts auto-déclarés du modèle et les estimations par préférences révélées.
   • Analyse du pilotage : Le pipeline teste si l'incitation avec des fonctions de coûts spécifiques ou des probabilités de vérité fondamentale déplace les préférences implicites du modèle vers la cible.
   • Prédiction contrefactuelle : Les auteurs simulent un agent rationnel utilisant les croyances et préférences récupérées pour prédire le bénéfice des interventions (par exemple, « Quelle serait la réduction de perte si nous corrigions les croyances du modèle ? »). Ces prédictions sont comparées à la réduction de perte réelle réalisée après l'incitation.

Contributions clés

1. Un cadre pour inférer les utilités implicites : L'article introduit une procédure structurée pour éliciter séparément les croyances et les décisions, puis estime une fonction de perte qui rationalise le comportement, dépassant ainsi l'exactitude statique pour atteindre un alignement fondé sur la théorie de la décision.
2. Tests de cohérence rigoureux : Les auteurs fournissent une méthode pour tester si les modèles se comportent comme des agents cohérents orientés vers un but en comparant les décisions observées à la politique optimale implicite de leurs propres croyances et préférences récupérées.
3. Évaluation de l'auto-déclaration et du pilotage : Le cadre teste si les modèles peuvent verbaliser fidèlement leurs objectifs et si l'incitation peut réussir à piloter leurs politiques de décision pour mettre en œuvre des fonctions de coûts spécifiées par l'utilisateur.
4. Décomposition contrefactuelle : Les auteurs démontrent comment les préférences révélées peuvent prédire l'efficacité des interventions, distinguant les changements entraînés par des mises à jour de croyances de ceux entraînés par des déplacements de préférences.

Configuration expérimentale et résultats

Le pipeline a été appliqué à quatre domaines de diagnostic clinique (maladies cardiaques structurelles, diabète, fièvre pédiatrique et pleurs de nourrissons) en utilisant quatre modèles de pointe et open-source (GPT-5 Thinking High/Minimal, DeepSeek R1 671B, Llama-4 Scout 17B).

• Cohérence interne : Les modèles présentent un degré « substantiel mais imparfait » de cohérence interne. Lorsque les croyances et les préférences récupérées sont combinées, elles expliquent une grande part des décisions (par exemple, jusqu'à 99 % de cohérence pour GPT-5-High avec des probabilités réelles), nettement mieux que les préférences auto-déclarées.
• Rapport fidèle : Les modèles peinent à décrire avec précision la fonction de perte qui explique leurs décisions. Les rapports de coûts auto-déclarés divergent souvent considérablement des préférences révélées (par exemple, les modèles exagèrent souvent le coût des faux négatifs par rapport aux faux positifs dans leurs rapports verbaux par rapport à leurs choix réels).
• Pilotabilité :
  • Incitation par fonction de coût : La spécification explicite des rapports de coûts dans les incitations déplace les préférences implicites dans la bonne direction par rapport à la ligne de base, mais ce déplacement est hétérogène. Les modèles sous-estiment souvent, surestiment, ou occasionnellement se déplacent dans la mauvaise direction.
  • Incitation par probabilité : Fournir des probabilités de vérité fondamentale ne met pas simplement à jour les croyances tout en maintenant les préférences fixes. Au contraire, cela altère la fonction de coût implicite (préférences) du modèle, suggérant que les incitations ciblant un composant de la prise de décision ont des effets secondaires sur d'autres.
• Validité contrefactuelle : La décomposition par préférences révélées prédit avec succès les bénéfices de l'incitation par fonction de coût (forte corrélation entre la réduction de perte prédite et réalisée). Cependant, elle échoue à prédire les bénéfices de l'incitation probabiliste à moins que le changement dans la fonction de coût implicite ne soit également pris en compte.

Importance et affirmations

L'article affirme que les préférences révélées offrent un outil plus précis et rigoureux pour évaluer la transparence et la pilotabilité de la prise de décision des LLM que les méthodes heuristiques actuelles.

• Limites de l'auto-déclaration : Les résultats suggèrent que les objectifs verbalisés sont des descriptions peu fiables des politiques de décision opérationnelles. S'appuyer sur des auto-déclarations pour la vérification de l'alignement est insuffisant.
• Défis du pilotage : Bien que les modèles puissent être pilotés, ils n'adoptent pas fidèlement les objectifs spécifiés par l'utilisateur. La nature « boîte noire » de leurs compromis internes signifie que même avec des instructions explicites, les modèles peuvent ne pas mettre en œuvre la fonction de coût souhaitée, et l'incitation peut induire des déplacements de préférences non intentionnels.
• Utilité du cadre : La méthodologie proposée permet aux chercheurs d'attribuer les erreurs de décision soit à des erreurs de croyances factuelles, soit à des préférences mal alignées, offrant un moyen structuré de diagnostiquer et potentiellement d'améliorer l'alignement de l'IA dans des domaines à haut risque.

Les auteurs soulignent que leurs techniques décrivent un comportement observable dans un cadre de boîte noire et ne prétendent pas révéler les mécanismes internes, mais elles fournissent une base pour passer de revendications informelles sur la poursuite d'objectifs à un ancrage empiriquement testable.