When Is Delegated Play Truthful? Within-Range Regret and the Trilemma of Aligned Delegation

Résumé Technique : « Quand le jeu délégué est-il sincère ? Regret dans l'intervalle et le trilemme de la délégation alignée »

1. Énoncé du problème

L'article traite d'une lacune fondamentale dans l'application du Principe de Révélation aux systèmes délégués modernes. Alors que la théorie des mécanismes classique suppose qu'un principal (par exemple, un annonceur ou un utilisateur) peut rapporter sincèrement son type privé à un mécanisme, les systèmes réels reposent de plus en plus sur des piles de délégation : un principal rapporte son type à un proxy automatisé (par exemple, un auto-enchanteur ou un agent de modèle de langage), qui transforme ensuite ce rapport en une action au sein d'un mécanisme.

La question centrale est la suivante : Quand est-il optimal pour un principal de se décrire honnêtement auprès de son propre proxy ?
La théorie classique suppose que le rapport honnête est optimal, mais cette construction nécessite une connaissance des équilibres et des priors que les concepteurs possèdent rarement. Dans les contextes de délégation, l'objectif du proxy peut ne pas être parfaitement aligné sur celui du principal. L'article étudie les incitations d'un principal à mal déclarer son type auprès de son proxy afin de manipuler la sortie du proxy, un phénomène non modélisé dans les travaux antérieurs sur l'élicitation par modèle de langage et l'enchère automatique.

2. Méthodologie et cadre

Les auteurs formalisent la pile de délégation comme un jeu bayésien où :

• Les principaux ont des types privés $\theta_i$ et choisissent des rapports $t_i$.
• Les proxies ($\pi_i$) sont des applications déterministes des rapports vers des messages de mécanisme ($M_i$).
• Le Mécanisme Enveloppé est $g \circ \pi$, où $g$ est le mécanisme original.

L'analyse introduit deux concepts clés :

1. Regret dans l'intervalle ($W_i$) : La différence entre l'utilité que le principal pourrait obtenir en orientant le proxy vers la meilleure action atteignable et l'utilité obtenue par l'action honnête du proxy.
   $$W_i(\theta_i; \pi) = \max_{m \in \text{Reach}_i} U_i(m, \pi_{-i} | \theta_i) - U_i(\pi_i(\theta_i), \pi_{-i} | \theta_i)$$
   où $\text{Reach}_i = \pi_i(\Theta_i)$ est l'ensemble des actions que le proxy peut produire.
2. Gain de manipulation ($G_i$) : L'utilité maximale qu'un principal gagne en déclarant de manière erronée son type auprès du proxy.

L'article traite le comportement du proxy comme une application fixe et analyse les incitations du principal contre cette application, plutôt que de supposer que le proxy est loyal ou optimise l'utilité du principal.

3. Contributions clés et résultats théoriques

A. L'identité de la sincérité envers le proxy (Théorème 1)
L'article établit une identité fondamentale : le gain du principal par la déclaration erronée ($G_i$) est exactement égal au regret dans l'intervalle du proxy ($W_i$).

• Implication : L'auto-description honnête est optimale si et seulement si le proxy est loyal sur l'intervalle qu'il peut atteindre (c'est-à-dire que le proxy joue déjà la meilleure action possible dans sa portée).
• Unification : Cette identité unifie des résultats disparates dans l'enchère automatique (par exemple, l'inversion de la compatibilité des incitations entre les enchères de premier prix et de second prix) comme un simple changement de signe de $W_i$. Dans les enchères de second prix, l'enchère honnête est optimale dans l'intervalle ($W_i=0$) ; dans les enchères de premier prix, elle ne l'est pas ($W_i > 0$).

B. Le trilemme de la délégation alignée (Théorème 2)
L'article démontre un résultat d'impossibilité structurelle concernant les garde-fous (contraintes appliquées aux proxies, telles que des plafonds d'enchères ou des couches d'alignement). Aucun garde-fou ne peut simultanément satisfaire trois propriétés :

1. Contraignant (Binding) : Il déplace l'action sincère de l'issue la plus favorable du proxy.
2. Sincère (Truthful) : Le rapport honnête reste optimal pour le principal.
3. Préservant les capacités (Capability-Preserving) : L'issue la plus favorable du principal reste atteignable via un certain rapport.

• Conséquence : N'importe quelles deux de ces propriétés excluent la troisième.
  • Si un garde-fou est contraignant et préserve les capacités (par exemple, un plafond souple qui permet l'enchère optimale via un rapport différent), il rompt la sincérité, créant une incitation au « prompt engineering » ou à l'inflation de rapport.
  • Si un garde-fou est contraignant et sincère (par exemple, un plafond dur qui supprime l'enchère optimale), il perd les capacités.
  • Si un garde-fou est sincère et préserve les capacités, il doit être non contraignant (il ne fait rien).

C. Certification et dérive (Sections 6 & 7)
Puisque le calcul exact de $W_i$ est #P-difficile, l'article propose un cadre de certification statistique :

• Estimation : $W_i$ peut être estimé à partir d'échantillons du comportement du proxy.
• Gestion de la dérive : L'article fournit une méthode pour la recertification en ligne. À mesure qu'un modèle de proxy se met à jour (dérive), la garantie se dégrade en fonction de l'ampleur de la dérive ($\Delta$) plutôt que de la fréquence des mises à jour. Cela permet aux plateformes de maintenir des certificats de compatibilité des incitations avec des coûts proportionnels au budget total de dérive.

4. Résultats empiriques

Les auteurs ont testé ces prédictions théoriques sur 25 modèles de langage de production provenant de cinq fournisseurs (OpenAI, Anthropic, Google, DeepSeek, xAI) agissant comme des proxies d'enchères automatiques dans une enchère de premier prix.

• Configuration : Les modèles ont reçu l'instruction de maximiser le surplus du client sous un plafond souple de type « alignement » (une contrainte qui comprime les enchères tout en gardant l'enchère optimale atteignable via l'inflation de rapport).
• Résultats :
  • Incitatif universel : Sur chaque modèle, le garde-fou contraignant et préservant les capacités a entraîné un $W_i > 0$.
  • Inflation de rapport : Les principaux (simulés par le dispositif expérimental) pouvaient gagner de l'utilité en gonflant leur valeur rapportée (par exemple, en rapportant 1,76 fois la valeur réelle) pour contourner le plafond et atteindre l'enchère optimale.
  • L'emplacement importe : Lorsque la contrainte était appliquée via le clipping de sortie (post-traitement de l'enchère du modèle), $W_i$ était élevé (~5,79). Lorsque la contrainte était appliquée via un décodage conscient des contraintes (le modèle sélectionne la meilleure enchère autorisée parmi un menu), $W_i$ est tombé proche de zéro pour la plupart des modèles, confirmant la prédiction théorique que l'emplacement détermine quel coin du trilemme est occupé.
  • Plafonds durs : Un plafond dur qui supprimait entièrement l'enchère optimale a entraîné un $W_i = 0$ (sincère) mais une perte de capacité significative, confirmant le troisième coin du trilemme.

5. Signification et revendications

L'article affirme un changement de paradigme de la compatibilité des incitations dans les systèmes délégués :

• De l'hypothèse à la mesure : Le rapport honnête n'est pas une propriété automatique d'un mécanisme, mais une propriété mesurable de l'alignement du proxy avec le principal.
• Le coût de la sécurité : L'article soutient que les contraintes de sécurité (garde-fous) qui modifient le comportement d'un modèle tout en rendant l'issue optimale atteignable créent intrinsèquement des incitations au mauvais rapport (prompt engineering). Ce n'est pas un échec du modèle, mais une conséquence structurelle du trilemme.
• Certification pratique : Il fournit un cadre pour mesurer et maintenir la compatibilité des incitations dans des systèmes dynamiques basés sur l'apprentissage où le calcul de l'équilibre exact est intraitable.

Les auteurs déclarent explicitement qu'ils ne supposent pas que le proxy est loyal ; ils mesurent plutôt le degré de désalignement via le regret dans l'intervalle. Le travail unifie la théorie des enchères et l'alignement des modèles de langage sous un cadre géométrique unique, démontant que le phénomène de « jailbreaking » ou de « prompt engineering » est une incitation économique prévisible découlant de contraintes contraignantes et préservant les capacités.