When Is Delegated Play Truthful? Within-Range Regret and the Trilemma of Aligned Delegation

Technische Samenvatting: "Wanneer is gedelegeerd spel waarheidsgetrouw? Binnen-bereik-regret en de trilemma van gealigneerde delegatie"

1. Probleemstelling

Het artikel adresseert een fundamentele kloof in de toepassing van het Revelatieprincipe op moderne gedelegeerde systemen. Terwijl de klassieke mechanismeontwerp uitgaat van de aanname dat een principaal (bijv. een adverteerder of gebruiker) zijn private type waarheidsgetrouw kan rapporteren aan een mechanisme, vertrouwen echte systemen steeds vaker op delegatiestapels: een principaal rapporteert zijn type aan een geautomatiseerde proxy (bijv. een autobidder of een taalmodel-agent), die dit rapport vervolgens mapt naar een actie binnen een mechanisme.

De kernvraag is: Wanneer is het optimaal voor een principaal om zichzelf eerlijk te beschrijven aan zijn eigen proxy?
Klassieke theorie gaat ervan uit dat eerlijke rapportage optimaal is, maar deze constructie vereist kennis van evenwichten en priors die ontwerpers zelden bezitten. In gedelegeerde settings kan het doel van de proxy niet perfect overeenstemmen met dat van de principaal. Het artikel onderzoekt de prikkels voor een principaal om zijn type onjuist te rapporteren aan zijn proxy om de output van de proxy te manipuleren, een fenomeen dat in eerder werk over taalmodel-elicitatie en autobidding ongemodelleerd bleef.

2. Methodologie en Raamwerk

De auteurs formaliseren de delegatiestapel als een Bayesiaans spel waarbij:

• Principalen hebben private types $\theta_i$ en kiezen rapporten $t_i$.
• Proxy's ($\pi_i$) zijn deterministische functies van rapporten naar mechanisme-berichten ($M_i$).
• Het Gewraapte Mechanisme is $g \circ \pi$, waarbij $g$ het oorspronkelijke mechanisme is.

De analyse introduceert twee kernconcepten:

1. Binnen-bereik-regret ($W_i$): Het verschil tussen de nut die de principaal zou kunnen behalen door de proxy te sturen naar de beste bereikbare actie en het nut dat wordt behaald door de eerlijke actie van de proxy.
   $$W_i(\theta_i; \pi) = \max_{m \in \text{Reach}_i} U_i(m, \pi_{-i} | \theta_i) - U_i(\pi_i(\theta_i), \pi_{-i} | \theta_i)$$
   waarbij $\text{Reach}_i = \pi_i(\Theta_i)$ de verzameling acties is die de proxy kan produceren.
2. Manipulatie-winst ($G_i$): De maximale winst die een principaal behaalt door zijn type onjuist te rapporteren aan de proxy.

Het artikel behandelt het gedrag van de proxy als een vaste functie en analyseert de prikkels van de principaal tegenover deze functie, in plaats van aan te nemen dat de proxy loyaal is of het nut van de principaal optimaliseert.

3. Belangrijkste Bijdragen en Theoretische Resultaten

A. De Waarheid-naar-Proxy Identiteit (Theorem 1)
Het artikel vestigt een fundamentele identiteit: De winst van de principaal door onjuiste rapportage ($G_i$) is exact gelijk aan de binnen-bereik-regret van de proxy ($W_i$).

• Implicatie: Eerlijke zelfbeschrijving is optimaal als en slechts als de proxy loyaal is over het bereik dat hij kan bereiken (d.w.z. de proxy speelt al de beste actie die hij kan bereiken voor de principaal).
• Unificatie: Deze identiteit verenigt uiteenlopende resultaten in autobidding (bijv. de inversie van incentive compatibility tussen eerste-prijs en tweede-prijs veilingen) als een eenvoudige tekenverandering in $W_i$. In tweede-prijs veilingen is de eerlijke bieding bereik-optimaal ($W_i=0$); in eerste-prijs veilingen is dat niet ($W_i > 0$).

B. Het Trilemma van Gealigneerde Delegatie (Theorem 2)
Het artikel bewijst een structureel onmogelijkheidsresultaat met betrekking tot guardrails (beperkingen opgelegd aan proxy's, zoals biedplafonds of alignment-lagen). Geen enkele guardrail kan gelijktijdig drie eigenschappen voldoen:

1. Bindend: Het verdringt de waarheidsgetrouwe actie van de beste bereikbare uitkomst van de proxy.
2. Waarheidsgetrouw: Eerlijke rapportage blijft optimaal voor de principaal.
3. Capaciteitsbehoudend: De beste bereikbare uitkomst van de principaal blijft bereikbaar via een bepaald rapport.

• Gevolg: Elke twee van deze eigenschappen sluiten de derde uit.
  • Als een guardrail bindend en capaciteitsbehoudend is (bijv. een zachte limiet die de optimale bieding mogelijk maakt via een ander rapport), dan doorbreekt het de waarheidsgetrouwheid, wat een prikkel creëert voor "prompt engineering" of rapport-inflatie.
  • Als een guardrail bindend en waarheidsgetrouw is (bijv. een harde limiet die de optimale bieding verwijdert), dan verliest het capaciteit.
  • Als een guardrail waarheidsgetrouw en capaciteitsbehoudend is, moet het niet-bindend zijn (het doet niets).

C. Certificering en Drift (Secties 6 & 7)
Omdat het exact berekenen van $W_i$ #P-hard is, stelt het artikel een statistisch certificeringskader voor:

• Schatting: $W_i$ kan worden geschat vanaf monsters van het gedrag van de proxy.
• Drift-afhandeling: Het artikel biedt een methode voor online hercertificering. Naarmate een proxy-model bijwerkt (drift vertoont), degradeert de garantie op basis van de omvang van de drift ($\Delta$), in plaats van de frequentie van updates. Dit stelt platforms in staat om incentive compatibility-certificaten te behouden met kosten die schalen naar het totale drift-budget.

4. Empirische Resultaten

De auteurs testten deze theoretische voorspellingen op 25 productiemodellen van vijf aanbieders (OpenAI, Anthropic, Google, DeepSeek, xAI) die optreden als autobidding-proxy's in een eerste-prijs veiling.

• Opzet: Modellen kregen de instructie om het surplus van de cliënt te maximaliseren onder een "alignment-stijl" zachte limiet (een beperking die biedingen comprimeert maar de optimale bieding bereikbaar houdt via rapport-inflatie).
• Bevindingen:
  • Universele Prikkel: Bij elk model resulteerde de bindende, capaciteitsbehoudende guardrail in $W_i > 0$.
  • Rapport-inflatie: Principalen (gesimuleerd door de experimentele opzet) konden nut behalen door hun gerapporteerde waarde op te blazen (bijv. 1,76x de ware waarde rapporteren) om de limiet te omzeilen en de optimale bieding te bereiken.
  • Plaatsing is cruciaal: Wanneer de beperking werd toegepast via output-clipping (het post-processen van het bod van het model), was $W_i$ hoog (~5,79). Wanneer het werd toegepast via constraint-aware decoding (het model selecteert het beste toegestane bod uit een menu), daalde $W_i$ voor de meeste modellen naar bijna nul, wat de theoretische voorspelling bevestigt dat de plaatsing bepaalt welk hoekpunt van het trilemma wordt bezet.
  • Harde Limieten: Een harde limiet die de optimale bieding geheel verwijderde, resulteerde in $W_i = 0$ (waarheidsgetrouw) maar met aanzienlijk capaciteitsverlies, wat het derde hoekpunt van de trilemma bevestigt.

5. Betekenis en Claims

Het artikel beweert het paradigma van incentive compatibility in gedelegeerde systemen te verschuiven:

• Van Aanname naar Meting: Eerlijke rapportage is geen automatische eigenschap van een mechanisme, maar een meetbare eigenschap van de alignment van de proxy met de principaal.
• De Kosten van Veiligheid: Het artikel betoogt dat veiligheidsbeperkingen (guardrails) die het gedrag van een model wijzigen terwijl de optimale uitkomst bereikbaar blijft, inherent prikkels creëren voor onjuiste rapportage (prompt engineering). Dit is geen falen van het model, maar een structureel gevolg van het trilemma.
• Praktische Certificering: Het biedt een kader voor platforms om incentive compatibility te meten en te handhaven in dynamische, op leren gebaseerde systemen waar exacte evenwichtsberekening onhandelbaar is.

De auteurs verklaren expliciet dat zij niet aannemen dat de proxy loyaal is; in plaats daarvan meten zij de graad van misalignment via binnen-bereik-regret. Het werk verenigt veilingtheorie en taalmodel-alignment onder één enkel geometrisch raamwerk, en demonstreert dat het "jailbreaking" of "prompt engineering" fenomeen een voorspelbare economische prikkel is die voortvloeit uit bindende, capaciteitsbehoudende beperkingen.