When Is Delegated Play Truthful? Within-Range Regret and the Trilemma of Aligned Delegation

Resumo Técnico: "Quando o Jogo Delegado é Verdadeiro? Arrependimento Dentro do Alcance e o Trilema da Delegação Alinhada"

1. Declaração do Problema

O artigo aborda uma lacuna fundamental na aplicação do Princípio da Revelação a sistemas delegados modernos. Enquanto o design de mecanismos clássico assume que um principal (por exemplo, um anunciante ou usuário) pode relatar honestamente seu tipo privado a um mecanismo, os sistemas do mundo real dependem cada vez mais de pilhas de delegação (delegation stacks): um principal relata seu tipo a um proxy automatizado (por exemplo, um autobidder ou um agente de modelo de linguagem), que então mapeia este relato para uma ação dentro de um mecanismo.

A questão central é: Quando é otimável para um principal descrever a si mesmo honestamente ao seu próprio proxy?
A teoria clássica assume que o relato honesto é otimável, mas essa construção exige conhecimento de equilíbrios e priors que os designers raramente possuem. Em configurações delegadas, o objetivo do proxy pode não estar perfeitamente alinhado com o do principal. O artigo investiga os incentivos para um principal relatar erroneamente seu tipo ao seu proxy para manipular a saída do proxy, um fenômeno não modelado em trabalhos anteriores sobre elicitação por modelos de linguagem e autobidding.

2. Metodologia e Estrutura

Os autores formalizam a pilha de delegação como um jogo bayesiano onde:

• Principais possuem tipos privados $\theta_i$ e escolhem relatos $t_i$.
• Proxies ($\pi_i$) são mapas determinísticos de relatos para mensagens de mecanismo ($M_i$).
• O Mecanismo Envolvido (Wrapped Mechanism) é $g \circ \pi$, onde $g$ é o mecanismo original.

A análise introduz dois conceitos principais:

1. Arrependimento Dentro do Alcance (Within-Range Regret - $W_i$): A diferença entre a utilidade que o principal poderia alcançar ao direcionar o proxy para a melhor ação alcançável e a utilidade alcançada pela ação honesta do proxy.
   $$W_i(\theta_i; \pi) = \max_{m \in \text{Reach}_i} U_i(m, \pi_{-i} | \theta_i) - U_i(\pi_i(\theta_i), \pi_{-i} | \theta_i)$$
   onde $\text{Reach}_i = \pi_i(\Theta_i)$ é o conjunto de ações que o proxy pode produzir.
2. Ganho de Manipulação ($G_i$): A utilidade máxima que um principal ganha ao relatar erroneamente seu tipo ao proxy.

O artigo trata o comportamento do proxy como um mapa fixo e analisa os incentivos do principal contra este mapa, em vez de assumir que o proxy é leal ou otimiza a utilidade do principal.

3. Contribuições Principais e Resultados Teóricos

A. A Identidade de Verdade ao Proxy (Teorema 1)
O artigo estabelece uma identidade fundamental: O ganho do principal pelo relato errôneo ($G_i$) é exatamente igual ao arrependimento dentro do alcance do proxy ($W_i$).

• Implicação: O autodescrição honesta é otimável se, e somente se, o proxy for leal sobre o alcance que ele pode atingir (ou seja, o proxy já executa a melhor ação que ele pode alcançar para o principal).
• Unificação: Esta identidade unifica resultados díspares em autobidding (por exemplo, a reversão de compatibilidade de incentivos entre leilões de primeiro e segundo preço) como uma simples mudança de sinal em $W_i$. Em leilões de segundo preço, o lance honesto é ótimo dentro do alcance ($W_i=0$); em leilões de primeiro preço, não é ($W_i > 0$).

B. O Trilema da Delegação Alinhada (Teorema 2)
O artigo prova um resultado de impossibilidade estrutural em relação a guardrails (restrições aplicadas a proxies, como limites de lances ou camadas de alinhamento). Nenhum guardrail pode satisfazer simultaneamente três propriedades:

1. Vinculativo (Binding): Ele desloca a ação verdadeira do melhor resultado alcançável do proxy.
2. Verdadeiro (Truthful): O relato honesto permanece otimável para o principal.
3. Preservador de Capacidade (Capability-Preserving): O melhor resultado alcançável do principal permanece alcançável através de algum relato.

• Consequência: Quaisquer duas dessas propriedades excluem a terceira.
  • Se um guardrail é vinculativo e preservador de capacidade (por exemplo, um teto suave que permite o lance ideal via um relato diferente), ele quebra a veracidade, criando um incentivo para "engenharia de prompt" ou inflação de relatos.
  • Se um guardrail é vinculativo e verdadeiro (por exemplo, um teto rígido que remove o lance ideal), ele perde a capacidade.
  • Se um guardrail é verdadeiro e preservador de capacidade, ele deve ser não-vinculativo (ele não faz nada).

C. Certificação e Deriva (Seções 6 & 7)
Como computar $W_i$ exatamente é #P-hard, o artigo propõe um framework de certificação estatística:

• Estimativa: $W_i$ pode ser estimado a partir de amostras do comportamento do proxy.
• Tratamento de Deriva (Drift): O artigo fornece um método para recertificação online. À medida que um modelo de proxy atualiza (sofre deriva), a garantia degrada-se com base na magnitude da deriva ($\Delta$), em vez da frequência das atualizações. Isso permite que plataformas mantenam certificados de compatibilidade de incentivos com custos que escalam para o orçamento total de deriva.

4. Resultados Empíricos

Os autores testaram essas previsões teóricas em 25 modelos de linguagem de produção de cinco provedores (OpenAI, Anthropic, Google, DeepSeek, xAI) atuando como proxies de autobidding em um leilão de primeiro preço.

• Configuração: Os modelos foram instruídos a maximizar o excedente do cliente sob um teto suave de "estilo alinhamento" (uma restrição que comprime os lances, mas mantém o lance ideal alcançável via inflação de relato).
• Descobertas:
  • Incentivo Universal: Em todos os modelos, o guardrail vinculativo e preservador de capacidade resultou em $W_i > 0$.
  • Inflação de Relato: Os principais (simulados pelo setup experimental) puderam ganhar utilidade ao inflar o valor relatado (por exemplo, relatando 1,76x o valor real) para contornar o teto e alcançar o lance ideal.
  • A Localização Importa: Quando a restrição foi aplicada via clipping de saída (pós-processamento do lance do modelo), $W_i$ foi alto (~5,79). Quando aplicada via decodificação consciente de restrição (o modelo seleciona o melhor lance permitido de um menu), $W_i$ caiu para próximo de zero para a maioria dos modelos, confirmando a previsão teórica de que a localização determina qual canto do trilema é ocupado.
  • Tetos Rígidos (Hard Caps): Um teto rígido que removeu o lance ideal inteiramente resultou em $W_i = 0$ (verdadeiro), mas com perda significativa de capacidade, confirmando o terceiro canto do trilema.

5. Significância e Alegações

O artigo afirma mudar o paradigma da compatibilidade de incentivos em sistemas delegados:

• De Suposição para Medição: O relato honesto não é uma propriedade automática de um mecanismo, mas uma propriedade mensurável do alinhamento do proxy com o principal.
• O Custo da Segurança: O artigo argumenta que restrições de segurança (guardrails) que alteram o comportamento de um modelo enquanto mantêm o resultado ideal alcançável criam inerentemente incentivos para o relato errôneo (engenharia de prompt). Isso não é uma falha do modelo, mas uma consequência estrutural do trilema.
• Certificação Prática: Fornece um framework para plataformas medirem e manterem a compatibilidade de incentivos em sistemas dinâmicos baseados em aprendizado, onde o cálculo exato do equilíbrio é intratável.

Os autores declaram explicitamente que não assumem que o proxy seja leal; em vez disso, medem o grau de desalinhamento via arrependimento dentro do alcance. O trabalho unifica a teoria de leilões e o alinhamento de modelos de linguagem sob um único framework geométrico, demonstrando que o fenômeno de "jailbreaking" ou "engenharia de prompt" é um incentivo econômico previsível decorrente de restrições vinculativas e preservadoras de capacidade.