Resumo Técnico: O Design de Mecanismos Não é Suficiente: Agentes Prossociais para IA Cooperativa

1. Declaração do Problema

À medida que os agentes de IA se tornam cada vez mais autônomos, eles operarão em ambientes compartilhados que exigem cooperação (por exemplo, alocação de recursos, projetos colaborativos). Um desafio central na segurança da IA é garantir que esses agentes se comportem de forma benéfica ao interagir com outras partes. Embora o design de mecanismos—a teoria de projetar regras para alinhar incentivos individuais com objetivos coletivos—tenha sido aplicado a sistemas multiagente, permanece uma questão em aberto se ele é suficiente para maximizar o bem-estar social em ambientes complexos e de contornos abertos.

O artigo argumenta que confiar exclusivamente no design de mecanismos é insuficiente devido às limitações fundamentais da incompletude contratual. Em cenários do mundo real, é impossível especificar e fazer cumprir regras para cada contingência futura relevante. Quando os contratos não conseguem distinguir entre todos os estados futuros relevantes, surge uma "lacuna de cooperação" onde agentes interessos não conseguem alcançar resultados socialmente ótimos, independentemente de quão bem projetado seja o mecanismo.

2. Metodologia

Estrutura Teórica

Os autores formalizam as limitações do design de mecanismos usando a teoria dos contratos incompletos (Grossman, Hart e Moore).

• Células Incontratíveis: Eles definem uma partição de estados futuros onde um mecanismo não consegue distinguir eficientemente entre estados que exigem ações diferentes para maximizar o bem-estar.
• Incontratibilidade Estrita: Uma propriedade onde, dentro de um conjunto de estados (uma célula), nenhum perfil de ação único é o melhor possível para todos os estados, e a ação que maximiza o bem-estar varia ao longo da célula.
• A Lacuna de Cooperação: Eles provam que, em ambientes que exibem incontratibilidade estrita dentro de uma estrutura de dilema social, nenhum mecanismo admissível pode eliminar a perda de bem-estar causada pelo jogo interessado. A perda esperada de bem-estar é estritamente positiva ($\Delta(M) > 0$).
• Agentes Prossociais: Eles modelam agentes com preferências $\lambda$-cooperativas, onde a função de utilidade de um agente inclui um termo ponderado para o bem-estar social total: $V_i^\lambda = u_i + \lambda W$.
  • $\lambda = 0$: Agente interessado.
  • $\lambda > 0$: Agente prosocial.
  • $\lambda \to \infty$: Jogo em equipe (maximizando o bem-estar total).

A teoria demonstra que, embora os mecanismos não possam fechar a lacuna em regiões incontratíveis, agentes suficientemente prosociais ($\lambda$ grande o suficiente) podem internalizar o termo de bem-estar, selecionando efetivamente a ação socialmente ótima mesmo quando o mecanismo não consegue distinguir os estados.

Configuração Experimental

As alegações teóricas são validadas empiricamente usando Modelos de Linguagem de Grande Escala (LLMs) em dois ambientes de referência:

1. TableGames (GT-HarmBench): Estende o Dilema do Prisioneiro e a Caça ao Cervo para um cenário de risco moral 4x4.
   • Os agentes escolhem uma ação base (Cooperar/Defetar) e um nível de esforço não observável (Alto/Baixo).
   • O esforço não observável cria uma célula incontratível, pois o mecanismo só pode observar o resultado, não o esforço investido.
2. GovSimContract: Uma simulação de governança de bens comuns multiagente onde os agentes pescam em um lago compartilhado e regenerável.
   • Inclui regimes determinísticos (taxa de regeneração conhecida) e estocásticos (taxa de regeneração desconhecida e aleatória).
   • A regeneração estocástica introduz incontratibilidade quanto à disponibilidade futura de recursos.

Condições Testadas:

• Regimes Contratuais: Sem Contrato, Contrato em Linguagem Natural (NL) (não aplicado) e Contrato de Código (aplicado via código Python).
• Tipos de Agente: Interessado ($\lambda=0$) vs. Prosocial ($\lambda \to \infty$).
• Modelos: GPT-4o, GPT-5.4, GPT-5.4 Mini, Gemma-4-31B e Grok-4.1-Fast.

3. Principais Contribuições

1. Formalização da Incompletude Contratual: O artigo oferece uma formalização da incompletude contratual como uma partição sobre estados futuros, destacando sua relevância para o design algorítmico de mecanismos, onde a contratibilidade completa é frequentemente assumida.
2. Prova da Lacuna de Cooperação: Os autores provam que, sob células incontratíveis com uma estrutura de dilema social, nenhum mecanismo realista pode eliminar a perda de bem-estar decorrente do jogo interessado (Teorema 6). Essa perda é inerente à estrutura do problema, não uma deficiência de um mecanismo específico.
3. Prosocialidade como Solução: Eles demonstram que agentes $\lambda$-cooperativos podem fechar essa lacuna. Agentes prosociais internalizam o custo do defeito para os outros, alcançando resultados socialmente superiores que também são individualmente benéficos em dilemas sociais estritos (Teorema 9).
4. Validação Empírica: O artigo fornece evidências de que a lacuna de cooperação teórica se manifesta na prática em LLMs de ponta. Mostra que, embora os contratos incentivem a cooperação, a prosocialidade gera ganhos adicionais que os contratos sozinhos não podem alcançar.
5. Análise da Capacidade de Contratação: O estudo testa a capacidade dos LLMs de coordenar contratos, encontrando que, embora melhorem em relação às linhas de base, os modelos atuais ainda ficam aquém do contrato teoricamente ótimo, particularmente em ambientes complexos (4x4) ou estocásticos.

4. Resultados

• A Lacuna Persiste: Nos jogos 4x4 TableGames (onde o esforço é incontratível), mesmo os "Contratos de Código" mais fortes falharam em fechar a lacuna de cooperação. A lacuna foi de aproximadamente 60–68 pontos percentuais na eficiência do bem-estar em comparação com o ótimo social.
• A Prosocialidade Supera os Contratos: Em regimes incontratíveis (jogos 4x4 e GovSim estocástico), agentes prosociais alcançaram ganhos coletivos, taxas de sobrevivência e sustentabilidade de recursos significativamente maiores do que agentes egoístas, independentemente do regime contratual.
• Substituição vs. Complementaridade:
  • Em ambientes contratíveis (por exemplo, jogos 2x2, GovSim determinístico), contratos e prosocialidade atuam como substitutos; contratos fortes capturam a maior parte do bem-estar disponível.
  • Em ambientes incontratíveis, eles atuam como complementos; os contratos não conseguem fechar a lacuna, e a prosocialidade é necessária para recuperar o bem-estar perdido.
• Comportamento do Modelo:
  • A maioria dos modelos de ponta (GPT-5.4, GPT-5.4 Mini, Gemma-4, Grok-4.1) exibiu prosocialidade implícita próxima de zero ($\hat{\lambda} \approx 0$) quando instruída a ser interessada.
  • O GPT-4o foi uma exceção, mostrando uma prosocialidade estimada não nula ($\hat{\lambda} \ge 4.10$), embora ainda tenha tido dificuldades com a redação complexa de contratos.
  • Os LLMs frequentemente redigiram contratos subótimos (por exemplo, limites excessivamente prudentes no GovSim determinístico) ou falharam em renegociar contratos ineficientes.

5. Significado e Implicações

O artigo conclui que projetar mecanismos adequados não é suficiente para permitir interações cooperativas em escala. Quando os ambientes são complexos o suficiente para que os contratos sejam inevitavelmente incompletos, os valores intrínsecos dos agentes tornam-se um requisito para o comportamento cooperativo, e não um complemento opcional.

• Segurança da IA: As descobertas fornecem motivação formal para a construção de agentes de IA intrinsecamente prosociais. Sem tal alinhamento intrínseco, os ganhos de bem-estar não podem ser realizados em configurações de contratos incompletos.
• Parâmetros de Design: A prosocialidade é apresentada como um parâmetro de design mensurável ($\lambda$). Os designers de sistemas podem calcular a prosocialidade mínima necessária para uma estrutura de interação específica, em vez de tratar a cooperação como uma escolha binária.
• Verificação: O trabalho sugere a necessidade de métodos de verificação para certificar a cooperação de um agente a contrapartes, uma vez que agentes prosociais são exploráveis por agentes egoístas sem tal certificação.

Os autores observam modestamente limitações, como a vulnerabilidade de verificações simples de prosocialidade a agentes egoístas e a dependência atual da implementação baseada em prompts da prosocialidade, sugerindo trabalhos futuros em interpretabilidade mecânica e integração mais profunda dos modelos.