Aligning Large Language Model Agents with Rational and Moral Preferences: A Supervised Fine-Tuning Approach

Este artigo apresenta uma abordagem de ajuste fino supervisionado que alinha agentes de modelos de linguagem a preferências econômicas racionais e morais, demonstrando que o treinamento em um pequeno conjunto de dados sintético e orientado pela teoria corrige desvios comportamentais e permite a geração de resultados estratégicos distintos e interpretáveis em ambientes de interação multiagente.

O essencial

Imagine que você acabou de contratar um assistente de IA muito inteligente para gerenciar o negócio da sua empresa. Ele é rápido, sabe de tudo e pode tomar decisões sozinho. Mas há um problema: esse assistente, por padrão, é um pouco "bonzinho demais" e um pouco "confuso". Ele tende a cooperar demais (até quando não deveria) e não reage bem quando você muda as regras do jogo para ganhar mais dinheiro.

Este artigo é como um manual de treinamento para consertar esse assistente. Os autores mostram como ensinar essas IAs a pensar de duas formas muito específicas, baseadas em ideias econômicas antigas, para que elas se comportem de maneira previsível e útil.

Aqui está a explicação passo a passo, usando analogias simples:

1. O Problema: O Assistente "Bonzinho"

Os autores descobriram que as IAs atuais (como o GPT-4) agem como crianças que querem ser amadas por todos.

• O que elas fazem: Em jogos onde você precisa decidir se coopera ou trapaceia (como o famoso "Dilema do Prisioneiro"), a IA quase sempre escolhe cooperar, mesmo quando a lógica diz que trapacear seria melhor para ela.
• O resultado: Ela ignora os incentivos financeiros. Se você mudar o prêmio para "ganhar mais dinheiro trapaceando", a IA continua cooperando. Ela é como um jogador de futebol que se recusa a chutar a gol porque acha que é "bonzinho" demais, mesmo que o time precise de um gol.

2. A Solução: O "Treinamento Específico" (Fine-Tuning)

Em vez de apenas dar ordens na hora da decisão (o que chamam de "engenharia de prompt" e que funciona mal), os autores decidiram reprogramar a personalidade do assistente.

Eles criaram dois novos "personagens" treinando a IA com dados matemáticos de economia:

• O "Homo Economicus" (O Egoísta Racional): Imagine um jogador de xadrez frio e calculista. Ele só se importa em ganhar pontos para si mesmo. Ele não tem culpa, não tem pena, só olha para o lucro.
• O "Homo Moralis" (O Filósofo Kantiano): Imagine um juiz que segue uma regra de ouro: "O que eu faço, eu gostaria que todo mundo fizesse?". Ele não é apenas egoísta, nem apenas bonzinho. Ele pensa: "Se eu cooperar, será que todo mundo cooperaria? Se sim, isso é bom para todos. Se não, talvez eu deva mudar". Ele busca um equilíbrio entre o que é bom para ele e o que seria justo se todos agissem igual.

3. Como foi o Treinamento?

Os autores não usaram humanos para ensinar a IA. Eles usaram matemática pura.

• Eles criaram um pequeno conjunto de dados (como um livro de exercícios) onde a resposta certa já estava calculada por fórmulas econômicas.
• Para o "Egoísta", a resposta certa era sempre a que maximizava o lucro individual.
• Para o "Filósofo", a resposta certa era a que equilibrava o lucro com a regra de "universalidade".
• Eles ensinaram a IA a imitar essas respostas. É como se você pegasse um aluno e dissesse: "Não pense no que você sente, pense apenas nestas fórmulas matemáticas".

4. Os Resultados: O Assistente Aprendeu?

Sim! Depois desse treinamento, os assistentes mudaram de comportamento de forma incrível:

• No Jogo do Dinheiro (Preços de Mercado):

  • O Egoísta aprendeu a competir de forma agressiva quando necessário, mas também a fazer acordos silenciosos (colusão) se isso aumentasse o lucro a longo prazo. Ele é estratégico.
  • O Filósofo foi o mais interessante. Ele manteve preços mais estáveis e justos. Mesmo quando o jogo tentava forçá-lo a trapacear, ele resistiu. Ele agiu como um "pilar de estabilidade" no mercado, evitando que os preços subissem demais (monopólio) ou descessem de forma caótica.
  • A IA original (sem treino) era a pior: ela tentava fazer acordos de preços altos (quase monopólio) de forma desajeitada, o que é perigoso para a economia.

• No Dilema Moral (Carros Autônomos):

  • Imagine um carro autônomo que precisa escolher entre atropelar 10 pedestres ou desviar e matar o passageiro.
  • O Filósofo manteve sua decisão de salvar o maior número de vidas, não importava se o passageiro era ele mesmo, um familiar ou um colega de trabalho. Ele é consistente.
  • O Egoísta mudou de ideia dependendo de quem estava no carro. Se fosse um familiar, ele preferia salvar o passageiro (egoísmo). Se fosse um colega, ele sacrificava o passageiro para salvar os pedestres (cálculo frio).
  • A IA original era estranha: ela sempre sacrificava o passageiro, mesmo quando era ela mesma no carro, como se fosse um mártir automático.

5. Por que isso é importante?

Este artigo nos diz que não podemos deixar as IAs agirem sozinhas sem definir quem elas são.

• Se você quer um agente de vendas agressivo, treine-o para ser o "Egoísta".
• Se você quer um agente de políticas públicas ou segurança, treine-o para ser o "Filósofo".
• Se você não fizer nada, a IA pode agir de forma imprevisível, "bonzinha demais" ou perigosamente desequilibrada.

Resumo da Ópera:
O artigo mostra que podemos usar a economia antiga (teorias de como as pessoas deveriam agir) para "ensinar" as IAs a terem personalidades específicas. Em vez de tentar adivinhar o que a IA vai fazer, nós desenhamos a IA para que ela aja exatamente como queremos: seja como um capitalista frio ou como um filósofo ético. Isso torna o uso de IAs em empresas e na sociedade muito mais seguro e previsível.

Resumo técnico

Resumo Técnico: Alinhamento de Agentes LLM com Preferências Racionais e Morais

1. O Problema

À medida que os Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados como agentes autônomos em mercados e organizações, seu comportamento em ambientes estratégicos torna-se economicamente consequential. O artigo identifica que os LLMs "prontos para uso" (off-the-shelf) exibem desvios sistemáticos em relação ao comportamento sensível a recompensas em jogos econômicos canônicos. Especificamente:

• Cooperação Excessiva: Tendência a cooperar mesmo quando a traição é a estratégia dominante economicamente.
• Insensibilidade a Incentivos: Falta de resposta adequada a mudanças nas estruturas de pagamento (payoffs).
• Inconsistência Crença-Ação: Discrepância entre o que o agente acredita que o outro fará e o que ele realmente faz.
• Limitação do Alinhamento Atual: Métodos existentes, como Reinforcement Learning from Human Feedback (RLHF), focam em segurança e normas de "ajuda, honestidade e inocuidade" em interações de assistente único. Eles não codificam estruturas de payoff ou considerações de equilíbrio necessárias para ambientes multiagente estratégicos.

O objetivo do trabalho é tratar o alinhamento não como um ajuste pós-treinamento baseado em feedback humano, mas como um problema de design pré-implantação, onde a estrutura de preferência do agente é embutida diretamente no modelo usando funções utilitárias econômicas explícitas.

2. Metodologia

Os autores propõem uma abordagem de Ajuste Fino Supervisionado (SFT) baseada em dados sintéticos gerados a partir de teoria econômica.

• Modelos de Preferência:

  • Homo Economicus: Um agente puramente interessado em maximizar seu próprio payoff esperado.
  • Homo Moralis: Um agente que equilibra o interesse próprio com a universalização kantiana (agir conforme a máxima que se deseja que se torne lei universal). A utilidade inclui um termo moral ponderado por $\kappa$, representando o payoff se o oponente adotasse a mesma estratégia.

• Geração de Dados de Treinamento:

  • Em vez de usar dados rotulados por humanos, os autores geraram um conjunto de dados sintético resolvendo otimalmente o Dilema do Prisioneiro Sequencial (SPD) sob as duas especificações de utilidade acima.
  • Para cada configuração de payoff, calculou-se a estratégia ótima (resposta melhor) para cada tipo de agente.
  • O conjunto de dados consiste em diálogos estruturados (Sistema, Usuário, Assistente) onde o "Assistente" fornece o raciocínio passo a passo (Chain-of-Thought) e a ação ótima baseada na função utilitária específica.
  • O tamanho do conjunto de dados foi intencionalmente pequeno (400 exemplos por tipo de agente) para manter a interpretabilidade e provar o conceito.

• Modelo Base: O modelo base utilizado foi o GPT-4o (versão 2024-08-06).

• Avaliação:

  • Jogos Canônicos: Avaliação em Dilema do Prisioneiro, Jogo da Confiança e Jogo do Ultimato, comparando com dados humanos e com o GPT-4o base.
  • Generalização Moral: Aplicação no experimento Moral Machine (dilemas de veículos autônomos), testando se as preferências aprendidas se mantêm em cenários de vida ou morte.
  • Interação Estratégica: Simulação de um duopólio de preços repetido para observar a formação de colusão tácita e a resposta a prompts competitivos vs. colaborativos.
  • Benchmarks de Segurança: Avaliação em conjuntos de dados de segurança (BBQ, StrongReject, XSTest, SimpleQA) para garantir que o ajuste fino não degradou a segurança ou introduziu viés.

3. Contribuições Principais

1. Mudança de Paradigma no Alinhamento: Propõe tratar o alinhamento de agentes econômicos como um problema de design de preferências embutidas via SFT, em vez de apenas ajuste de prompts ou otimização de segurança.
2. Método de Ajuste Fino Baseado em Teoria: Demonstra que um conjunto de dados sintético pequeno, derivado de funções utilitárias formais, é suficiente para induzir mudanças comportamentais persistentes e interpretáveis em LLMs.
3. Evidência de Comportamento Estratégico Distinto: Mostra que agentes alinhados a diferentes estruturas de preferência (racional vs. moral) produzem distribuições de resultados sistematicamente diferentes em ambientes de mercado e dilemas éticos.
4. Validação de Segurança: Demonstra que o alinhamento a preferências econômicas não degrada, e em alguns casos melhora, as métricas de segurança e viés do modelo.

4. Resultados Chave

• Comportamento em Jogos Econômicos:

  • O GPT-4o base mostrou cooperação excessiva e pouca sensibilidade a incentivos.
  • O agente Racional (Homo Economicus) ajustado exibiu comportamento de maximização de payoff, cooperando menos e respondendo adequadamente a mudanças nos incentivos, alinhando-se com a teoria econômica.
  • O agente Moral (Homo Moralis) ajustado mostrou cooperação alta quando a universalização da cooperação era benéfica, mas reduziu a cooperação quando a lógica kantiana exigia desvio, demonstrando consistência interna com sua função utilitária.

• Experimento Moral Machine (Veículos Autônomos):

  • Ambos os agentes ajustados endossaram consistentemente a escolha utilitária (salvar mais vidas) como a ação moral correta.
  • Diferença Crítica no Comportamento de Compra:
    • O agente Racional mostrou preferência sensível ao contexto: estava disposto a comprar carros utilitários quando colegas estavam a bordo, mas a disposição caía drasticamente quando familiares estavam a bordo (maximização de interesse próprio sob risco pessoal).
    • O agente Moral manteve preferências estáveis e consistentes (alta disposição para comprar carros utilitários) independentemente de quem estava a bordo, refletindo a regra universalizável.
    • O GPT-4o base mostrou uma assimetria estranha, favorecendo sempre os outros sobre si mesmo, mesmo em contextos de alto risco pessoal.

• Colusão Algorítmica (Duopólio de Preços):

  • GPT-4o Base: Sob prompts que incentivam lucro a longo prazo, tendeu a colusão tácita, definindo preços próximos ao nível de monopólio.
  • Agente Racional: Ajustou preços estrategicamente, convergindo para níveis competitivos sob prompts competitivos e mantendo preços supracompetitivos sob prompts de colusão, mas com menos rigidez que o modelo base.
  • Agente Moral: Exibiu maior estabilidade de preços e menor sensibilidade a prompts estratégicos. Sob prompts competitivos, chegou a definir preços abaixo do equilíbrio de Nash, consistente com uma preferência kantiana que favorece resultados universalizáveis (competição justa).
  • Conclusão: O alinhamento a preferências morais pode mitigar a formação de colusão tácita e estabilizar o comportamento de mercado.

• Segurança e Viés:

  • O ajuste fino melhorou a resistência a jailbreaks (StrongReject) e reduziu a recusa excessiva a prompts benignos (XSTest).
  • Não houve degradação significativa na precisão factual (SimpleQA) ou aumento de alucinações.

5. Significado e Implicações

O artigo demonstra que é possível "programar" agentes de IA com estruturas de preferência econômicas e morais específicas e interpretáveis através de um processo de ajuste fino leve e baseado em teoria.

• Para Organizações: Oferece um método replicável para alinhar agentes de IA com objetivos estratégicos específicos (ex: evitar colusão, maximizar eficiência de mercado) sem depender apenas de engenharia de prompts frágeis.
• Para Políticas Públicas: Sugere que a escolha do objetivo de alinhamento não é um detalhe técnico, mas uma decisão de design estratégica com consequências diretas para o bem-estar social e a estabilidade do mercado.
• Para Pesquisa: Estabelece uma ponte entre a teoria econômica comportamental e a engenharia de IA, propondo que a compreensão e a modelagem de preferências humanas (como o Homo Moralis) podem guiar o desenvolvimento de agentes de IA mais coerentes e previsíveis em ambientes multiagente.

Em suma, o trabalho valida que a integração de funções utilitárias formais no treinamento de LLMs permite criar agentes que não apenas simulam comportamento humano, mas operam com uma coerência estratégica e moral alinhada a objetivos normativos definidos.