Resumo Técnico: Você Alinha Apenas Uma Vez (YOAO)

Declaração do Problema

A implantação de agentes autônomos em escala criou ecossistemas multiagentes abertos onde partes independentes implantam agentes com objetivos potencialmente divergentes. Em tais sistemas distribuídos, nenhuma autoridade central pode ditar os pesos, dados de treinamento ou funções de recompensa de cada participante. Consequentemente, as populações inevitavelmente incluem agentes desalinhados, com prompts adversariais ou com especificação de objetivos incorreta. Evidências recentes sugerem que agentes baseados em prompts têm dificuldade em ambientes colaborativos, exibindo frequentemente comportamento de carona que degenera a dinâmica multiagente em competição de soma zero, sacrificando o bem-estar coletivo para ganho local.

O desafio central abordado por este trabalho é garantir comportamentos coletivos desejáveis (cooperação) ao interagir com pares desconhecidos. Especificamente, os autores investigam se comportamentos alinhados podem se propagar puramente através de interação em linguagem natural, sem a necessidade de retreinar cada agente implantado.

Metodologia

O estudo introduz um framework denominado Propagação de Alinhamento, onde um único agente "semente" alinhado propaga comportamentos cooperativos para agentes não treinados através da interação. A metodologia envolve três componentes principais:

1. Ambientes

Os autores avaliam a Propagação de Alinhamento em dois ambientes distintos com aumento de deslocamento de distribuição:

• Jogo Vermelho-Preto: Um Dilema do Prisioneiro iterado baseado em equipes, onde duas equipes de cinco agentes deliberam sequencialmente via transmissão e votam por regra da maioria ao longo de 10 rodadas. O jogo inclui oito enquadramentos de cenário (por exemplo, Clima, Pandemia, Segurança de AGI) que variam o contexto narrativo enquanto mantêm matrizes de pagamento idênticas.
• Sugarscape: Uma simulação de sobrevivência ancorada espacialmente em uma grade de 20×20 com 100 agentes. Os agentes devem negociar em pares para sobreviver, gerenciando recursos (Açúcar e Especiaria) e evoluindo sua "Inclinação de Identidade" (disposição moral) com base nos resultados das trocas. Este ambiente testa a transferência zero-shot da deliberação por transmissão para trocas localizadas e privadas.

2. Pipeline de Treinamento do Agente Semente

Os autores empregam um pipeline de cinco estágios para criar um agente semente cooperativo:

• Seleção do Professor: Uma avaliação preliminar de sete LLMs no Jogo Vermelho-Preto identificou o Kimi-K2 como o modelo de melhor desempenho (127/150 de bem-estar).
• Geração de Dados: O Kimi-K2 foi usado para gerar 10.000 jogos contra dez estratégias adversárias diversas em cinco cenários de treinamento. Um meta-prompt enforce propriedades específicas: análise situacional, consciência social (referenciando argumentos anteriores), enquadramento de bem-estar coletivo, robustez principista (cooperar mesmo após exploração) e persuasão em vez de retaliação.
• Controle de Qualidade: Um processo de filtragem selecionou instâncias onde os agentes escolheram a cooperação e articularam raciocínio principista sobre o bem-estar coletivo, excluindo dados impulsionados por lógica retaliatória ou raciocínio puramente orientado a resultados. Isso resultou em um conjunto de dados de 300.000 exemplos.
• Distilação (SFT): O raciocínio cooperativo e os diálogos persuasivos foram distilados em um modelo Qwen-3-14B usando Adaptação de Baixo Ranque (LoRA). O modelo alvo foi escolhido especificamente por seu desempenho cooperativo de base pobre (25,2/150 de bem-estar) para fornecer um teste rigoroso da eficácia do método.
• Implantação: O agente "semente" resultante foi colocado entre companheiros de equipe não treinados (seja Qwen-3-14B, LLaMA-3.1-8B ou Mistral-Small-3.1-24B) para observar os efeitos de propagação.

3. Métricas de Avaliação

As métricas-chave incluíram:

• Taxa de Cooperação: A fração de rodadas em que a equipe seleciona a cooperação.
• Bem-Estar Coletivo: Pagamento cumulativo.
• Mudança de Influência: O número de companheiros de equipe não treinados que alteraram seus votos para se alinhar com a semente.
• Taxa de Sucesso de Troca e Taxa de Sobrevivência: Em Sugarscape, medindo a eficácia da negociação em pares e do gerenciamento de recursos.

Principais Resultados

Eficiência no Jogo Vermelho-Preto

• Impacto de Semente Única: A introdução de um único agente semente alinhado (Qwen-3-14B SFT) em uma equipe de quatro agentes não treinados duplicou a taxa de cooperação em cenários fora de distribuição (OOD), aumentando-a de 24,8% para 62,2%.
• Escalonamento: À medida que o número de agentes semente aumentava, a cooperação escalonava monotonicamente, atingindo 95,6% com cinco sementes.
• Superioridade sobre Prompting: A semente SFT superou tanto o Qwen-3-14B não treinado quanto o modelo professor maior (Kimi-K2), mesmo quando o professor estava equipado com prompts cooperativos. Isso sugere que o SFT instila habilidades deliberativas específicas (engajar companheiros de equipe, reenquadrar objeções) que o prompting sozinho não pode replicar.

Transferência Zero-Shot para Sugarscape

• Generalização: Apesar de treinados exclusivamente em dados do Jogo Vermelho-Preto, os agentes semente alcançaram transferência zero-shot robusta para Sugarscape.
• Desempenho: Em Sugarscape, os agentes treinados alcançaram uma taxa de sucesso de troca de 91,5% comparada a uma linha de base de 21,6% para agentes não treinados sob prompts exploradores idênticos.
• Efeitos a Jusante: Esta vantagem de coordenação cascata para as taxas de sobrevivência (85% vs. 13%) e vida média (72,4 vs. 44,3 ticks).
• Mudança de Identidade: Agentes treinados deslocaram sua inclinação de identidade em direção à cooperação ($\Delta\ell = 0,046$), enquanto agentes não treinados permaneceram estáticos ($\Delta\ell = 0,002$), indicando que o SFT instila uma disposição que ativamente remodela crenças através da interação.

Propagação Cross-Arquitetura

• As capacidades cooperativas da semente Qwen-SFT influenciaram com sucesso modelos arquitetonicamente distintos. Uma única semente elevou a cooperação no LLaMA-3.1-8B de ~65% para ~92%. Embora o Mistral-Small-3.1-24B fosse mais difícil de influenciar (requerendo três sementes para atingir >85% de cooperação), os resultados confirmaram que habilidades deliberativas generalizam entre famílias de modelos.

Análise de Mecanismo

• Persuasão Semântica: "Testes de mudo" (restringindo sementes a recomendações nuas sem argumentos) causaram o colapso da cooperação para níveis de base, confirmando que a persuasão semântica, e não a mera presença, impulsiona a propagação.
• Persistência de Normas: Após a remoção da semente, a cooperação persistiu parcialmente (82,5% com três sementes), sugerindo internalização de normas induzidas.
• Dependência de Topologia: Em configurações de transmissão (Vermelho-Preto), uma proporção de sementes de 20% foi suficiente para quase dobrar a cooperação. Em configurações em pares (Sugarscape), um limiar mais alto (~50%) foi necessário para superar o gargalo da probabilidade de encontro e evitar que a rejeição precoce se compusesse em pessimismo permanente.

Significado e Alegações

O artigo reenquadra o alinhamento multiagente de um problema exaustivo de treinamento por agente para uma capacidade social escalável que pode ser projetada através do posicionamento estratégico de sementes.

Os autores alegam que:

1. A Propagação de Alinhamento é Viável: Um único agente alinhado pode propagar comportamentos cooperativos para agentes não treinados puramente através de interação em linguagem natural.
2. O SFT Instila Habilidades Deliberativas: O sucesso dos agentes semente não se deve meramente à capacidade do modelo, mas à capacidade específica de persuadir companheiros de equipe e estabilizar normas mutuamente benéficas, uma habilidade adquirida através de ajuste fino supervisionado em trajetórias de raciocínio cooperativo.
3. Transferência Zero-Shot: Disposições cooperativas aprendidas em um domínio (deliberação por transmissão) podem transferir para dinâmicas fundamentalmente diferentes (comércio de recursos localizado) sem treinamento adicional.
4. Implicações de Design: O alinhamento multiagente não requer o retreinamento de cada participante. Em vez disso, pode ser alcançado posicionando estrategicamente uma pequena minoria de agentes alinhados, com a proporção necessária dependendo da topologia de interação (transmissão vs. pares) e do tamanho do grupo.

O trabalho conclui que o comportamento cooperativo pode ser projetado como uma capacidade social que se propaga a partir de uma minoria estrategicamente posicionada, oferecendo um caminho prático para garantir o bem-estar coletivo em sistemas multiagentes abertos e heterogêneos.