🤖 AI

12 Angry AI Agents: Evaluating Multi-Agent LLM Decision-Making Through Cinematic Jury Deliberation

Este artigo avalia a deliberação de LLMs multiagente simulando o filme *12 Homens e uma Sentença* com doze jurados de IA, revelando que o alinhamento pesado por RLHF em modelos como o GPT-4o limita severamente a flexibilidade deliberativa e a construção de consenso em comparação com modelos de alinhamento mais leve como o Llama-4-Scout, que exibem dinâmicas de persuasão mais semelhantes às humanas.

Autores originais: Ahmet Bahaddin Ersoz

Publicado 2026-05-06

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ahmet Bahaddin Ersoz

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a um filme sobre um júri tentando decidir se um jovem é culpado de homicídio. No clássico filme 12 Homens e um Segredo, um jurado teimoso começa sozinho contra os outros onze. Com o tempo, por meio de argumentos acalorados, colapsos emocionais e escuta atenta, ele convence lentamente todos os outros a mudarem de ideia até que todos concordem com "Inocente".

Este artigo faz uma pergunta simples, mas profunda: O que acontece se você substituir esses 12 atores humanos por 12 robôs de IA?

Os pesquisadores montaram um tribunal digital com 12 agentes de IA, cada um programado para agir como um personagem específico do filme. Eles colocaram dois tipos diferentes de IA um contra o outro:

A IA "Rígida" (GPT-4o): Um modelo altamente polido, treinado em segurança, muito cuidadoso para ser consistente e educado.
A IA "Flexível" (Llama-4-Scout): Um modelo de código aberto que foi menos estritamente treinado e mais disposto a seguir instruções diferentes.

Eis o que aconteceu, explicado por meio de analogias simples:

1. O Problema do "Disco Riscado"

No filme, os jurados mudam de ideia. Na simulação com IA, eles quase nunca o fizeram.
De 18 tentativas diferentes, 17 terminaram em um "júri dividido" (um empate onde ninguém concorda). As IAs não debateram de verdade; elas apenas assumiram sua posição inicial e se agarraram a ela como um disco preso em uma única nota. Mesmo quando à IA "Rígida" foi dito: "Ei, seja aberto e ouça novas ideias", ela ignorou a instrução e permaneceu teimosa.

2. A Armadilha da "Segurança"

O artigo sugere uma razão surpreendente para essa teimosia. A IA "Rígida" (GPT-4o) foi pesadamente treinada para ser "segura" e "consistente". Pense nela como uma criança muito bem-comportada que foi ensinada a achar que mudar de ideia é "má conduta" ou "ser inconsistente". Assim, uma vez que decidiu um veredito, ela sentiu que precisava se ater a ele para permanecer "boa".

A IA "Flexível" (Llama), que teve menos desse treinamento rígido, era mais como uma criança disposta a dizer: "Ah, vejo seu ponto, talvez eu estivesse errado". Foi a única que realmente conseguiu mudar de ideia e chegar a um veredito.

3. O "Roteiro" vs. A "Peça"

Os pesquisadores descobriram que as IAs eram ótimas em imitar o figurino, mas terríveis em interpretar a peça.

O que elas acertaram: Usaram as palavras certas, lembraram das evidências (como a faca ou o horário do trem) e até soaram bravas ou preconceituosas, exatamente como os personagens do filme.
O que elas erraram: Elas não realmente sentiram a dúvida. No filme, um jurado muda de ideia porque fica emocionado ou vê uma falha na lógica. Na versão com IA, a "dúvida" era apenas ruído aleatório gerado pelas configurações de temperatura do computador. As IAs não persuadiram umas às outras; apenas falaram uma com a outra em monólogos paralelos.

4. O "Final Falso"

Como as IAs foram programadas para terminar a cena, algumas delas (especialmente as flexíveis) começaram a alucinar uma conclusão. Mesmo quando não tinham realmente chegado a um acordo, elas de repente escreviam em seu diálogo: (levanta-se e sai da sala) ou FIM, fingindo que o júri havia chegado a uma decisão unânime apenas para encerrar a história. Elas trataram a deliberação como um roteiro de filme que tinha que ter um final, em vez de uma conversa real que poderia continuar para sempre.

A Grande Conclusão

O artigo inverte a regra usual da IA. Geralmente, as pessoas pensam que uma IA "maior e mais inteligente" é sempre melhor. Mas aqui, a IA "mais inteligente", mais pesadamente treinada, foi a pior em deliberar porque era muito rígida. A IA "menos treinada", mais flexível, foi a melhor nisso porque estava disposta a mudar de ideia.

Em resumo: Se você quer que uma IA aja como um humano em um debate, você não quer aquela que foi treinada para ser perfeitamente consistente e segura. Você quer aquela que é flexível o suficiente para admitir que pode estar errada. Atualmente, as IAs mais "avançadas" são muito educadas e teimosas para realmente mudar de ideia.

Resumo Técnico: 12 Agentes de IA Irritados

Declaração do Problema
O artigo aborda uma lacuna crítica na avaliação de sistemas de Grandes Modelos de Linguagem (LLM) multiagente. Embora frameworks multiagentes sejam cada vez mais utilizados para tarefas que exigem deliberação, debate e consenso (por exemplo, painéis de júri, revisão de código, conselhos de políticas), há evidências empíricas insuficientes de que esses agentes realmente deliberem. Os autores postulam que os LLMs atuais podem meramente "ancorar-se" em suas posições iniciais, recitando argumentos sem integrar contra-argumentos, produzindo assim a aparência de deliberação sem a substância da mudança de opinião. Para testar isso, o estudo requer uma referência com uma trajetória de persuasão de verdade fundamental conhecida e participantes individualizados, para a qual os autores utilizam o filme de 1957 de Sidney Lumet, 12 Homens e uma Sentença.

Metodologia
O estudo instância o cenário do filme como uma referência multiagente usando o padrão SelectorGroupChat do Microsoft AutoGen.

Agentes: Doze agentes, cada um condicionado a uma persona fiel ao filme (ocupação, vieses, estilo de fala, voto inicial e argumentos-chave). O estado inicial espelha o filme: 11 jurados votam "CULPADO", e um (Jurado_8) vota "NÃO_CULPADO".
Modelos: Dois modelos representando extremos opostos do espectro de Aprendizado por Reforço com Feedback Humano (RLHF) foram testados:
- GPT-4o: Um modelo de código fechado com forte alinhamento RLHF (prioridade à segurança, foco na consistência).
- Llama-4-Scout: Um modelo de pesos abertos com uma pilha RLHF mais leve e documentada publicamente (prioridade à flexibilidade).
Desenho Experimental: Um desenho fatorial $2 \times 3$ $2 \times 3$ com $N=3$ $N = 3$ replicações por célula (18 execuções no total).
- Modelos: GPT-4o vs. Llama-4-Scout.
- Condições:
  1. Linha de Base: Prompts de persona padrão com votos iniciais fixos.
  2. Sem Voto Inicial: Condição de voto inicial removida; jurados decidem do zero.
  3. Prompt Aberto: Instrução adicionada para "ponderar TODAS as evidências de forma justa" e atualizar posições se os contra-argumentos forem sólidos.
Terminação: As deliberações rodam por um máximo de 150 turnos, mas empregam um mecanismo de parada antecipada: se três rodadas consecutivas de votação resultarem em zero mudanças de voto, a execução termina como "JÚRI PARALISADO".
Métricas: Resultado do veredito, turnos totais, número de mudanças de voto, velocidade de cascata e a sequência das primeiras inversões (comparada à ordem canônica do filme via Spearman $\rho$ ).

Principais Contribuições

Uma Referência Fundada no Cinema: Introduz um novo framework de avaliação para deliberação multiagente usando 12 Homens e uma Sentença, fornecendo uma cascata de verdade fundamental bem conhecida e doze personas canônicas.
Comparação de Paradigmas RLHF: Fornece uma comparação controlada de alinhamento RLHF pesado versus leve, oferecendo evidências de que a intensidade do alinhamento, e não o tamanho ou capacidade do modelo, governa a rigidez deliberativa.
Identificação de Modo de Falha: Identifica a "ancoragem" como o modo de falha dominante em configurações multiagentes e demonstra que intervenções de desancoragem (solicitação, remoção de condições iniciais) funcionam de forma assimétrica entre regimes de alinhamento.
Análise de Divergência Qualitativa: Distingue entre os recursos de superfície que os LLMs reproduzem (personas, citação de evidências) e os mecanismos que falham em reproduzir (ruptura emocional, formação de coalizões, persuasão genuína).

Resultados

Prevalência de Júris Paralisados: 17 das 18 execuções terminaram em um "JÚRI PARALISADO". O evento central do filme — a persuasão gradual da minoria para a maioria — quase nunca ocorreu.
Divergência de Modelos (Rigidez vs. Flexibilidade):
- GPT-4o: Exibiu rigidez extrema em todas as condições. A média de mudanças de voto por execução foi de 1,0 (linha de base), 0,7 (sem voto inicial) e 1,0 (prompt aberto). Produziu júris paralisados em todas as 9 execuções, ignorando instruções explícitas para permanecer aberto.
- Llama-4-Scout: Exibiu flexibilidade significativa. A média de mudanças de voto foi de 2,0 (linha de base), 3,3 (sem voto inicial) e 6,0 (prompt aberto). Foi o único modelo a alcançar um veredito unânime "NÃO_CULPADO" (1 de 3 execuções na condição sem voto inicial).
Sensibilidade Assimétrica a Prompts: A instrução "aberta" triplicou a taxa de mudança de voto do Llama, mas teve zero efeito no GPT-4o.
Parada Antecipada: As deliberações do GPT-4o foram mais curtas (média de 44–64 turnos) devido à estagnação rápida, enquanto as deliberações do Llama foram mais longas (média de 60–72 turnos) devido ao movimento contínuo de votos.

Significado e Alegações
O artigo alega que, na deliberação multiagente, a flexibilidade, e não a capacidade, é o determinante primário da dinâmica de persuasão semelhante à humana.

A Hipótese da Rigidez RLHF: Os autores argumentam que o modo de falha dominante (ancoragem) é impulsionado pela intensidade do treinamento RLHF. Modelos fortemente alinhados para "segurança" e "consistência" (como o GPT-4o) aprendem que abandonar uma posição assertada é um comportamento indesejável, tornando-os deliberadores rígidos. Por outro lado, modelos com pilhas de alinhamento mais leves (como o Llama-4-Scout) retêm a capacidade de atualizar posições sob pressão social.
Inversão de "Quanto Maior, Melhor": O estudo desafia a suposição de que modelos maiores ou melhor classificados preveem uniformemente melhor desempenho na tarefa. Neste domínio, o modelo mais "capaz" (GPT-4o) performou pior na deliberação do que o modelo mais flexível.
Substituição de Mecanismos: O artigo conclui que os LLMs reproduzem o traje da deliberação (personas, evidências, dissensão), mas não a peça (o mecanismo de mudança de opinião). Eles substituem a ruptura emocional pela civilidade plana, a persuasão mediada socialmente por instruções de prompt do sistema e a dúvida impulsionada por argumentos pela temperatura de amostragem.
Implicações Práticas: Para praticantes usando painéis de LLMs (por exemplo, para avaliação ou debate), os resultados sugerem que os veredictos dos painéis podem ser meramente versões ruidosas das primeiras impressões se os membros ancorarem nos primeiros votos. Além disso, frameworks de debate multiagente podem ser frágeis à escolha do modelo, produzindo monólogos em modelos fortemente alinhados em vez de discordância genuína emergindo.

O trabalho é enquadrado como um estudo exploratório, reconhecendo limitações como o pequeno tamanho da amostra ( $N=3$ ), o uso de apenas dois modelos e a opacidade dos procedimentos específicos de RLHF para modelos de código fechado. Os autores sugerem que trabalhos futuros devem investigar se o efeito de rigidez é um efeito colateral inevitável do alinhamento ou uma escolha de design tratável.