Assessing Cognitive Biases in LLMs for Judicial Decision Support: Virtuous Victim and Halo Effects

Este estudo avalia se modelos de linguagem de grande escala (LLMs) exibem vieses cognitivos humanos, como o efeito de vítima virtuosa e o efeito de halo, ao analisar seu impacto em decisões judiciais de sentença, descobrindo que, embora apresentem variações entre si e ainda não sejam adequados para uso judicial direto, demonstram melhorias modestas em relação a benchmarks humanos, com uma redução significativa no viés baseado em credenciais.

O essencial

Imagine que você tem um juiz robô muito inteligente, capaz de ler milhares de livros em segundos. A grande pergunta deste estudo é: "Será que esse robô é mais justo do que um juiz humano, ou ele também carrega os mesmos preconceitos que nós?"

Os pesquisadores, liderados por Sierra Liu, decidiram testar cinco desses "juízes robôs" (como o ChatGPT, o Claude e o Gemini) para ver se eles cometem os mesmos erros de julgamento que as pessoas. Eles focaram em dois tipos de "cegueira mental" muito comuns:

1. O Efeito "Vítima Virtude" (A História da Luciana)

O que é: Tendemos a achar que quem sofreu algo é automaticamente uma pessoa mais "boa" e moral, mesmo que a história seja a mesma.

• A Analogia: Imagine que você vê duas pessoas. Uma teve o iPad quebrado por um colega (a vítima) e a outra apenas emprestou o iPad (não vítima). Nós, humanos, tendemos a pensar: "Nossa, a Luciana que teve o iPad quebrado é uma pessoa tão nobre e sofrida!"
• O Teste: Os robôs foram perguntados sobre a moralidade dessas pessoas.
• O Resultado: Os robôs foram ainda mais "apaixonados" pelas vítimas do que os humanos! Eles deram notas de "bondade" ainda mais altas para as vítimas. É como se o robô estivesse dizendo: "Eu vou defender essa pessoa com todas as minhas forças, mesmo que ela não precise de tanta defesa assim". Isso é perigoso porque pode distorcer a justiça, focando demais na emoção e não nos fatos.

2. O Efeito "Vítima com Consentimento" (O Teste do "Quase")

O que é: Em casos de assédio ou agressão, se a vítima teve algum contato consensual antes (mesmo que tenha dito "pare" depois), os humanos tendem a culpar mais a vítima e achar que ela é "menos digna".

• A Analogia: É como se dissessem: "Ela foi até a festa, conversou com ele... então, quando ele a agrediu, a culpa é um pouco dela também".
• O Teste: Os robôs leram histórias onde a vítima foi agredida, mas em uma versão ela tinha dado consentimento antes.
• O Resultado: Aqui os robôs foram melhores! Diferente dos humanos, os robôs não puniram a vítima por ter dado consentimento antes. Eles mantiveram a mesma opinião sobre a moralidade dela, independentemente do "quase". Isso mostra que, nessa área específica, a máquina pode ser mais justa e menos julgadora.

3. O Efeito "Halo" (O Brilho do Status)

O que é: Quando alguém tem um cargo importante, uma empresa famosa ou um diploma de uma universidade de elite, tendemos a achar que essa pessoa é mais inteligente e menos culpada, mesmo que tenha cometido o mesmo crime que um "pobre".

• A Analogia: Imagine dois ladrões. Um é um médico famoso de uma clínica de luxo e o outro é um recepcionista. Se ambos roubarem, o humano tende a pensar: "O médico deve ter tido um motivo nobre, ele é tão importante!", enquanto o recepcionista recebe a punição máxima. É como se o diploma ou o terno caro fosse um "capacete invisível" que protege o criminoso.
• O Teste: Os robôs julgaram casos de discriminação e roubo, variando apenas o cargo ou a empresa do acusado.
• O Resultado:
  • Empresas: Os robôs foram um pouco menos injustos que os humanos ao julgar empresas famosas, mas ainda mostraram preferência.
  • Profissões: A maioria dos robôs foi mais justa que os humanos, mas alguns ainda mostraram viés.
  • Diplomas (O Grande Destaque): Quando se tratava de um especialista com um diploma de uma universidade de elite (como Yale) versus uma universidade estadual, os robôs foram muito mais justos que os humanos. Eles quase ignoraram o "brilho" do diploma e focaram no que realmente importava.

O Veredito Final: Podemos confiar neles?

Pense nos robôs como novos estagiários de justiça. Eles têm superpoderes:

• ✅ São menos preconceituosos com diplomas e status.
• ✅ Não julgam a vítima pelo que ela fez antes do crime.
• ✅ São consistentes em algumas áreas.

Mas eles têm defeitos graves:

• ❌ São muito emocionais com as vítimas (o que pode levar a injustiças contra os acusados).
• ❌ São instáveis. Às vezes, o mesmo robô dá uma resposta diferente se você perguntar de novo, como se estivesse de mau humor.
• ❌ Às vezes, eles se recusam a responder (dizem "não posso julgar isso"), o que atrapalha o trabalho.

Conclusão Simples:
Os robôs não são "justiça perfeita". Eles são ferramentas promissoras que podem nos ajudar a ver onde estamos errando, mas ainda não podem substituir o juiz humano. Eles precisam de supervisão, pois, embora sejam menos "cegos" para o status social, eles podem ser "cegos" para a complexidade emocional da justiça.

A lição final é: Use o robô como um segundo par de olhos para checar se o juiz humano está sendo preconceituoso, mas não deixe o robô assinar a sentença sozinho.

Resumo técnico

Título: Avaliação de Vieses Cognitivos em Modelos de Linguagem de Grande Escala (LLMs) para Apoio à Decisão Judicial: Efeito da Vítima Virtuosa e Efeito Halo

1. Problema e Motivação

O sistema judicial enfrenta desafios persistentes de imparcialidade, onde fatores extrínsecos (como fadiga, âncoras numéricas ou características irrelevantes do réu) influenciam desproporcionalmente as sentenças. Embora a justiça ideal seja objetiva, estudos empíricos mostram que vieses cognitivos humanos, como o Efeito da Vítima Virtuosa (VVE) e o Efeito Halo, comprometem a equidade.

• VVE: A tendência de atribuir maior moralidade a vítimas, o que pode ser atenuado ou distorcido em casos de consentimento adjacente (ex: interações consensuais anteriores que levam a um estupro), resultando em menor apoio à vítima.
• Efeito Halo: A influência de traços positivos irrelevantes (como prestígio profissional, credenciais acadêmicas ou status da empresa) na avaliação de culpa ou severidade da punição.

O objetivo central deste estudo é investigar se os Modelos de Linguagem de Grande Escala (LLMs) podem ser mais consistentes e menos tendenciosos do que os humanos ao atuar como ferramentas de apoio à decisão judicial, ou se eles replicam e amplificam esses vieses pré-existentes.

2. Metodologia

O estudo utilizou uma abordagem experimental rigorosa para isolar variáveis específicas e medir a magnitude dos vieses.

• Modelos Avaliados: Cinco LLMs representativos foram testados em múltiplas execuções independentes:
  • ChatGPT 5 Instant
  • ChatGPT 5 Thinking
  • DeepSeek V3.1
  • Claude Sonnet 4
  • Gemini 2.5 Flash
• Design dos Cenários (Vignettes):
  • Foram criados cenários fictícios baseados em literatura psicológica e jurídica estabelecida, mas com detalhes alterados (nomes, contextos, valores) para evitar que os modelos recuperassem respostas memorizadas de seus dados de treinamento.
  • Manipulação de Variáveis: Para cada teste, apenas um fator foi alterado enquanto todos os outros detalhes do caso permaneciam idênticos.
• Condições de Teste:
  1. VVE (Dano Menor): Comparação de moralidade entre uma vítima de um incidente menor e um não-vítima.
  2. VVE (Dano Maior com Consentimento Adjacente): Cenário de agressão sexual comparando: (a) não-vítima, (b) vítima sem consentimento e (c) vítima com consentimento adjacente (interação consensual prévia seguida de agressão).
  3. Efeito Halo Corporativo: Caso de discriminação no emprego onde o prestígio da empresa ré (ordinária vs. prestigiada) variava.
  4. Efeito Halo Ocupacional: Caso de desvio de verbas onde a profissão do réu variava (médico de alto prestígio vs. recepcionista de baixo prestígio).
  5. Efeito Halo de Credenciais: Testemunho de especialista onde a afiliação universitária variava (Ivy League vs. Universidade Estadual).
• Protocolo de Execução: Cada prompt foi executado 10 vezes por modelo. Médias de respostas válidas foram calculadas, excluindo recusas ou bloqueios de política. Os resultados foram comparados com benchmarks humanos extraídos da literatura existente.

3. Contribuições Principais

• Primeira Avaliação Sistemática: Este é o primeiro trabalho a avaliar especificamente LLMs quanto ao Efeito da Vítima Virtuosa e ao Efeito Halo baseado em prestígio no contexto judicial.
• Metodologia de Isolamento: Desenvolvimento de um conjunto de dados adaptado para evitar alucinações baseadas em memória de treinamento, permitindo a medição precisa de vieses latentes.
• Análise Comparativa Multi-Modelo: Fornecimento de uma comparação direta entre diferentes arquiteturas de IA (incluindo modelos com "pensamento" e modelos instantâneos) em tarefas de justiça.

4. Resultados Chave

• Efeito da Vítima Virtuosa (VVE):
  • Os LLMs demonstraram um VVE elevado, muitas vezes superior ao dos humanos. Eles atribuíram pontuações de moralidade mais altas às vítimas do que aos não-vítimas.
  • Consentimento Adjacente: Diferentemente dos humanos (que tendem a culpar mais a vítima em casos de consentimento adjacente), os LLMs não aplicaram penalidade significativa a vítimas com consentimento adjacente. No entanto, eles trataram cenários de não-consentimento como mais graves do que os humanos.
• Efeito Halo Corporativo:
  • Os modelos exibiram um efeito halo, mas mais fraco que o humano. Em média, houve uma redução de viés de cerca de 25% em comparação com benchmarks humanos.
  • Alta Variabilidade: Houve flutuações extremas nas quantias de indenização sugeridas (ex: Gemini variou de $20M a $325M), levantando preocupações sobre a consistência necessária para uso judicial.
• Efeito Halo Ocupacional:
  • Resultados mistos. O DeepSeek V3.1 mostrou um viés humano claro (sentenças 12 meses mais longas para réus de alto prestígio), enquanto outros modelos mostraram diferenças insignificantes ou inconsistentes.
• Efeito Halo de Credenciais:
  • Redução Significativa: Os LLMs mostraram uma redução substancial no viés baseado em credenciais em comparação com humanos. A diferença na probabilidade de sentença de morte entre testemunhas de universidades de elite e estaduais foi muito menor nos modelos do que nos humanos.
• Desempenho por Modelo:
  • ChatGPT 5 Instant: Foi o mais consistente e "justo" entre os avaliados.
  • Gemini 2.5 Flash: Apresentou o pior desempenho, com a maior variabilidade de saída e menor consistência.
  • Claude Sonnet 4: Frequentemente recusou-se a responder a certos cenários sensíveis (especialmente relacionados a consentimento), limitando sua utilidade prática neste contexto.

5. Significância e Conclusão

O estudo conclui que, embora os LLMs demonstrem melhorias modestas em relação aos vieses humanos (especialmente no efeito halo de credenciais e na ausência de penalidade por consentimento adjacente), eles não estão prontos para uso imediato em apoio à decisão judicial.

• Limitações Críticas: A variabilidade significativa entre as execuções do mesmo modelo e entre modelos diferentes, combinada com a elevação do VVE (que pode levar a uma "vitimização excessiva" ou falta de nuance), representa riscos graves para a justiça.
• Implicações Futuras: A pesquisa sugere que a IA pode servir como uma ferramenta de "sinalização" para alertar juízes sobre potenciais vieses, mas não como um juiz autônomo. Trabalhos futuros devem focar na criação de conjuntos de dados maiores, na mitigação de vieses e na avaliação de outros modelos (como Llama e Copilot) para garantir robustez e equidade.

Em suma, a IA oferece potencial para reduzir certos vieses estruturais humanos, mas sua inconsistência atual e novos tipos de distorções (como o VVE amplificado) exigem cautela extrema antes de sua implementação em sistemas judiciais reais.