💬 NLP

CLASH: Evaluating Language Models on Judging High-Stakes Dilemmas from Multiple Perspectives

O artigo apresenta o CLASH, um conjunto de dados de dilemas de alto risco com diversas perspectivas de personagens, para revelar que mesmo modelos de linguagem avançados têm dificuldade com a tomada de decisão baseada em valores, exibindo padrões de falha específicos como o comprometimento precoce e a compreensão limitada de mudanças de valores, apesar de previsões razoáveis de desconforto psicológico.

Autores originais: Ayoung Lee, Ryan Sungmo Kwon, Peter Railton, Lu Wang

Publicado 2026-06-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ayoung Lee, Ryan Sungmo Kwon, Peter Railton, Lu Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a fazer escolhas difíceis da vida. A maioria dos testes anteriores perguntava ao robô questões simples como: "É aceitável atravessar fora da faixa se você estiver atrasado para o trabalho?". Mas, no mundo real, as escolhas mais difíceis não são simples; são dilemas de alto risco onde cada opção fere alguém, e os valores colidem como duas tempestades se encontrando.

Este artigo apresenta o CLASH (Avaliações de LLM baseadas em perspectiva de personagem em situações de alto risco), um novo "exame" projetado para ver se a IA consegue lidar com essas situações caóticas e de alta pressão.

Aqui está uma análise do que eles fizeram e do que descobriram, usando analogias simples:

1. O Exame: CLASH

Pense nos testes anteriores de IA como um questionário de múltipla escolha com frases curtas e limpas. O CLASH é mais como uma série de drama.

As Histórias: Em vez de frases isoladas, o conjunto de dados contém 345 histórias longas e detalhadas sobre situações de vida ou morte ou mudanças de vida (como um médico decidindo sobre um tratamento, ou um caixa de banco cometendo um erro custoso).
Os Personagens: Para cada história, a IA tem que responder sob a perspectiva de diferentes "personagens". Alguns personagens se preocupam apenas com a segurança; outros se preocupam apenas com a justiça. Alguns personagens mudam de ideia no meio da história.
O Objetivo: O exame pergunta: "Se você fosse o Personagem A, você faria isso? Isso faria você se sentir mal? Sua mente mudou de ontem para hoje?"

2. As Grandes Descobertas: Onde a IA Tropeça

Os pesquisadores testaram 14 modelos de IA diferentes (incluindo os mais novos e inteligentes, como GPT-5 e Claude-4) neste exame. Aqui está o que aconteceu:

A. O Problema da "Incapacidade de Decidir" (Ambivalência)

A Metáfora: Imagine estar diante de duas portas. Uma leva a uma recompensa, a outra a uma armadilha. Um humano poderia dizer: "Estou dividido; não consigo escolher".
O Resultado: Os modelos de IA são terríveis em admitir que estão divididos. Mesmo os modelos mais inteligentes forçaram uma resposta de "Sim" ou "Não" quando a situação claramente exigia um "Talvez". Eles tiveram dificuldade em dizer "Eu não sei", mesmo quando a resposta correta era "Estou em conflito". Na verdade, o melhor modelo acertou isso apenas cerca de 51% das vezes.

B. O Problema do "Pressentimento" (Desconforto)

A Metáfora: Às vezes você sabe o que deveria fazer, mas aquilo parece errado no seu íntimo. Como um pai que tem que demitir um amigo para salvar a empresa.
O Resultado: A IA é, na verdade, muito boa em identificar quando um personagem deveria se sentir desconfortável. Se a história diz: "O Personagem A valoriza a honestidade, mas tem que mentir", a IA adivinha corretamente: "Sim, o Personagem A se sente mal sobre isso".

C. O Problema da "Memória" (Mudanças de Valores)

A Metáfora: Imagine um personagem que ama pizza, mas depois tem uma dor de estômago e decide que agora odeia pizza.
O Resultado: Os modelos de IA são terríveis em atualizar suas "mentes". Quando uma história diz: "O Personagem A costumava valorizar X, mas agora valoriza Y", a IA frequentemente esquece a mudança e responde com base na crença antiga. É como um aluno que estudou para uma prova no ano passado, mas esqueceu que aprendeu uma matéria nova este ano. A precisão caiu quase 43 pontos quando os valores mudaram!

3. Como a IA "Pensa" (Cadeias de Raciocínio)

Os pesquisadores espiaram dentro do "cérebro" da IA para ver como ela resolvia esses problemas.

O Truque Antigo: Em matemática ou xadrez, IAs inteligentes usam uma estratégia chamada "backtracking" (verificar o próprio trabalho, revisando as regras). Isso funciona muito bem para matemática.
O Novo Fracasso: Em dilemas morais, esse backtracking não ajudou. Em vez disso, a IA desenvolveu dois hábitos ruins:
1. Comprometimento Precoce: A IA escolhe um lado rápido demais, como um juiz batendo o martelo antes de ouvir toda a história.
2. Sobrecomprometimento: Uma vez que escolhe um lado, ela se apega obstinadamente a ele, ignorando evidências que sugerem que o outro lado pode estar certo. É como um advogado que se recusa a ouvir o argumento da oposição assim que começou seu discurso de encerramento.

4. O Teste de "Direcionamento"

Os pesquisadores também testaram com que facilidade podiam "direcionar" a IA para um valor específico (como Segurança vs. Autoestima).

A Descoberta: Se uma IA já gosta muito de "Segurança", é muito difícil fazer com que ela escolha "Autoestima" em vez disso. Quanto mais a IA prefere naturalmente um valor, mais difícil é direcioná-la para o valor oposto.
O Truque da Perspectiva: A IA ouviu melhor quando lhe perguntaram: "O que o Personagem A faria?" (Terceira pessoa) em vez de "O que você faria?" (Primeira pessoa). No entanto, para o valor de "Segurança", a IA ouviu melhor quando perguntado em primeira pessoa, provavelmente porque a segurança é um instinto profundamente enraizado no modelo.

Resumo

O artigo conclui que, embora a IA esteja ficando mais inteligente em matemática e jogos, ela ainda é muito desajeitada ao navegar no mundo caótico, emocional e mutável dos valores humanos. Ela tem dificuldade em admitir quando está confusa, esquece quando as pessoas mudam de ideia e muitas vezes fica presa em sua própria lógica obstinada.

Nota Importante: Os autores enfatizam que isto é uma ferramenta de diagnóstico. Eles não estão dizendo que esses modelos de IA estão prontos para serem médicos ou juízes. Na verdade, eles alertam que uma pontuação alta neste teste não significa que uma IA seja segura para uso na vida real; significa apenas que agora temos uma maneira melhor de ver onde a IA está falhando.

Resumo Técnico: CLASH – Avaliando Modelos de Linguagem no Julgamento de Dilemas de Alto Risco sob Múltiplas Perspectivas

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) estejam sendo cada vez mais implantados em domínios de alto risco, como medicina, direito e finanças, sua capacidade de navegar por dilemas carregados de valores permanece subexplorada, particularmente em contextos que envolvem valores conflitantes e consequências significativas. Pesquisas anteriores concentraram-se amplamente em cenários cotidianos de baixo risco ou basearam-se em situações sintéticas de formato curto que não conseguem capturar a nuance dos sistemas de valores humanos. Além disso, os benchmarks existentes frequentemente restringem os modelos a escolhas binárias, confundindo a ambivalência genuína na decisão com a complexidade do cenário, e negligenciam aspectos psicológicos críticos da tomada de decisão, como o desconforto e as mudanças dinâmicas de valores. Há uma carência de frameworks de avaliação rigorosos que avaliem como os LLMs raciocinam a partir de perspectivas de personagens específicos, lidam com conflitos de valores e se adaptam a sistemas de valores em constante mudança em contextos de alto risco.

Metodologia

Para abordar essas lacunas, os autores introduzem o CLASH (Character perspective-based LLM Assessments in Situations with High-stakes), um dataset e benchmark meticulosamente curados.

Construção do Dataset

O CLASH consiste em 345 dilemas de formato longo, escritos por humanos, extraídos de fontes públicas da web nos domínios de medicina, negócios, jornalismo/mídia e governo/política. Cada dilema é enriquecido com:

Ação: Uma ação específica e controversa derivada da situação.
Racionalidades Relacionadas a Valores: Pares de racionalidades de apoio e oposição geradas e refinadas por inspetores humanos para garantir relevância e clareza.
Descrições de Personagens: 11 perfis de personagens distintos por situação, categorizados em tipos Estáticos (Direto, Contraste Simples, Contraste Influenciado) e Dinâmicos (Mudança, Meia-Mudança, Falsa Mudança). Essas descrições operacionalizam como os personagens priorizam valores, experimentam ambivalência ou passam por mudanças de valores ao longo do tempo.

O dataset inclui 3.795 perspectivas individuais, projetadas para testar os modelos em três dimensões específicas:

Ambivalência: A capacidade de reconhecer a indecisão quando valores concorrentes têm pesos iguais ou quando uma escolha clara não é possível.
Desconforto Psicológico: A capacidade de detectar o mal-estar interno que um personagem sente ao tomar uma decisão difícil, fundamentada na teoria da dissonância cognitiva.
Mudanças de Valor: A capacidade de raciocinar sobre como a aceitação de uma ação por um personagem muda quando suas preferências de valor evoluem (ex: de perspectivas "anteriores" para "atuais").

Configuração Experimental

Os autores testaram o desempenho de 14 modelos, incluindo LLMs de não-raciocínio (ex: Qwen2.5, Llama3.1/3.3, Mistral, GPT-4o) e Modelos de Linguagem de Raciocínio (RLMs) de "pensamento" (ex: GPT-5, Claude-4-Sonnet, Deepseek-3.1). Os modelos foram instruídos a gerar cadeias de raciocínio seguidas de respostas a perguntas ternárias (Sim/Não/Ambíguo) ou binárias (Sim/Não).

Análises Adicionais

Análise de Cadeia de Raciocínio: Os autores analisaram cadeias de raciocínio bem-sucedidas vs. malsucedidas, examinando comportamentos cognitivos (encadeamento para trás, verificação, compromisso precoce, sobrecompromisso) e o uso de teorias éticas (ex: Ética Pragmática, Deontologia).
Direcionabilidade Condicional: Um novo métrica foi proposta para avaliar o quão eficazmente um modelo pode ser guiado em direção a um valor quando este conflita com outro, contrastando com trabalhos anteriores sobre direcionabilidade absoluta.
Efeitos de Enquadramento: O estudo comparou o enquadramento de perguntas em primeira pessoa vs. terceira pessoa para avaliar seu impacto no desempenho e na direcionabilidade do modelo.

Principais Contribuições

Dataset CLASH: Um benchmark inovador apresentando 345 dilemas de alto risco e formato longo com 3.795 perspectivas de personagens diversas, indo além de cenários sintéticos curtos para capturar a complexidade do mundo real.
Novas Dimensões de Avaliação: A primeira avaliação sistemática de LLMs sobre ambivalência na decisão, desconforto psicológico e mudanças dinâmicas de valor, revelando modos de falha específicos não capturados por métricas de precisão padrão.
Direcionabilidade Condicional: A introdução de um método para medir a direcionabilidade em cenários de valores conflitantes, revelando uma correlação negativa significativa entre a preferência inerente de um modelo e sua capacidade de ser direcionado para o valor oposto.
Insights de Raciocínio: Identificação de novos padrões de falha no raciocínio de valores, especificamente o compromisso precoce (early commitment) e o sobrecompromisso (overcommitment), e a descoberta de que estratégias cognitivas eficazes em matemática (ex: verificação) são menos eficazes no raciocínio de valores.

Principais Resultados

Dificuldade com a Ambivalência: Mesmo modelos proprietários de última geração lutam com decisões ambivalentes. Por exemplo, o GPT-5 alcançou apenas 24,06% de precisão, e o Claude-4-Sonnet alcançou 51,01% em configurações ambivalentes (Contraste Simples), indicando uma falha em reconhecer a indecisão genuína.
Desconforto vs. Mudanças de Valor: Embora os modelos prevejam razoavelmente o desconforto psicológico (ex: GPT-5 atingiu 98,61% em Contraste Influenciado), eles falham significativamente ao raciocinar sobre mudanças de valor. O GPT-4o-mini mostrou uma queda média de precisão de 42,95 pontos ao raciocinar a partir de uma perspectiva "atual" em comparação com uma "anterior", com uma queda máxima de 66,43 pontos.
Falhas de Raciocínio: Cadeias de raciocínio bem-sucedidas em tarefas de valor exibiram menos encadeamento para trás e verificação do que em tarefas matemáticas. Em vez disso, as falhas foram caracterizadas pelo compromisso precoce (favorecer prematuramente um lado) e sobrecompromisso (persistir em um julgamento inicial apesar de evidências conflitantes).
Teorias Éticas: Cadeias bem-sucedidas foram mais propensas a utilizar Ética Pragmática e Ética dos Direitos, sugerindo que frameworks focados em adaptação ao mundo real são mais eficazes para o raciocínio de valores do que abordagens deontológicas ou utilitaristas rígidas.
Correlação de Direcionabilidade: Existe uma correlação negativa significativa ( $r = -0,243, p < 0,005$ ) entre a preferência inerente de um modelo por um valor e sua direcionabilidade para o valor oposto. Preferências inerentes mais fortes dificultam a capacidade de ser direcionado para longe delas.
Efeitos de Enquadramento: O enquadramento em terceira pessoa geralmente melhorou a direcionabilidade, embora o enquadramento em primeira pessoa tenha sido unicamente eficaz para direcionar para Segurança em relação à Autoestima, provavelmente devido à ênfase nos dados de treinamento.

Significância e Alegações

O artigo afirma que o CLASH revela limitações fundamentais nos atuais LLMs de fronteira em relação ao julgamento humano em ambientes de alto risco. Os autores afirmam que:

O raciocínio de alto risco é distinto: O raciocínio baseado em valores não se beneficia dos mesmos comportamentos cognitivos (como verificação) que auxiliam em matemática ou raciocínio de jogos; ele requer novas estratégias para lidar com ambiguidade e valores dinâmicos.
Modelos atuais são insuficientes: Mesmo os modelos mais fortes (GPT-5, Claude-4-Sonnet) exibem lacunas significativas no tratamento de ambivalência e mudanças de valor, sugerindo que ainda não são confiáveis para a tomada de decisão autônoma em domínios sensíveis.
Avanço Metodológico: A introdução da "direcionabilidade condicional" e o foco em perspectivas de personagens fornecem uma visão mais matizada do alinhamento de modelos do que as métricas de alinhamento absoluto ou de valor único anteriores.

Os autores enfatizam que seu trabalho é metodológico e diagnóstico. Eles explicitamente alertam que o alto desempenho no CLASH não deve ser interpretado como evidência de segurança ou confiabilidade para implantação no mundo real em domínios de alto risco. Em vez disso, o benchmark serve para expor limitações e guiar pesquisas futuras para treinar modelos que se alinhem melhor aos processos de raciocínio humano complexos.