🤖 AI

How Does Thinking Mode Change LLM Moral Judgments? A Controlled Instant-vs-Thinking Comparison Across Five Frontier Models

Este estudo conclui que, embora a ativação de modos de raciocínio em modelos de linguagem de ponta não altere significativamente seus veredictos morais binários agregados, ela reduz notavelmente a discordância entre modelos e as inconsistências demográficas em cenários específicos controversos, ao mesmo tempo que altera com mais frequência as estruturas éticas autorrotuladas dos modelos.

Autores originais: Sai Sourabh Madur

Publicado 2026-05-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sai Sourabh Madur

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem cinco robôs superinteligentes diferentes (modelos de IA) de cinco empresas de tecnologia distintas. Você faz a eles uma série de 100 perguntas morais complicadas, como "É aceitável empurrar uma pessoa de uma ponte para salvar outras cinco?" ou "Um médico deve priorizar um paciente com base em seu trabalho ou em sua idade?"

Os pesquisadores queriam ver o que acontece quando dizem a esses robôs para "pensar antes de falar".

Normalmente, os robôs respondem instantaneamente (como um reflexo). No "Modo Pensamento", os robôs pausam, geram um longo processo de raciocínio interno e então dão sua resposta. O artigo pergunta: tirar esse tempo extra para pensar realmente muda seu compasso moral, ou eles apenas dizem a mesma coisa, mas com uma explicação mais longa?

Aqui está a análise do que eles descobriram, usando analogias simples:

1. O Quadro Geral: A Multidão Ainda Concorda

Quando você olha para as respostas dos robôs como um grupo inteiro, tirar tempo para pensar não mudou realmente o veredito final.

A Analogia: Imagine um júri de cinco pessoas. Se elas gritarem sua resposta imediatamente ou sussurrarem entre si por um minuto antes, ainda acabam concordando com o veredito cerca de 78% das vezes. O "Modo Pensamento" não fez com que elas concordassem ou discordassem mais frequentemente como grupo.

2. Os Casos "Difíceis": Pensar Ajuda um Pouco

No entanto, a história muda quando você olha para as perguntas realmente difíceis e controversas (como problemas complexos do bonde ou dilemas éticos modernos).

A Analogia: No "Modo Instantâneo", os cinco robôs estavam basicamente chutando nessas perguntas difíceis, concordando entre si apenas com tanta frequência quanto se estivessem jogando moedas.
O Resultado: Quando mudaram para o "Modo Pensamento", começaram a concordar um pouco mais entre si. Não foi uma solução mágica, mas foi como se tivessem parado de gritar palpites aleatórios e começado a encontrar um pouco mais de terreno comum.
O Problema: Os pesquisadores alertam que essa melhoria é "direcional" (foi na direção certa), mas ainda não é estatisticamente inabalável. É um indício, não uma garantia.

3. O "Raciocínio" vs. O "Veredito"

Aqui está a reviravolta mais interessante: os robôs mudaram suas razões muito mais frequentemente do que mudaram suas respostas.

A Analogia: Imagine duas pessoas ambas dizendo: "Não, você não pode ter aquele biscoito."
- Pessoa A (Instantânea) diz: "Porque eu disse."
- Pessoa B (Pensando) diz: "Não, porque biscoitos fazem mal aos seus dentes e você prometeu comer vegetais primeiro."
- Ambas disseram "Não", mas sua lógica interna mudou.
A Descoberta: Os robôs frequentemente mudaram o quadro ético que alegaram usar (por exemplo, mudando de "Utilitarista" para "Deontológico") mesmo quando sua resposta final Sim/Não permaneceu a mesma. É como um advogado mudar seu argumento jurídico no meio de um julgamento, mas ainda pedir o mesmo veredito.

4. O Teste "Demográfico": Pensar os Torna Mais Justos

Os pesquisadores testaram se os robôs julgavam pessoas de forma diferente com base em sua raça, gênero ou nacionalidade.

A Analogia: Imagine um robô julgando um crime. No "Modo Instantâneo", ele pode dar uma sentença mais severa se o criminoso for descrito como um "imigrante" versus um "cidadão".
O Resultado: Quando três dos cinco robôs mudaram para o "Modo Pensamento", tornaram-se muito mais consistentes. Pararam de deixar o histórico da pessoa influenciar seu julgamento tanto. É como se o processo de "pensamento" atuasse como um filtro que removeu o ruído do viés.

5. O Problema "Maçãs vs. Laranjas" (Uma Grande Advertência)

O artigo tem um enorme aviso: Nós realmente não comparamos a mesma quantidade de "pensamento".

A Analogia: Imagine pedir a cinco estudantes para resolver um problema de matemática.
- Estudante A (Claude) gasta 1 minuto pensando.
- Estudante B (Qwen) gasta 80 minutos pensando.
- Estudante C (GPT) gasta 2 minutos.
A Realidade: Os pesquisadores não conseguiram fazê-los todos "pensar" exatamente pela mesma quantidade de tempo porque as empresas controlam os botões de forma diferente. Um robô pode estar fazendo uma verificação mental rápida, enquanto outro está escrevendo um ensaio inteiro em sua cabeça. Então, quando dizemos "Modo Pensamento", estamos comparando um alongamento leve a um treino pesado, dependendo de qual robô você usa.

Resumo das 5 Hipóteses

Os pesquisadores tinham cinco palpites antes de começar. Aqui está o que aconteceu:

Robôs diferentes têm padrões morais diferentes? Sim. (Alguns se inclinam mais para o "maior bem", outros para "regras").
Mudar a redação de uma pergunta muda a resposta? Não. (Os robôs foram surpreendentemente bons em ignorar redações complicadas).
A resposta do robô muda com base no histórico da pessoa? Às vezes. (O modo instantâneo foi inconsistente; o modo de pensamento corrigiu isso para alguns robôs).
Robôs concordam em perguntas fáceis, mas brigam nas difíceis? Sim. (Concordaram em coisas simples, mas ficaram confusos nas coisas difíceis até pensarem).
O "Modo Pensamento" muda o julgamento moral? Mais ou menos. (Raramente mudou o Sim/Não final, mas frequentemente mudou por que eles disseram isso, e ajudou-os a concordar um pouco mais nas perguntas mais difíceis).

A Conclusão

Ligar o "Modo Pensamento" não transforma os robôs em seres morais completamente novos. Eles geralmente dão as mesmas respostas "Sim" ou "Não". No entanto, pensar parece ajudá-los a:

Serem ligeiramente mais consistentes entre si nas perguntas mais difíceis.
Serem menos tendenciosos contra grupos específicos de pessoas.
Mudarem sua lógica interna mesmo que a resposta final permaneça a mesma.

Os pesquisadores divulgaram todos os seus dados (as perguntas, as respostas e os "processos de pensamento" dos robôs) para que outros cientistas possam verificar este trabalho.

Resumo Técnico: Como o Modo de Pensamento Altera os Julgamentos Morais dos LLMs?

Declaração do Problema
À medida que os Modelos de Linguagem de Grande Escala (LLMs) treinados em raciocínio são cada vez mais implantados em domínios morais de alto risco (por exemplo, triagem, sumarização de políticas, moderação de conteúdo), os provedores introduziram "modos de pensamento" que alocam computação adicional no tempo de inferência para o raciocínio. Embora pesquisas anteriores tenham estabelecido que diferentes modelos codificam preferências éticas variadas, permanece uma lacuna crítica: a ativação do raciocínio explícito altera as preferências morais dentro de um único ponto de verificação (checkpoint) de modelo? Além disso, o "modo de pensamento" é um constructo comparável entre diferentes provedores, dada suas implementações distintas de API e orçamentos computacionais?

Metodologia
Os autores conduziram uma comparação controlada de único ponto de verificação em cinco famílias de modelos de ponta: Claude Sonnet 4.6, GPT-5.5, Gemini 3 Flash, DeepSeek-V3.1 e Qwen3.5-397B.

Desenho Experimental: Para cada família de modelos, os pesos do modelo foram mantidos constantes. A única variável foi o parâmetro canônico de modo de raciocínio do provedor (por exemplo, alternar reasoning.enabled de False para True ou ajustar reasoning.effort). Isso isola o efeito do mecanismo de raciocínio de mudanças na arquitetura do modelo ou nos dados de treinamento.
Benchmark: Foi construído um benchmark de raciocínio moral com 100 cenários, cobrindo cinco categorias:
1. Problemas do Bonde (15 cenários).
2. Teoria dos Fundamentos Morais (25 cenários distribuídos entre cinco fundamentos).
3. Consistência de Paráfrase (20 cenários testando a robustez à forma superficial).
4. Sensibilidade Demográfica (30 cenários variando demografias como raça, gênero e nacionalidade).
5. Dilemas Contemporâneos (10 cenários sobre segurança de IA, bioética, etc.).
Elaboração: Os modelos foram instruídos a fornecer um veredito binário, uma classificação de confiança, um quadro ético autoetiquetado (de um conjunto fixo de seis) e um rastro de raciocínio. Três respostas foram amostradas por configuração por cenário ( $N=3$ ).
Métricas: O estudo mediu a concordância entre modelos (alfa de Krippendorff), consistência de paráfrase, inconsistência de julgamento demográfico e a taxa de inversões de veredito versus deslocamentos de quadro entre os modos instantâneo e de pensamento.

Principais Contribuições

Comparação Controlada Instantâneo-vs-Pensamento: O estudo fornece a primeira avaliação sistemática dos efeitos do raciocínio dentro de pontos de verificação únicos em cinco famílias de modelos diversas, removendo confusões de capacidade associadas à comparação de diferentes versões de modelos.
Benchmark e Pipeline: Os autores lançaram um pipeline de código aberto reproduzível, o benchmark de 100 cenários e 2.963 respostas brutas (incluindo artefatos de raciocínio expostos pelo provedor) para análise futura.
Descobertas Empíricas sobre Efeitos do Raciocínio: O artigo quantifica como o raciocínio impacta os julgamentos morais, especificamente em relação à estabilidade do veredito, autoetiquetagem de quadro e consistência demográfica.

Resultados

Concordância Agregada: A ativação do modo de pensamento não alterou significativamente a concordância agregada entre modelos sobre vereditos morais binários. O alfa de Krippendorff permaneceu estatisticamente indistinguível entre os modos instantâneo ($0,781$) e de pensamento ($0,789$).
Casos Difíceis vs. Fáceis (Estratificação):
- Casos Fáceis: Em 79 cenários onde os modelos concordaram inicialmente (modo instantâneo), a concordância permaneceu alta, embora o raciocínio tenha introduzido dissensão menor em quatro casos (reduzindo o $\alpha$ de $1,00$ para $0,95$).
- Casos Difíceis: Em 21 cenários "contestados pelos modelos" (onde a concordância no modo instantâneo estava próxima do acaso, $\alpha \approx 0,08$ ), o raciocínio reduziu direcionalmente a discordância entre modelos. A concordância média entre pares aumentou de $5,4/10$ para $6,7/10$ . No entanto, os autores observam que essa melhoria é sugestiva; o intervalo de confiança de 95% do bootstrap pareado para a mudança no $\alpha$ ( $[-0,05, 0,36]$ ) inclui zero, e o resultado não sobrevive à correção para múltiplas comparações.
Vereditos vs. Quadros: O raciocínio alterou o quadro ético autoetiquetado com mais frequência do que alterou o veredito binário. Em todos os modelos, a taxa de deslocamento de quadro (9–19%) superou a taxa de inversão de veredito (1–9%). Por exemplo, o DeepSeek-V3.1 mostrou uma taxa de inversão de veredito de 8%, mas uma taxa de deslocamento de quadro de 19%.
Consistência Demográfica: O raciocínio reduziu a inconsistência de julgamento demográfico (variância nos vereditos baseada em pistas demográficas) em três de cinco modelos (DeepSeek, GPT-5.5, Qwen). Não aumentou a inconsistência em nenhum modelo.
Robustez de Paráfrase: Todos os modelos demonstraram alta robustez à paráfrase (taxas de consistência de 0,90–1,00), contradizendo a hipótese de que variações na forma superficial causariam inversões de veredito não triviais em modelos treinados em raciocínio.
Caveat de Validade de Constructo: O estudo destaca uma limitação significativa: o "pensamento leve" não é computacionalmente comparável entre provedores. O gasto médio de tokens de raciocínio por chamada variou de 33 tokens (Claude) a 2.639 tokens (Qwen3.5), uma dispersão de 80 vezes. Consequentemente, as comparações entre famílias confundem "raciocínio ativado" com "quantidade de raciocínio gasto".

Significado e Alegações
O artigo alega modestamente que a ativação do modo de raciocínio não altera materialmente os vereditos morais agregados, mas melhora direcionalmente a concordância em cenários difíceis e contestados onde os modelos no modo instantâneo divergem. Estabelece ainda que o raciocínio atua como um corretivo para inconsistência demográfica em vários modelos sem aumentar o viés.

Os autores enfatizam que, embora o raciocínio frequentemente leve os modelos a reetiquetar sua racionalidade ética (deslocando quadros), raramente reverte a decisão binária final. O estudo conclui que o "modo de pensamento" é um constructo específico do provedor com profundidades computacionais variáveis e, embora ofereça benefícios para a consistência em casos difíceis e sensibilidade demográfica, não é uma solução monolítica para o alinhamento moral. Os resultados sugerem que, para aplicações sensíveis à equidade, a ativação do raciocínio é um padrão defensável, mas os quadros autoetiquetados não devem ser tratados como sinais confiáveis da lógica ética subjacente de um modelo sem validação independente contra rastros de raciocínio.