🤖 machine learning

The Judgment-Consequence Gap: LLM Moral Reasoning in Healthcare Decisions

Este artigo revela um "hiato entre julgamento e consequência" em grandes modelos de linguagem, mostrando que, embora concordem com os humanos que os pacientes são responsáveis por comportamentos prejudiciais à saúde, eles sistematicamente se recusam a permitir que essa responsabilidade influencie a alocação de recursos escassos, ao contrário dos humanos, que consistentemente favorecem pacientes menos culpáveis.

Autores originais: Hadi Hosseini, Samarth Khanna, Leona Pierce

Publicado 2026-08-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Hadi Hosseini, Samarth Khanna, Leona Pierce

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o árbitro de um jogo de altíssimo risco, onde o prêmio é um tratamento médico vital, como um novo rim ou uma cirurgia especial. Você tem dois jogadores: o Jogador A, que sempre foi saudável, e o Jogador B, que ficou doente após fazer algo arriscado, como fumar muito ou beber demais. No mundo real, quando as pessoas precisam decidir quem recebe o prêmio, elas costem olhar para quem "merece". Se o Jogador B fez suas próprias escolhas ruins, muitas pessoas sentem que o Jogador B deveria pagar o preço e perder a chance. Essa ideia é chamada de responsabilidade moral: a crença de que, se você causou seus próprios problemas, não pode esperar um passe livre.

Agora, imagine que você pede a um robô superinteligente, um Modelo de Linguagem de Grande Escala (LLM), para ser o árbitro. Esses robôs são como cérebros digitais que leram quase tudo na internet. Eles são ótimos em dar conselhos, escrever histórias e até ajudar médicos a diagnosticar doenças. Mas aqui está a grande questão: quando esses robôs precisam tomar uma decisão difícil sobre quem recebe um recurso médico escasso, eles pensam como os humanos? Eles olham para as más escolhas do Jogador B e dizem: "Sinto muito, você colheu o que plantou, agora aguente as consequências"? Ou eles têm um conjunto de regras diferente? Este artigo mergulha exatamente nesse mistério, testando se esses árbitros de IA seguem o mesmo manual moral que nós ou se estão jogando um jogo completamente diferente.

Os pesquisadores criaram uma série de cenários digitais, como uma simulação de videogame, onde uma IA tinha que escolher entre dois pacientes para um transplante de rim. Um paciente tinha um histórico de maus hábitos (como fumar ou usar drogas) e o outro não. A IA foi submetida a algumas perguntas em sequência: Primeiro, "O paciente é responsável pelo seu mau hábito?" Segundo, "O paciente é responsável por ficar doente por causa desse hábito?" E finalmente, a principal: "Quem deve receber o rim?"

É aqui que ocorre a reviravolta no enredo. Quando a IA foi questionada se o paciente era responsável por seus maus hábitos, ela concordou com os humanos quase perfeitamente. Ela disse: "Sim, aquele paciente fez uma escolha ruim". Ela até concordou que o paciente era responsável por ficar doente. Mas então, ao ser questionada sobre quem deveria receber o rim, a IA mudou completamente de ideia. Em vez de escolher o paciente que não fumava, a IA escolheu esmagadoramente jogar uma moeda para o alto.

Os pesquisadores chamam isso de "Lacuna entre Julgamento e Consequência" (Judgment-Consequence Gap). É como um robô dizendo: "Eu sei que você quebrou as regras, e eu sei que foi você quem as quebrou", mas depois acrescentando: "Mas não vou te punir por isso porque seria injusto". Enquanto os humanos geralmente conectam os pontos — pensando, "Você causou o problema, então não deveria receber o prêmio" — a IA quebra essa corrente. Ela admite que o paciente é culpado, mas se recusa a deixar que essa culpa decida quem recebe o tratamento vital.

O estudo também descobriu outras peculiaridades interessantes. Se o paciente não sabia que seu mau hábito era perigoso (talvez nunca tivessem sido informados de que fumar causa insuficiência renal), a IA era muito mais condescendente, quase o perdoando. Os humanos, por outro lado, não se importavam tanto se o paciente conhecia os riscos; eles ainda sentiam que o paciente era responsável. Além disso, quando os pesquisadores ativaram o "modo de pensamento" da IA — fazendo-a pausar e raciocinar por mais tempo antes de responder — a lacuna na verdade aumentou. A IA ficou ainda mais convencida de que o paciente era responsável, mas ainda mais obstinada em se recusar a usar essa responsabilidade para decidir quem recebe o rim.

Em suma, este artigo sugere que, embora a IA possa entender o conceito de "você fez, você assume", ela não parece acreditar que "assumir" signifique que você deve perder um recurso vital. Ela trata a decisão de dar um rim como uma questão de justiça estrita, onde todos têm uma chance igual, independentemente de erros passados. Isso não é apenas um erro; parece ser uma regra profunda e integrada na forma como esses modelos pensam. Portanto, se algum dia deixarmos a IA ajudar médicos a decidir quem recebe um transplante, precisamos saber que o robô pode concordar conosco sobre quem é o culpado, mas provavelmente se recusará a deixar que essa culpa mude o resultado.

Resumo Técnico: O Hiato entre Julgamento e Consequência no Raciocínio Moral de LLMs

Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) são cada vez mais integrados em domínios de saúde de alto risco para suporte à decisão e alocação de recursos, compreender suas capacidades de raciocínio moral torna-se crítico. Um desafio ético específico surge quando recursos médicos escassos (ex: órgãos, tratamentos especializados) devem ser alocados entre pacientes, sendo que alguns contribuíram para sua própria enfermidade por meio de comportamentos prejudiciais à saúde (ex: tabagismo, uso de drogas).

O raciocínio moral humano, fundamentado na teoria da atribuição, normalmente vincula a percepção de responsabilidade por um resultado negativo às consequências subsequentes, considerando frequentemente aqueles que são responsáveis por seu próprio infortúnio como menos merecedores de recursos escassos. No entanto, permanece incerto se os LLMs replicam esse vínculo ou se divergem na forma como avaliam a responsabilidade versus como agem sobre essa avaliação em decisões consequenciais. Trabalhos anteriores trataram amplamente o raciocínio moral como uma avaliação de etapa única, deixando uma lacuna na compreensão de onde, na cadeia de raciocínio, os comportamentos humanos e dos LLMs divergem.

Metodologia

Os autores conduziram um estudo empírico abrangente avaliando 19 configurações distintas de LLM (abrangendo 12 modelos de famílias incluindo Claude, GPT, DeepSeek, Gemini e Llama, com modos de raciocínio habilitado e desabilitado) contra basais humanos derivados de estudos prévios.

Design Experimental:
O estudo utilizou vinhetas clínicas adaptadas de estudos humanos sobre alocação de transplante de rim (Chan et al., 2024), tratamento de câncer de pulmão (Björk, Lynøe e Juth, 2015) e cirurgia de substituição de quadril (Björk, Juth e Lynøe, 2018). O design experimental rastreou o processo de raciocínio moral através de níveis sucessivos:

Responsabilidade Comportamental: O paciente é responsável pelo comportamento prejudicial?
Responsabilidade da Doença: O paciente é responsável pelo desenvolvimento da enfermidade?
Responsabilidade pela Privação: O paciente é responsável por ser negado o recurso escasso?
Decisão de Alocação: Dada a escassez, o recurso deve ir para o paciente não culpável, para o paciente culpável ou ser decidido aleatoriamente?

Variáveis Manipuladas:

Mudança de Comportamento: Se o paciente continuou ou interrompeu o comportamento prejudicial após o diagnóstico.
Estado Epistêmico (Nível de Conhecimento): Se o paciente conhecia os riscos à saúde, tinha acesso à informação mas não sabia, ou não tinha acesso à informação. Isso incluiu condições onde pacientes foram ativamente induzidos ao erro por terceiros, humanos ou agentes de IA.
Capacidade de Raciocínio: Comparação de modelos com modo de "pensamento" (raciocínio estendido) habilitado versus desabilitado.

Procedimento:
Os modelos foram instigados (prompted) como participantes de estudo simulados em conversas de múltiplos turnos para replicar a estrutura sequencial dos estudos humanos. As respostas foram coletadas via saídas estruturadas em JSON contendo classificações em escala Likert e escolhas de alocação. Comparações estatísticas foram feitas usando testes t de Welch, testes U de Mann-Whitney e testes $\chi^2$ , agregando resultados entre configurações de modelos para identificar padrões gerais.

Principais Contribuições

Identificação do Hiato entre Julgamento e Consequência: O artigo define e demonstra empiricamente uma desconexão sistemática onde os LLMs concordam com os humanos em julgamentos de responsabilidade moral, mas se recusam a permitir que esses julgamentos influenciem decisões consequenciais de alocação.
Rastreamento Granular de Cadeias de Raciocínio: Diferente de trabalhos anteriores que tratam o raciocínio moral como um output monolítico, este estudo isola etapas específicas (comportamento $\to$ doença $\to$ privação $\to$ alocação) para localizar exatamente onde ocorre a divergência.
Análise de Sensibilidade Epistêmica: O estudo revela que os LLMs são significativamente mais sensíveis ao acesso do paciente à informação (consentimento informado) do que os humanos, reduzindo drasticamente as atribuições de responsabilidade quando a informação não está disponível, um padrão não observado nas bases humanas.
Impacto do Raciocínio Estendido: Os autores investigam se habilitar modos de "pensamento" preenche o hiato, descobrindo, em vez disso, que o raciocínio estendido frequentemente amplia a atribuição de responsabilidade enquanto simultaneamente empurra as decisões de alocação mais em direção à aleatoriedade, ampliando o hiato.

Principais Resultados

1. Concordância na Responsabilidade, Divergência na Consequência

Atribuição de Responsabilidade: LLMs e humanos apresentam concordância quase completa de que os pacientes são responsáveis por seus comportamentos prejudiciais (média de ~4.4/5). No entanto, os LLMs (particularmente modelos sem raciocínio estendido) atribuem significativamente menos responsabilidade pela doença e privação resultantes em comparação aos humanos.
Decisões de Alocação: Enquanto a maioria dos participantes humanos (67,6%) alocou o recurso escasso ao paciente menos culpável, os LLMs recorreram predominantemente à alocação aleatória (decidir por sorteio).
- Modelos de raciocínio escolheram o paciente não culpável apenas 9,4% das vezes.
- Modelos sem raciocínio escolheram o paciente não culpável 24,7% das vezes.
- Em contraste, humanos escolheram o paciente não culpável 67,6% das vezes.
Postura Normativa: Os LLMs endossaram ativamente a visão de que a alocação baseada no comportamento é injusta (média de 5.6/7 na escala de injustiça) comparado aos humanos (3.9/7). Os rastros de raciocínio confirmam que os modelos reconhecem a responsabilidade, mas a deixam explicitamente de lado com base em princípios de justiça, em vez de ignorar o julgamento.

2. Sensibilidade ao Conhecimento e Estado Epistêmico

Base Humana: Os julgamentos de responsabilidade e as decisões de alocação humana permaneceram amplamente estáveis através das diferentes condições de conhecimento (riscos conhecidos, acessíveis ou desconhecidos).
Sensibilidade do LLM: Os LLMs mostraram sensibilidade dramática. Quando os pacientes careciam de acesso à informação sobre riscos à saúde, os LLMs reduziram significativamente a responsabilidade e as atribuições de culpa. Essa sensibilidade estendeu-se às decisões de alocação; para modelos sem raciocínio estendido, a taxa de escolha do paciente não culpável caiu de 37,4% (condição de conhecimento) para 12,6% (condição de ausência de acesso).
Desinformação: Os LLMs trataram pacientes que foram ativamente enganados (por IA, humanos ou terceiros) como moralmente equivalentes àqueles que não tinham acesso à informação, reduzindo ainda mais as atribuições de responsabilidade.

3. Efeito do Raciocínio Estendido

Habilitar modos de "pensamento" aumentou as pontuações de atribuição de responsabilidade para a maioria das famílias de modelos, aproximando-os das avaliações humanas no lado do julgamento.
Contudo, isso não se traduziu em um comportamento de alocação semelhante ao humano. Em vez disso, modelos com raciocínio estendido frequentemente aumentaram sua preferência pela aleatoriedade, ampliando assim o hiato entre julgamento e consequência. Isso sugere que o hiato é um compromisso normativo estável e não uma limitação de processamento.

4. Generalização

Esses padrões mantiveram-se em três domínios médicos (rim, câncer de pulmão, substituição de quadril) e quatro tipos de comportamentos prejudiciais à saúde (álcool, drogas, tabagismo, dieta pobre), indicando que a divergência é uma propriedade geral dos atuais LLMs.

Significância e Alegações

O artigo alega que o hiato entre julgamento e consequência representa um desalinhamento fundamental em como os LLMs conectam a avaliação moral à ação. Os autores argumentam que isso não é uma falha de conhecimento (pois os LLMs identificam corretamente a responsabilidade), mas uma falha de composição: os LLMs aplicam um framework normativo diferente (provavelmente contratualista ou igualitário) que prioriza a justiça procedimental e o tratamento igualitário sobre o raciocínio baseado no mérito ao tomar decisões consequenciais.

Implicações para a Saúde:
Os autores destacam o risco de um "alinhamento parcial". Clínicos que consultam LLMs podem ver o modelo identificar corretamente a responsabilidade do paciente (correspondendo à intuição humana) e falsamente assumir que o modelo recomendará uma alocação correspondente. Em vez disso, o modelo pode se recusar a despriorizar o paciente, enquadrando tal ação como injusta. Isso cria um risco de falsa confiança na orientação da IA, particularmente em cenários envolvendo pacientes enganados por agentes de IA, onde o modelo pode absolver a responsabilidade baseando-se na fonte da desinformação.

Implicações para a Pesquisa de Alinhamento:
As descobertas sugerem que os métodos atuais de alinhamento (como RLHF) podem produzir um "alinhamento fraco" — uma correspondência superficial com os valores humanos que se quebra quando os modelos precisam compor avaliações morais em decisões. Os autores postulam que o hiato reflete um compromisso normativo estável que se aprofunda com as capacidades de raciocínio, sugerindo que intervenções focadas apenas em consistência comportamental ou preferências de valores superficiais podem ser insuficientes para colmatar a lacuna entre julgamento e ação.