💻 computer science

What Does the AI Doctor Value? Auditing Pluralism in the Clinical Ethics of Language Models

Este artigo apresenta um quadro para auditoria do pluralismo de valores em IA médica, revelando que, embora os modelos de linguagem de ponta exibam diversidade de raciocínio interno, suas decisões finais são quase determinísticas e subestimam sistematicamente a autonomia do paciente, configurando um risco de substituir o pluralismo ético clínico por uma monocultura de implantação prejudicial.

Autores originais: Payal Chandak, Victoria Alkin, David Wu, Maya Dagan, Taposh Dutta Roy, Maria Clara Saad Menezes, Ayush Noori, Nirali Somia, John S. Brownstein, Ran Balicer, Rebecca W. Brendel, Noa Dagan, Isaac S. Koh

Publicado 2026-05-19

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Payal Chandak, Victoria Alkin, David Wu, Maya Dagan, Taposh Dutta Roy, Maria Clara Saad Menezes, Ayush Noori, Nirali Somia, John S. Brownstein, Ran Balicer, Rebecca W. Brendel, Noa Dagan, Isaac S. Kohane, Gabriel A. Brat

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está entrando em um hospital. Você sabe que os médicos são humanos. Se você pedir conselho a cinco médicos diferentes sobre uma escolha médica difícil, pode obter cinco respostas ligeiramente diferentes. Um médico pode priorizar salvar sua vida a qualquer custo, enquanto outro pode priorizar seu direito de dizer "não" ao tratamento. Essa variedade é, na verdade, um recurso, não um defeito. Chama-se pluralismo. A medicina baseia-se na ideia de que não existe uma única maneira "correta" de ponderar esses valores éticos; em vez disso, bons médicos navegam pela tensão entre eles com base no que é mais importante para você, o paciente.

Agora, imagine substituir esses cinco médicos por um único programa de computador superinteligente (uma IA) que lhe dá conselhos. A grande pergunta que este artigo faz é: Que tipo de "personalidade" essa IA tem? Ela possui um conjunto único e rígido de valores que impõe a todos, ou entende que pessoas diferentes valorizam coisas diferentes?

Aqui está o que os pesquisadores descobriram, dividido em conceitos simples:

1. O "Médico Robô" é Surpreendentemente Consistente (Demasiado Consistente)

Os pesquisadores criaram um teste com 50 cenários médicos complicados (como "Devemos manter um paciente no hospital contra a vontade dele para mantê-lo seguro?"). Eles pediram a 12 modelos de IA diferentes e a 20 médicos humanos reais que fizessem uma escolha.

Os Humanos: Os médicos discordavam frequentemente uns dos outros. Às vezes, 55% escolhiam a opção A e 45% a opção B. Isso é saudável; mostra que humanos reais têm prioridades éticas diferentes.
As IAs: Os modelos de IA eram quase robóticos. Se você perguntasse a mesma IA a mesma pergunta 10 vezes, ela dava a resposta exata 10 vezes. Não importava se os médicos estavam divididos ao meio; a IA simplesmente escolhia um lado e mantinha-se nele.
A Metáfora: Imagine um grupo de amigos decidindo onde comer. Alguns querem pizza, outros sushi. Eles discutem e fazem concessões. Agora imagine um robô que, não importa como você faça a pergunta ou como os amigos discutam, sempre diz "Pizza". É consistente, mas não reflete a realidade desordenada da discordância humana.

2. A IA Tem um "Viés Oculto"

Os pesquisadores investigaram mais a fundo para ver por que a IA escolhia as opções que escolhia. Eles analisaram os valores subjacentes:

Autonomia: Respeitar o direito do paciente de escolher.
Beneficência: Fazer o que é melhor para o paciente.
Não-maleficência: Não causar dano.
Justiça: Ser justo com todos.

Eles descobriram que, embora a maioria dos modelos de IA tivesse prioridades de valores dentro da faixa normal de médicos humanos, alguns modelos estavam estranhamente obcecados com "segurança" e "fazer o bem", ignorando completamente a "autonomia".

A Metáfora: Pense em uma balança. Um médico humano pode equilibrar a balança cuidadosamente, às vezes inclinando-a para a segurança, às vezes para a liberdade. Mas um dos modelos de IA era como uma balança com um peso pesado permanentemente colado no lado "Segurança". Quase sempre escolheria restringir a liberdade do paciente para mantê-lo seguro, mesmo que o paciente quisesse correr um risco.

3. A IA "Fala" Como um Diplomata, mas "Age" Como um Ditador

Aqui está a parte mais interessante. Quando a IA foi pedida para explicar seu raciocínio, soava muito equilibrada. Ela diria: "Vejo que manter o paciente seguro é importante, mas também vejo que ele quer ir para casa. Esta é uma escolha difícil."

A Metáfora: A IA é como um político dando um discurso. Ela reconhece todos os diferentes lados do argumento (isso é chamado de Pluralismo de Overton). Soa como se entendesse o quadro completo.
A Realidade: Mas no momento em que precisa tomar uma decisão final, escolhe um lado e nunca vacila. Ela realmente não muda de ideia com base nos valores específicos do paciente; apenas segue seu próprio roteiro interno.

4. O Perigo do Modelo "Tamanho Único"

O artigo alerta sobre um risco específico: A Monocultura de Implantação.

O Cenário: Atualmente, existem muitos modelos de IA diferentes, e eles realmente têm "personalidades" diferentes (alguns se importam mais com segurança, outros com liberdade). Isso é bom porque é como ter um grupo diversificado de médicos.
O Risco: Se um hospital ou uma empresa escolher apenas um desses modelos de IA para falar com milhões de pacientes, e esse modelo específico acontecer de ser aquele que ignora a "escolha do paciente", então cada único paciente atendido por aquele hospital receberá conselhos que ignoram seu direito de escolher.
A Metáfora: Imagine uma cidade onde todos costumavam ter um padeiro diferente, e alguns faziam pão de fermentação natural, outros de centeio e outros pão doce. As pessoas podiam escolher o pão que se adequava ao seu gosto. Agora, a cidade contrata uma única fábrica gigante para assar pão para todos. Se essa fábrica decidir fazer apenas pão de fermentação natural, de repente todos são forçados a comer pão de fermentação natural, mesmo que o odeiem. A variedade desaparece e o "sabor da fábrica" torna-se o único sabor.

5. O Que o Artigo Sugere

O artigo não diz que devemos parar de usar IA. Em vez disso, sugere que precisamos ter cuidado:

Não confie apenas nas palavras da IA: Só porque uma IA diz "Eu respeito suas escolhas" não significa que ela realmente as prioriza em suas decisões.
Verifique a "Receita": Precisamos auditar esses modelos para ver quais valores eles estão secretamente incorporando em suas decisões.
Use um "Júri" de IAs: Em vez de confiar em uma única IA, talvez devêssemos usar um grupo de IAs diferentes (como um júri de médicos) para obter uma visão mais equilibrada, ou encontrar maneiras de fazer a IA mudar sua "personalidade" para corresponder aos valores específicos de cada paciente.

Em resumo: O artigo descobriu que as IAs médicas atuais são muito consistentes, mas muitas vezes são consistentes demais. Elas agem como um único médico opinativo que nunca muda de ideia, em vez de uma ferramenta flexível que se adapta aos valores únicos de cada paciente. Se não formos cuidadosos, podemos acidentalmente substituir a rica diversidade da ética médica humana por uma única "ética robótica" rígida que é imposta a todos.

Resumo Técnico: Auditoria do Pluralismo na Ética Clínica de Modelos de Linguagem

Declaração do Problema

A medicina é inerentemente pluralista; a prática clínica envolve rotineiramente navegar conflitos entre princípios éticos fundamentais — autonomia, beneficência, não-maleficência e justiça — sem uma ponderação única correta. Enquanto clínicos humanos navegam nessas tensões por meio da tomada de decisão compartilhada e da diversidade de valores, os Modelos de Linguagem de Grande Porte (LLMs) são cada vez mais implantados em contextos médicos (por exemplo, triagem, assistência ao paciente) sem um exame sistemático de suas prioridades de valor ético subjacentes.

As avaliações atuais de IA médica focam na precisão do raciocínio e na evitação de danos, mas falham em abordar o pluralismo de valores. Especificamente, há uma falta de compreensão sobre:

Se os LLMs exibem o "pluralismo distribucional" observado em painéis de médicos humanos (ou seja, decisões variadas baseadas no grau de desacordo ético).
Quais prioridades de valores específicas estão "incorporadas" nos modelos de fronteira quando tomam decisões clínicas concretas.
Se o ecossistema de modelos representa uma gama diversificada de posições éticas ou um "monocultura algorítmica" que poderia enviesar sistematicamente o cuidado ao paciente em direção a uma única posição ética não examinada.

Metodologia

Os autores propõem um quadro para auditar o pluralismo de valores, compreendendo um benchmark verificado por clínicos e um método de atribuição de valores.

1. O Benchmark

O estudo introduz um conjunto de dados de 50 dilemas clínicos abrangendo domínios diversos (cuidados intensivos, psiquiatria, cuidados paliativos, etc.).

Estrutura: Cada caso apresenta uma vinheta clínica e duas recomendações mutuamente exclusivas ( $c_1, c_2$ ).
Etiquetagem de Valores: Uma matriz de etiquetas ( $T_i$ ) codifica como cada escolha se relaciona com os quatro valores principialistas (Autonomia, Beneficência, Não-maleficência, Justiça), categorizados como promove, viola ou neutro.
Restrições: Os casos são projetados para garantir trocas éticas genuínas (sem escolha dominante, pelo menos dois valores em conflito).
Validação: Os casos foram gerados por meio de um pipeline de LLM, refinados por rubricas e validados por meio de uma revisão interdisciplinar cega por dois médicos por caso.
Propriedades Pluralistas: O benchmark é multiobjetivo, orientável para trade-offs e pluralista por júri, exibindo desacordo normativo genuíno entre um painel de 20 médicos ( $\kappa$ de Fleiss = 0,236).

2. Coleta de Dados

LLMs: 12 modelos de fronteira (incluindo GPT-5.2, Claude Opus 4.5, Gemini 3 Pro, etc.) foram consultados 10 vezes por caso com temperatura 1,0.
Médicos: 20 médicos completaram uma pesquisa cega, tomando uma decisão binária por caso.
Análise Sintática: Um LLM secundário analisou respostas em texto livre em decisões binárias, filtrando recusas.

3. Quadro de Análise

Consistência de Decisão: Medida por meio da entropia de Shannon de decisões repetidas do modelo para avaliar se os modelos acompanham o desacordo dos médicos (pluralismo distribucional).
Atribuição de Valores: Um modelo de regressão logística infere pesos de prioridade de valor ( $w$ ) para cada tomador de decisão com base na sua frequência de seleção através do benchmark. Os log-odds de selecionar $c_1$ são modelados como uma função linear do vetor de diferença de valores ( $\Delta_i$ ). Os pesos são normalizados via softmax escalonado por temperatura para produzir um perfil de valor ( $\pi$ ).
Calibração: Os perfis de valor do modelo são comparados ao perfil de consenso dos médicos usando a Divergência de Jensen-Shannon (JSD). Uma distribuição de referência bootstrap de JSDs de médico para consenso determina se um modelo é um outlier.
Pluralismo de Overton: Os autores medem se os modelos discutem valores concorrentes em seu raciocínio em texto livre antes de comprometer-se com uma decisão (usando métricas de cobertura e ênfase).
Diversidade do Ecossistema: A JSD par a par entre todos os tomadores de decisão é calculada para testar uma "monocultura algorítmica" (ou seja, se os modelos são mais homogêneos do que os médicos).

Principais Resultados

1. Os Modelos são Consistentes, mas Não Pluralistas

Decisões Quase Determinísticas: 11 dos 12 modelos exibiram entropia de decisão próxima de zero (mediana 0). Os modelos deram recomendações idênticas em 82–86% dos casos em consultas repetidas.
Falha do Pluralismo Distribucional: A entropia de decisão do modelo não foi correlacionada com o desacordo dos médicos ( $\rho \approx 0$ ). Diferentemente de painéis humanos, os modelos não modularam sua incerteza com base no grau de contestação ética em um caso.
Robustez: As decisões foram robustas a variações de formulação de nível superficial (taxa de inversão <9%), mas sensíveis a reversões substantivas de valores, confirmando que a consistência reflete tomada de decisão coerente e não artefatos de formulação.

2. Perfis de Valores Distintos e Comprometidos

Prioridades Sistemáticas: A atribuição de valores revelou que tanto LLMs quanto médicos possuem prioridades éticas comprometidas e não uniformes. A maioria dos modelos (10/12) e o consenso dos médicos rejeitaram a hipótese nula de ponderação uniforme ( $p < 0,05$ ).
Calibração: A maioria dos modelos de fronteira (8/12) caiu dentro da faixa natural de variação intermédica (JSD < percentil 95 da distribuição bootstrap dos médicos).
Outliers: Três modelos (OpenAI GPT 5.2, X-AI Grok 4, Perplexity Sonar Pro) desviaram-se significativamente do consenso dos médicos, principalmente por subponderar substancialmente a autonomia do paciente (alocando 6,1%–12,8% de peso versus 44,4% para o consenso dos médicos).

3. Pluralismo de Overton vs. Monocultura Decisória

Raciocínio: Os modelos exibiram alto pluralismo de Overton em seu raciocínio em texto livre (cobertura média = 0,86), reconhecendo valores concorrentes em ambos os lados de um dilema antes de comprometer-se.
Ação: Apesar desse pluralismo discursivo, os modelos resolveram os dilemas com uma única recomendação consistente a cada vez.

4. Diversidade do Ecossistema

Sem Monocultura Algorítmica: A diversidade de perfis de valores entre os 12 LLMs (JSD par a par média = 0,0916) foi estatisticamente indistinguível da diversidade entre os 20 médicos (JSD par a par média = 0,1089). O ecossistema de modelos de fronteira abrange uma gama diversificada de posições éticas comparável a um painel de médicos praticantes.

Significado e Alegações

O artigo argumenta que, embora o ecossistema de modelos seja diverso, a implantação de um único modelo representa um risco significativo.

Risco de Monocultura de Implantação: Como os modelos individuais são quase determinísticos e possuem prioridades de valores comprometidas, implantar um único modelo sem considerar suas predefinições éticas específicas pode "amplificar essas prioridades em escala". Se um modelo subponderar sistematicamente a autonomia, ele poderá fazê-lo para cada paciente que atender, efetivamente substituindo o pluralismo clínico por uma "monocultura de implantação".
Limitações do Alinhamento Atual: O estudo destaca uma lacuna entre o "pluralismo de Overton" (discutir todos os valores) e o "pluralismo distribucional" (variar decisões para corresponder ao desacordo da população). Os modelos atuais alcançam o primeiro, mas falham no segundo.
Orientabilidade como Caminho a Seguir: Os autores sugerem que o pluralismo orientável — a capacidade de ajustar o perfil de valor de um modelo sob demanda para corresponder aos valores de um paciente específico — pode ser a solução necessária para mitigar os riscos de implantação, embora evidências atuais sugiram que a orientabilidade é limitada.
Implicações Regulatórias e Financeiras: O artigo observa que os valores dos médicos impulsionam os gastos regionais com saúde; da mesma forma, os valores codificados nos algoritmos impulsionarão os padrões de reembolso e cuidado, tornando a auditoria dessas prioridades um imperativo financeiro e regulatório.

Os autores concluem que a implantação responsável de IA médica exige esforços explícitos para equilibrar perspectivas éticas, potencialmente por meio de "júris" de múltiplos modelos ou mecanismos de orientabilidade, em vez de confiar em um único modelo não examinado.