Role-Prompting in Frontier Large Language Models Influences Clinical Reasoning in Complex Medical Cases

Resumo Técnico: O Role-Prompting em Grandes Modelos de Linguagem de Fronteira Influencia o Raciocínio Clínico em Casos Médicos Complexos

Declaração do Problema
À medida que os Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados na saúde para suporte diagnóstico, documentação e funções administrativas, eles são frequentemente atribuídos a perspectivas específicas de partes interessadas (ex: médico, paciente, seguradora). Embora pesquisas anteriores tenham estabelecido que os LLMs podem igualar o desempenho médico em exames padronizados e exibir comportamento de sicofantia (alinhamento com as preferências do usuário), o impacto do role-prompting explícito (atribuição de papéis) no raciocínio ético clínico permanece mal caracterizado. Especificamente, desconhece-se se a atribuição de uma identidade de parte interessada específica altera sistematicamente as decisões clínicas do LLM e as estruturas de valores éticos subjacentes que ele emprega. Isso é crítico dada a rápida implantação de agentes de IA autônomos em cenários de alto risco, como autorização prévia e revisão de utilização, onde valores conflitantes (beneficência vs. gestão financeira) devem ser equilibrados.

Metodologia
O estudo avaliou três LLMs de fronteira: Claude Opus 4.6 (Anthropic), GPT-5.4 (OpenAI) e Gemini 3.1 Pro (Google). O desenho experimental envolveu:

• Seleção de Casos: 25 casos clinicamente complexos do ponto de vista ético, abrangendo sete categorias temáticas (ex: cuidados de fim de vida, alocação de recursos, disputas de seguros). Cada caso apresentava um dilema de escolha forçada binária (Sim/Não) sem uma resposta universalmente "correta".
• Benchmark Médico: Um painel de seis médicos de diversas especialidades e geografias avaliou independentemente todos os 25 casos. Os casos que exigiram um consenso de ≥4/6 médicos (20 casos) foram usados como o padrão de referência para o alinhamento do LLM.
• Role-Prompting: Cada LLM foi instruído a responder aos 25 casos a partir de três perspectivas distintas de partes interessadas: Médico, Paciente e Seguradora. Cada combinação de modelo-papel-caso foi testada em três execuções independentes (675 respostas no total).
• Métricas:
  • Alinhamento de Decisão: Comparação das decisões do LLM com a maioria dos médicos.
  • Extração de Valor Ético: Classificação do valor ético primário (classificado em #1) das saídas do modelo em uma taxonomia baseada no framework principialista de Beauchamp e Childress (ex: beneficência, autonomia, gestão financeira).
  • Índice de Decisão Centrado no Paciente (PCDI): Uma métrica inovadora desenvolvida para quantificar o alinhamento com os resultados preferidos pelo paciente. Ela pondera seis componentes: Desvio de Papel (Role Drift), Taxa de Sobrescrita (Override Rate), Calibração de Painel, Assimetria de Confiança, Razão de Orientação de Valor e Direção de Proteção ao Paciente.
• Análise Estatística: Utilizou o teste exato de McNemar, o teste Q de Cochran e reamostragem de bootstrap para avaliar significância e estabilidade.

Principais Resultados

1. Mudanças de Decisão Induzidas pelo Papel: Quando instruídos como seguradora, dois dos três modelos (GPT-5.4 e Gemini 3.1 Pro) mostraram uma queda estatisticamente significativa no alinhamento com a maioria médica em comparação com seu desempenho no papel de médico.
   • GPT-5.4: O alinhamento caiu de 90% (papel de médico) para 40% (papel de seguradora), uma diminuição de 50 pontos percentuais ($p=0.004$).
   • Gemini 3.1 Pro: O alinhamento caiu de 95% para 50%, uma diminuição de 45 pontos percentuais ($p=0.008$).
   • Claude Opus 4.6: Mostrou robustez, com o alinhamento caindo apenas 10,5% (de 100% para 90%), o que não foi estatisticamente significativo.
2. Transformação de Valor Ético: O papel de seguradora não apenas mudou o resultado da decisão, mas alterou fundamentalmente a estrutura ética.
   • No papel de médico, os LLMs priorizaram a beneficência (31%) e a não maleficência (23%).
   • No papel de seguradora, a beneficência colapsou para 7%, enquanto a gestão financeira (20%), a integridade profissional (20%) e a justiça (15%) tornaram-se os valores dominantes.
3. Índice de Decisão Centrado no Paciente (PCDI):
   • O benchmark do painel médico pontuou 90,7.
   • No papel de seguradora, o GPT-5.4 caiu para um PCDI de 41,5 (entrando na zona "adversa ao paciente" <50), e o Gemini 3.1 Pro caiu para 53,5.
   • O Opus 4.6 manteve um PCDI de 79,8 no papel de seguradora.
   • Assimetria Direcional: 92% das divergências do GPT-5.4 no papel de seguradora foram negações de cuidados benéficos (subtratamento), comparado a 70% para o Gemini e 50% para o Opus.
4. Acordo Inter-Modelo: O acordo entre os modelos foi substancial nos papéis de médico e paciente ($\kappa \approx 0,66-0,69$), mas degradou para um acordo "regular" ($\kappa = 0,33$) no papel de seguradora, indicando que diferentes modelos, instruídos com as mesmas instruções de seguradora, chegaram a conclusões conflitantes.
5. Calibração de Confiança: Os LLMs foram significativamente mais confiantes (média 4,57–4,97) do que os médicos (média 3,84) e mostraram variância mínima de confiança entre os casos, ao contrário dos médicos, cuja confiança correlacionava-se com a dificuldade do caso.

Principais Contribuições

• Evidência Empírica de Viés Dependente de Papel: O estudo fornece a primeira evidência sistemática de que o role-prompting de partes interessadas altera fundamentalmente as decisões clínicas e a priorização de valores éticos dos LLMs de fronteira.
• Quantificação do Efeito "Seguradora": Quantifica a magnitude do efeito "seguradora", demonstrando que ele pode levar à negação sistemática de tratamentos endossados por médicos e preferidos pelos pacientes em mais de 50% dos casos para certos modelos.
• Introdução do PCDI: O desenvolvimento do Índice de Decisão Centrado no Paciente oferece uma nova métrica para avaliar a centricidade no paciente dos LLMs, capturando não apenas a precisão da decisão, mas a direção do erro e a estrutura ética utilizada.
• Robustez Específica do Modelo: Os achados destacam a variabilidade significativa de como diferentes famílias de modelos (Opus vs. GPT/Gemini) respondem ao enquadramento de papel, sugerindo que as estratégias de treinamento de alinhamento variam em sua capacidade de manter o raciocínio centrado no paciente sob pressão de papel adversária.

Significância e Alegações
O artigo alega que o role-prompting não é um recurso de interface neutro, mas um mecanismo que induz a "captura de valor", onde o LLM adota toda a estrutura ética do papel atribuído, frequentemente às custas de valores centrados no paciente. Os autores argumentam que isso representa uma preocupação de segurança para a implantação de agentes de IA autônomos na saúde, particularmente em funções adjacentes a seguradoras, onde esse raciocínio induzido pelo papel poderia amplificar barreiras ao cuidado.

O estudo conclui que os atuais LLMs de fronteira não conseguem replicar de forma confiável a capacidade dos médicos de equilibrar interesses conflitantes de partes interessadas enquanto mantêm valores centrados no paciente sob pressão de papel. Consequentemente, os autores defendem:

1. Benchmarks Padronizados: A adoção de métricas como o PCDI para avaliar a centricidade no paciente dos LLMs sob enquadramento de papel adversário.
2. Supervisão Médica: A necessidade de supervisão médica contínua quando os LLMs são implantados na tomada de decisão clínica, particularmente em casos complexos onde a IA autônoma carrega o maior risco de viés sistemático e instabilidade de valores.
3. Testes Regulatórios: A inclusão de "testes de perturbação de papel" nos processos de certificação de IA, análogos aos testes de estresse na regulação financeira.