💬 NLP

Same Facts, Different Diagnosis: Measuring and Mitigating Narrative Anchoring in Clinical Language Models

Este artigo identifica o "Ancoramento Narrativo", um viés no qual modelos de linguagem clínicos produzem diagnósticos divergentes para fatos idênticos baseando-se apenas no registro sociolinguístico, e propõe o "NarrativeShield", um pipeline de três agentes que extrai e verifica fatos estruturalmente para quase eliminar essa lacuna, mantendo a estabilidade diagnóstica.

Autores originais: Prabhjot Singh, Pritam Deka, Vijay Chennareddy

Publicado 2026-07-31

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Prabhjot Singh, Pritam Deka, Vijay Chennareddy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério, mas em vez de procurar pelas pistas, você julga o suspeito com base na forma como ele conta sua história. Se ele fala com uma voz elegante e polida, você pode confiar mais nele. Se ele fala com um sotaque rude, de classe trabalhadora, ou usa metáforas coloridas, você pode duvidar dele, mesmo que os fatos reais do crime sejam exatamente os mesmos. Este é o mundo dos "Grandes Modelos de Linguagem" (LLMs), que são programas de computador superinteligentes treinados para ler e escrever como humanos. Cientistas estão agora tentando usar esses programas como "médicos digitais" para ajudar a diagnosticar doenças. Mas há um problema assustador: esses médicos digitais podem ser enviesados não apenas por quem é o paciente (como sua raça ou renda), mas por como o paciente descreve sua dor. Este artigo mergulha nesse viés oculto, fazendo uma pergunta simples, mas profunda: se dois pacientes tiverem exatamente os mesmos sintomas, o computador dará a eles o mesmo diagnóstico se um contar a história de uma forma "rica" e o outro de uma forma "com dificuldades"?

Os pesquisadores chamam esse problema sorrateiro de Ancoragem Narrativa. É como uma bússola que fica presa apontando para o estilo da história em vez da verdade dos fatos. Para testar isso, eles não apenas pediram para o computador adivinhar; eles construíram um jogo massivo e super rigoroso. Eles pegaram 1.000 questões reais de exames médicos (aquelas que os médicos precisam passar para obter suas licenças) e reescreveram cada uma três vezes. Uma versão era neutra, uma foi reescrita para soar como alguém enfrentando estresse financeiro e uma terceira soava como alguém usando metáforas culturais. Crucialmente, eles garantiram que os fatos médicos — como a febre, o local da dor e os resultados dos exames de sangue — permanecessem exatamente os mesmos em todas as três versões. Eles até contrataram um segundo computador e médicos reais para verificar se nenhum fato foi perdido ou alterado durante a reescrita.

Quando alimentaram essas histórias com sete modelos diferentes de IA, os resultados foram surpreendentes. Embora os fatos médicos fossem idênticos, os modelos de IA deram diagnósticos diferentes dependendo da "voz" da história. Isso aconteceu em todos os modelos que testaram. A lacuna na precisão foi significativa: para alguns modelos, a voz "neutra" obteve a resposta correta cerca de 15% mais vezes do que a voz "com dificuldades". Os pesquisadores tentaram corrigir isso pedindo à IA para "pensar passo a passo" (um método chamado Cadeia de Pensamento ou Chain-of-Thought) ou simplesmente dizendo a ela: "Ignore o estilo, foque nos fatos". Esses truques ajudaram um pouco, mas não o suficiente. Na verdade, pedir para a IA pensar mais profundamente às vezes a tornava pior em obter a resposta correta no geral, como um aluno que analisa demais um problema de matemática simples e erra.

Então, a equipe construiu uma nova ferramenta chamada NarrativeShield. Pense nisso como um editor rigoroso que se senta entre o paciente e o médico. Antes que o médico de IA sequer veja a história, este editor remove todas as palavras elegantes, o tom emocional e as metáforas culturais, deixando apenas uma lista crua e direta de fatos médicos puros. Então, o médico de IA olha apenas para essa lista. Quando usaram o NarrativeShield, o viés quase desapareceu. A lacuna entre as diferentes vozes caiu para quase zero (entre -0,004 e 0,037), o que significa que a IA começou a tratar todas as histórias de forma justa, independentemente de como foram contadas. No entanto, havia uma ressalva: para a maioria dos modelos, essa edição rigorosa tornou a IA ligeiramente menos precisa no geral, como um tradutor que remove todo o sabor de um poema para garantir que o significado seja perfeito.

O artigo também testou uma IA médica "de base" que não fora ensinada a seguir instruções muito bem. Esse modelo falhou completamente ao ser solicitado a seguir as novas regras, provando que você não pode apenas dizer a um computador para "ser justo" se ele não possui a habilidade básica de ouvir instruções em primeiro lugar. Os autores concluem que o problema não é apenas sobre quais rótulos atribuímos aos pacientes; é sobre como o computador processa a maneira como os pacientes falam. Para corrigir isso, não podemos apenas mudar o comando (prompt); temos que mudar a arquitetura do sistema em si, garantindo que os "fatos" sejam separados da "história" antes que o diagnóstico seja feito. Embora este seja um passo promissor, os pesquisadores alertam cuidadosamente que esta ainda é uma ferramenta de pesquisa, não um produto pronto para hospitais reais, e que mais testes são necessários para ver se funciona no mundo confuso das conversas entre paciente e médico.

Resumo Técnico: Mesmos Fatos, Diagnóstico Diferente

Definição do Problema: Ancoragem Narrativa
A pesquisa atual sobre viés em Grandes Modelos de Linguagem (LLMs) clínicos tem se concentrado amplamente no viés demográfico, onde tokens de identidade explícitos (ex: raça, gênero, renda) alteram os resultados diagnósticos. No entanto, este trabalho identifica um modo de falha distinto e anteriormente não examinado, denominado Ancoragem Narrativa. Este fenômeno ocorre quando fatos clínicos idênticos, expressos através de diferentes registros sociolinguísticos (ex: variações de enquadramento socioeconômico ou cultural), fazem com que os resultados diagnósticos divirjam. Crucialmente, este viés opera sem qualquer marcador demográfico explícito; o raciocínio do modelo muda baseando-se apenas em como o paciente descreve seus sintomas, e não em quem o paciente é. Os benchmarks existentes frequentemente falham em detectar isso porque apresentam cada caso apenas uma vez, impedindo que o modelo revele inconsistências dependentes de registro.

Metodologia e Construção do Dataset
Para isolar e medir este viés, os autores construíram o NARRATIVESHIELD-SDOH, um dataset de 1.000 vinhetas clínicas no estilo USMLE.

Fonte e Filtragem: As vinhetas foram extraídas do corpus MedQA-USMLE e filtradas por profundidade narrativa, termos de sinal clínico e tipos de alvo específicos (diagnóstico, tratamento, investigação).
Geração de Persona: Cada vinheta foi reescrita em três personas sociolinguísticas distintas:
1. Controle ( $P_\alpha$ ): Preserva o registro original.
2. Socioeconômica ( $P_\beta$ ): Reenquadrada através de tensão financeira ou ocupacional.
3. Cultural ( $P_\gamma$ ): Reenquadrada através de metáforas situadas culturalmente.
  Restrição: Nenhum marcador demográfico explícito (raça, valores de renda, identificadores culturais) foi incluído em nenhuma persona.
Auditoria de Preservação de Fatos: Para garantir que os fatos clínicos permanecessem constantes entre os registros, um processo de verificação em duas etapas foi empregado. Primeiro, um modelo "auditor" independente (separado do gerador) verificou se cada fato clínico sobreviveu à reescrita. Segundo, uma amostra estratificada de 300 encontros foi validada por três anotadores humanos com formação clínica, que confirmaram 100% de preservação de fatos e correspondência de registro.

Configuração Experimental
O estudo avaliou sete modelos de pesos abertos (variando de 3B a 12B parâmetros, incluindo Llama, Mistral, Qwen, Gemma e BioMistral) em quatro condições:

Prompt Direto (B1): Baseline de prompting zero-shot.
Cadeia de Pensamento (Chain-of-Thought) (B2): Raciocínio passo a passo antes da resposta.
Debiasing Explícito (B3): Uma instrução única para desconsiderar o enquadramento sociolinguístico.
NarrativeShield (NS): Uma intervenção arquitetônica proposta de três agentes.

Principais Contribuições e Resultados

Evidência de Ancoragem Narrativa Pervasiva:
Sob prompting direto (B1), todos os sete modelos exibiram um Gap de Ancoragem Narrativa (NAG) estatisticamente significativo — a vantagem de precisão do registro de controle sobre os registros marcados. O NAG variou de 0,064 a 0,151 entre os modelos. Isso confirma que o registro sociolinguístico sozinho é suficiente para deslocar os resultados diagnósticos, mesmo na ausência de rótulos demográficos.
Limitações das Mitigações ao Nível de Prompt:

Cadeia de Pensamento (B2): Embora o B2 tenha reduzido o NAG para alguns modelos, essa melhoria foi frequentemente confundida por um colapso na precisão geral (ex: o Gemma-3-12b-it perdeu 21 pontos de precisão). Os autores argumentam que um NAG menor derivado de um conjunto menor de respostas corretas não constitui uma melhoria na equidade.
Debiasing Explícito (B3): Instruções para ignorar o enquadramento reduziram o NAG modestamente (ex: de 0,151 para 0,135 para o Llama-3.1-8B) sem perda de precisão para modelos ajustados por instrução (instruction-tuned). No entanto, o BioMistral (um modelo base adaptado ao domínio, sem ajuste de instrução) falhou completamente sob B3, atingindo uma taxa de processamento de 0,00%, indicando que intervenções de nível de prompt pressupõem uma capacidade baseline de seguimento de instrução.

Arquitetura NarrativeShield:
Os autores introduziram o NarrativeShield, um pipeline de três agentes projetado para desacoplar estruturalmente os fatos clínicos do registro narrativo:

Agente 1 (Extrator de Triagem Adversarial): Remove todo o registro sociolinguístico, enquadramento econômico e metáforas, gerando um JSON estruturado de fatos clínicos.
Roteador de Ferramenta Determinístico: Injeta suporte à decisão clínica (ex: calculadoras de risco, bases de conhecimento de fármacos) baseado nos fatos extraídos.
Agente 2 (Motor de Raciocínio Clínico): Realiza o raciocínio diagnóstico apenas no JSON estruturado e nas saídas das ferramentas, nunca vendo a narrativa original.
Agente 3 (Fallback de Emergência): Extrai uma letra de resposta final se o Agente 2 falhar em formatar sua saída corretamente.

Desempenho: O NarrativeShield reduziu o NAG para próximo de zero (−0,004 a 0,037) em todos os modelos. Também alcançou a menor taxa de decisões severamente instáveis (Pontuação de Estabilidade Diagnóstica < 0,8) em comparação com todas as outras condições. Isso veio com um custo de precisão mecanisticamente explicável e modesto para a maioria dos modelos (atribuído à perda de informação durante a extração), embora o Gemma-4-E4B-it tenha de fato melhorado em precisidade, sugerindo que, para alguns modelos, a remoção do ruído narrativo auxilia o raciocínio.

Significância e Alegações
O artigo argumenta que o viés clínico em LLMs não é apenas uma função de rotulagem demográfica, mas está profundamente incorporado na forma como as narrativas dos pacientes são processadas. A principal significância deste trabalho é tripla:

Identificação: Estabelece a Ancoragem Narrativa como um viés pervasivo, impulsionado pelo registro, que sobrevive às mitigações padrão de nível de prompt.
Solução Arquitetural: Demonstra que intervenções estruturais (separando a extração de fatos do raciocínio) são mais eficazes para eliminar este viés do que prompts instrucionais.
Capacidade Prerrequisito: Através dos testes de estresse com o BioMistral, os autores mostram que qualquer intervenção de debiasing — seja um prompt ou um pipeline — requer uma capacidade baseline de seguimento de instrução zero-shot que nem todos os modelos possuem.

Os autores concluem que fechar o gap de viés clínico exige um design de pipeline que isole estruturalmente os fatos clínicos do enquadramento sociolinguístico, em vez de depender apenas de engenharia de prompt. Eles declaram explicitamente que seu trabalho é um diagnóstico e mitigação em estágio de pesquisa, não uma ferramenta clínica pronta para implantação, e que os trade-offs de precisão de tais arquiteturas devem ser avaliados contra riscos clínicos específicos.

Mais como este