Possible or Definite? A Benchmark for Evaluating Diagnostic Uncertainty Preservation in Clinical Text

Resumo Técnico: Possível ou Definitivo? Um Benchmark para Avaliar a Preservação da Incerteza Diagnóstica em Textos Clínicos

Declaração do Problema
Embora os Grandes Modelos de Linguagem (LLMs) estejam sendo cada vez mais implementados para tarefas de texto clínico, como sumarização e revisão de relatórios, sua capacidade de preservar corretamente a incerteza diagnóstica permanece subexplorada. Na prática clínica, expressões de incerteza (ex.: "possível pneumonia" vs. "pneumonia") não são meramente uma linguagem cautelosa; elas comunicam a força da evidência, indicam diagnósticos alternativos e orientam decisões relativas a testes de acompanhamento e tratamento. As métricas de avaliação atuais para LLMs clínicos focam primariamente em fluência, coerência e consistência factual, falhando frequentemente em detectar quando os modelos alteram o grau de incerteza. Este artigo postula que alterar essas expressões pode mudar inteiramente o significado clínico, potencialmente levando a decisões subsequentes prejudiciais, embora este modo de falha específico não seja capturado pelos protocolos de avaliação padrão.

Metodologia
O estudo aborda essa lacuna através de uma abordagem de duas etapas: a construção de um benchmark especializado e uma avaliação de modo duplo de três LLMs.

1. Construção do Benchmark:

   • Fonte de Dados: Os autores construíram um conjunto de dados de 1.200 documentos clínicos derivados do MIMIC-IV-Note (sumários de alta e relatórios de radiologia) e TCGA-Reports (relatórios de patologia).
   • Esquema de Anotação: Foi definido um esquema de incerteza de cinco níveis, variando de UL1 (Ausente certo) a UL5 (Não assertado), com níveis intermediários para Provável presente, Possível presente e Indeterminado/não resolvido.
   • Granularidade: Diferente da rotulagem ao nível do documento, o benchmark utiliza anotações ao nível da proposição. Cada documento é representado como um conjunto de 9.184 pares de pista-alvo, onde uma "pista" é a expressão de incerteza (ex.: "não se pode excluir") e o "alvo" é o conceito clínico (ex.: "embolia pulmonar").
   • Pipeline de Extração: Um pipeline baseado em regras (utilizando regex e ferramentas de NER médica como medSpaCy e QuickUMLS) foi empregado para extrair esses pares para evitar avaliação circular. A validação humana em um subconjunto de 90 documentos resultou em uma precisão média de 82% e um Cohen's $\kappa$ de 0,61.

2. Estrutura de Avaliação:
   O estudo avalia três LLMs (gpt-oss-120b, gemini-2.5-flash e claude-haiku-4.5) usando duas questões de pesquisa (RQs) complementares:

   • RQ1 (Avaliação Indireta): Avalia a preservação da incerteza durante tarefas de transformação de texto downstream: Sumarização para Passagem de Plantão Clínica e Revisão Amigável ao Paciente. Estas foram testadas sob duas condições de prompt: Baseline (instrução padrão) e Guarded (instruções explícitas para preservar a incerteza e evitar adições de interpretações).
   • RQ2 (Avaliação Direta): Testa a capacidade explícita do modelo em identificar e classificar pistas de incerteza. Isso envolveu uma configuração de sinal único (classificando um par) e uma configuração de múltiplos sinais (classificando e ordenando conjuntos de 2 a 5 pares simultaneamente).

Principais Contribuições

• Criação de Benchmark: O artigo introduz um benchmark reutilizável de 1.200 documentos e 9.184 pares de pista-alvo anotados, cobrindo seis tipos de textos clínicos e cinco níveis distintos de incerteza.
• Avaliação Empírica: Fornece uma avaliação sistemática de três LLMs de última geração, demonstrando que métricas de fluência padrão falham em capturar a distorção da incerteza.
• Identificação de Modos de Falha: O estudo identifica um viés sistemático nos LLMs em direção à "asserção de certeza", onde a linguagem cautelosa é colapsada em afirmações definitivas, um padrão invisível à avaliação ao nível do documento.

Resultados

• Avaliação Indireta (RQ1):
  • Baixa Preservação: Sob condições de baseline, os LLMs preservaram o nível de incerteza original menos de 50% das vezes (a Taxa de Retenção de Incerteza [URR] variou de 33,64% a 45,55%).
  • Modo de Falha Dominante: O erro primário foi a Asserção de Certeza (CAR). Aproximadamente 40% dos alvos retidos foram reescritos como asserções definitivas (ex.: mudando "possível" para uma afirmação definitiva), enquanto mudanças parciais e excesso de cautela (over-hedging) representaram menos de 8% dos erros.
  • Variância de Tarefa: Tarefas de revisão amigável ao paciente resultaram em remoção de conteúdo mais agressiva e menor preservação de incerteza em comparação com a sumarização clínica.
  • Eficácia do Prompt: Embora o prompting "Guarded" tenha melhorado a URR em 7 a 19 pontos percentuais e reduzido a asserção de certeza, não eliminou a distorção; a melhor configuração ainda alcançou apenas ~62,5% de URR.
• Avaliação Direta (RQ2):
  • Classificação vs. Ordenação: O modelo (gemini-2.5-flash) alcançou precisão de classificação moderada (78,4% ULA) em configurações de sinal único. No entanto, a precisão exata de ordenação degradou significamente conforme o número de sinais aumentava (caindo de 86% em N=2 para 48% em N=5).
  • Problemas de Granularidade: O modelo teve bom desempenho em distinções categóricas (ex.: ausente certo), mas teve dificuldades com distinções finas entre níveis adjacentes, particularmente entre "Provável presente" e "Possível presente".

Significância e Alegações
O artigo alega que a preservação da incerteza deve ser tratada como uma dimensão de avaliação distinta da fluência e da consistência factual. Os autores argumentam que o modo de falha dominante não é ruído aleatório, mas um viés sistemático em direção à certeza, o que representa um risco significativo em fluxos de trabalho clínicos onde diagnósticos tentativos exigem manejos diferentes de diagnósticos confirmados.

O estudo conclui que, embora o prompting explícito ofereça mitigação parcial, ele é insuficiente para implantação segura. Os achados destacam a necessidade urgente de intervenções mais sofisticadas, como fine-tuning em benchmarks conscientes de incerteza ou otimização de preferência, para garantir que os LLMs não distorçam inadvertidamente o significado clínico ao colapsar a incerteza em uma falsa certeza. Os autores enfatizam que seu trabalho revela um modo de falha não capturado por métricas padrão, necessitando de uma mudança na forma como sistemas de NLP clínica são avaliados e implantados.