Modeling Clinical Uncertainty in Radiology Reports: from Explicit Uncertainty Markers to Implicit Reasoning Pathways

Título: Modelagem da Incerteza Clínica em Laudos Radiológicos: de Marcadores Explícitos de Incerteza a Caminhos de Raciocínio Implícitos

1. Problema e Motivação

Os laudos radiológicos são fundamentais para a tomada de decisões clínicas, mas apresentam um desafio significativo para a automação e a Inteligência Artificial (IA): a incerteza inerente ao diagnóstico médico. O artigo identifica e categoriza essa incerteza em dois tipos distintos que frequentemente são ignorados ou mal tratados por sistemas existentes:

1. Incerteza Explícita: Ocorre quando o radiologista usa linguagem de "hedging" (atenuação) para expressar dúvida sobre a presença ou ausência de um achado (ex: "provável", "possível", "sugere"). Sistemas baseados em regras tradicionais (classificação ternária: positivo/negativo/incierto) falham em quantificar o grau dessa incerteza, pois o significado de uma frase varia dependendo do contexto da frase.
2. Incerteza Implícita: Surge da natureza seletiva e concisa dos laudos. Radiologistas frequentemente omitem achados intermediários ou sub-achados que fazem parte do raciocínio diagnóstico, relatando apenas o diagnóstico final ou achados-chave. Isso cria ambiguidade: um achado não mencionado está realmente ausente ou foi simplesmente omitido por brevidade? Ignorar essa distinção pode enviesar dados e distorcer o raciocínio inferido.

O objetivo do trabalho é desenvolver um framework para quantificar a incerteza explícita como uma probabilidade contínua e reconstruir a incerteza implícita através da expansão de achados omitidos.

2. Metodologia

Os autores propõem um framework de duas partes, aplicado ao conjunto de dados Lunguage (1.473 laudos de raios-X de tórax estruturados do MIMIC-CXR), resultando na criação do Lunguage++.

A. Quantificação da Incerteza Explícita (Framework de Probabilidade)

Para transformar frases de atenuação em probabilidades contínuas (0 a 1), o método utiliza:

1. Extração de Vocabulário: Uso de um LLM (Gemini) para extrair automaticamente frases de atenuação (hedging phrases) de pares de achado-frase, gerando um vocabulário de 42 frases comuns.
2. Ranking de Referência via TrueSkill: Em vez de depender de julgamentos humanos diretos (que são inconsistentes), os autores utilizam o algoritmo TrueSkill (originário de sistemas de classificação de jogos competitivos).
   • Comparação em Pares: Múltiplos LLMs (Gemini, GPT-4o, Claude, MedGemma) comparam pares de frases em contextos diferentes para determinar qual expressa maior certeza sobre a presença de um achado.
   • Ranking Global: O TrueSkill infere um nível de habilidade ($\mu$) para cada frase de atenuação, criando um ranking global relativo.
3. Mapeamento para Probabilidade: O score $\mu$ é mapeado para uma escala de probabilidade $p \in [0, 1]$ usando uma função sigmoide, ancorada por avaliações de dois radiologistas em frases extremas ("menos provável" e "mais provável").
4. Ajuste de Sentença: Cada par "achado-frase" do dataset é ajustado a esse ranking de referência através de comparações iterativas com frases de referência, resultando em uma probabilidade específica para cada achado.

B. Modelagem da Incerteza Implícita (Framework de Expansão de Caminhos)

Para abordar a omissão de achados, o trabalho introduz o Pathway Expansion Framework:

1. Construção de Caminhos Diagnósticos (DAGs): Radiologistas e pesquisadores de IA definiram manualmente 14 caminhos diagnósticos (grafos acíclicos dirigidos) para condições comuns de raios-X de tórax (ex: Pneumonia, Insuficiência Cardíaca Congestiva, DPOC). Esses caminhos mapeiam diagnósticos de alto nível para seus sub-achados característicos com alta probabilidade (>80%).
2. Expansão Recursiva: O framework expande os laudos originais:
   • Deduplicação: Unifica achados semanticamente similares.
   • Correspondência: Alinha achados do laudo aos nós dos caminhos diagnósticos.
   • Expansão: Se um diagnóstico pai é confirmado, o framework infere recursivamente os sub-achados filhos (ex: se "Insuficiência Cardíaca" está presente, inferem-se "Cardiomegalia" e "Edema Pulmonar").
   • Propagação de Incerteza: A probabilidade e o status de certeza do achado pai são propagados para os sub-achados inferidos.
3. Resolução de Conflitos: Um protocolo baseado em regras resolve contradições entre achados originais e inferidos (ex: priorizando achados originais sobre inferidos em caso de conflito de status).

3. Principais Contribuições

1. Framework de Incerteza Explícita: Introdução de uma abordagem automatizada e escalável para quantificar a incerteza linguística como uma probabilidade contínua, superando as limitações das classificações ternárias. Inclui um ranking de referência validado por especialistas de 42 frases de atenuação.
2. Framework de Incerteza Implícita: O primeiro framework para modelar a incerteza implícita em laudos radiológicos, utilizando caminhos diagnósticos definidos por especialistas para reconstruir evidências omitidas e inferir raciocínio clínico.
3. Lunguage++: A liberação de um novo conjunto de dados benchmark expandido. O Lunguage++ contém 14.049 achados originais mais 4.761 achados inferidos (+33,9%), todos com probabilidades de certeza contínuas e estrutura hierárquica explícita.
4. Recursos Abertos: Disponibilização do código (GitHub) e dos dados (PhysioNet) para facilitar pesquisas em geração de laudos, classificação de imagens e raciocínio diagnóstico.

4. Resultados e Estatísticas

• Validação do Ranking: O ranking de frases de atenuação gerado pelos LLMs apresentou alta concordância com especialistas humanos (acordo médio de ~78-80% entre especialistas e o ranking de referência).
• Cobertura de Expansão: O framework de expansão identificou que 18,7% dos achados originais (2.639 casos) se alinhavam a caminhos diagnósticos, permitindo a inferência de 4.761 novos sub-achados.
• Resolução de Conflitos: Conflitos entre achados originais e inferidos foram raros (apenas 3,2% dos casos), e o protocolo de resolução garantiu consistência lógica e validade clínica no dataset final.
• Custo: A quantificação de incerteza explícita custou aproximadamente $0,045 por par de achado-frase, demonstrando viabilidade econômica para grandes conjuntos de dados.

5. Significado e Impacto

Este trabalho representa um avanço significativo na interseção entre Processamento de Linguagem Natural (PLN) e Radiologia:

• IA Consciente da Incerteza: Permite o treinamento de modelos de IA que não apenas classificam doenças, mas entendem o grau de confiança do radiologista, essencial para sistemas de apoio à decisão clínica seguros.
• Raciocínio Explicável: Ao reconstruir a cadeia de evidências (sub-achados) que levam a um diagnóstico, o framework torna o "raciocínio" do radiologista mais transparente para modelos de visão computacional e linguagem.
• Padronização de Dados: Oferece uma metodologia robusta para enriquecer benchmarks existentes (como CheXpert e MIMIC-CXR), transformando dados textuais brutos em representações estruturadas ricas em incerteza, fundamentais para a próxima geração de modelos multimodais em saúde.

Limitações Mencionadas

• A dependência de LLMs para o ranking de referência introduz uma dependência do comportamento do modelo, embora a agregação de múltiplos modelos mitigue isso.
• Os caminhos diagnósticos são unidirecionais (top-down) e não capturam dependências cíclicas ou bottom-up complexas do raciocínio clínico.
• A propagação de probabilidade assume que todos os filhos herdam a mesma probabilidade do pai, uma simplificação que pode não refletir a calibração real de incerteza entre achados correlacionados.