Resumo Técnico: Raciocínio com Incerteza usando Modelos de Linguagem de Grande Escala para Diagnóstico de Doenças Explicável

Declaração do Problema

A tomada de decisão clínica frequentemente opera sob condições de incerteza, onde narrativas de pacientes são incompletas, temporalmente vagas e expressas por meio de termos qualitativos e graduais (por exemplo, "fadiga leve" ou "febre alta") em vez de fatos booleanos precisos. Embora os Modelos de Linguagem de Grande Escala (LLMs) demonstrem capacidades robustas na extração de informações latentes de linguagem natural, eles sofrem com falta de verificabilidade, interpretabilidade e calibração confiável de incerteza. Por outro lado, sistemas puramente simbólicos oferecem regras transparentes e inferência verificável, mas frequentemente falham ao enfrentar a ambiguidade e o ruído inerentes a descrições clínicas do mundo real. O desafio central abordado por este trabalho é o desenvolvimento de um sistema de diagnóstico que combine a adaptabilidade dos LLMs com o rigor da lógica formal para produzir diagnósticos médicos explicáveis, auditáveis e confiáveis.

Metodologia

Os autores propõem uma estrutura de raciocínio neuro-simbólica que alinha LLMs com lógica formal através de uma arquitetura de três módulos:

1. Construção de Conhecimento Formal

Este módulo faz a ponte entre texto não estruturado e lógica simbólica:

• Embedding Neural e Indução de Regras: Corpos clínicos (anotações, diretrizes) são codificados usando um LLM ajustado ao domínio. O modelo é instruído a propor templates de cláusulas de Horn ($H \leftarrow B_1, \dots, B_n$) para pares sintoma-doença. Templates que excedem um limiar de confiança são concretizados em um conjunto de regras simbólicas $R$, que evolui dinamicamente.
• Decodificação Simbólica: LLMs transformam segmentos de texto embutidos em tripletas estruturadas (entidade, relação, valor). Estas são mapeadas para predicados difusos com graus de verdade $w \in [0, 1]$, refletindo modificadores linguísticos (por exemplo, "leve" mapeia para um peso específico).
• Síntese em Prolog: Tripletas e regras são compiladas em uma base de conhecimento simbólica usando uma biblioteca de templates, permitindo a geração de árvores de prova granulares para cada hipótese inferida.

2. Ciclo Neuro-Simbólico

A estrutura suporta um ciclo contínuo de aprendizado envolvendo tanto dados quanto feedback humano:

• Edição Orientada por Médicos: Clínicos podem inspecionar traços de raciocínio, adicionar regras de exceção, ajustar pesos de predicados ou fornecer contra-exemplos. Essas edições são versionadas, criando um rastro de auditoria transparente.
• Atualização Automatizada de Regras: O sistema emprega um mecanismo de dois estágios para refinamento orientado por dados:
  • Classificação Passiva-Agressiva Online: Ajusta pesos de sintomas quando doenças verdadeiras são mal classificadas em relação a falsos positivos.
  • Adição/Remoção Estrutural: Analisa periodicamente estatísticas agregadas (contagens de co-ocorrência e razões de especificidade) para adicionar novas arestas sintoma-doença ou remover as existentes com base em limiares de evidência.
• Base de Conhecimento Versionada: Cada atualização cria um instantâneo com carimbo de tempo $K(t)$, permitindo auditorias contrafactuais para explicar por que um diagnóstico mudou entre versões.

3. Motor de Diagnóstico em Tempo Real

Este módulo executa o diagnóstico:

• Pré-processamento: Anotações são segmentadas e expressões temporais são normalizadas.
• Ponderação Híbrida de Sintomas: Os pesos dos sintomas são derivados de uma mistura de priors de recuperação (similaridade com casos de vizinhos mais próximos em um índice FAISS) e salência intrínseca (pesos derivados de LLM de modificadores de texto). Uma mistura softmax permite que clínicos ajustem a confiança em texto versus evidência de recuperação.
• Raciocínio em Prolog Difuso: Fatos ponderados são assertados no SWI-Prolog (aumentado com uma biblioteca de lógica difusa). As regras são acionadas se sua ativação t-norm exceder um limiar.
• Fusão de Priors Epidemiológicos: Probabilidades finais são calculadas combinando pontuações de ativação de regras com dados de prevalência condicionados a demografias do paciente (idade, sexo, região).

Contribuições Principais

1. Arquitetura Híbrida: Um pipeline unificado conectando extração por LLM, representação difusa de sintomas, dedução simbólica e classificação probabilística.
2. Mecanismo de Atualização Inspecionável: Um sistema que permite feedback de médicos e evidência de casos localizados para revisar pesos e estrutura de regras, mantendo um histórico versionado e auditável da base de conhecimento.
3. Validação Empírica: Avaliação em benchmarks clínicos públicos demonstrando que o design híbrido melhora a robustez e a explicabilidade em relação a ablações simbólicas, permanecendo competitivo com bases fortes de LLM.

Resultados Experimentais

A estrutura foi avaliada em três conjuntos de dados: gretelai/symptom-to-diagnosis (rótulo único), lavita/ChatDoctor-iCliniq (rótulo múltiplo) e MIMIC-IV (rótulo múltiplo).

• Precisão: No conjunto de dados de rótulo único, o método híbrido completo alcançou a maior precisão Top-1 (44,8%), superando tanto bases puras de LLM (por exemplo, GPT-4o com 39,0%) quanto modelos simbólicos abladados.
• Desempenho Multi-rótulo: No conjunto de dados iCliniq, o método híbrido (42,0% Top-1) ficou ligeiramente atrás do GPT-4o (48,6%). Os autores atribuem isso a problemas de qualidade de dados (rótulos não confiáveis, texto não relacionado a sintomas) e à dificuldade inerente de contextos altamente ambíguos onde LLMs se destacam. No entanto, no conjunto de dados iCliniq reduzido e no conjunto de dados MIMIC-IV (que apresenta sinais de sintomas mais claros), o sistema híbrido demonstrou desempenho superior ou comparável, alcançando 57,2% de precisão Top-1 no MIMIC-IV, comparado aos 53,3% do GPT-4o.
• Consistência e Explicabilidade: O sistema demonstrou baixas taxas de erro na extração de sintomas (<1,3%) e altas pontuações de explicabilidade (3,20–3,67/4,00), confirmando que o raciocínio intermediário alinha-se com conclusões finais.
• Eficiência: Embora o sistema híbrido tenha exigido mais tempo de execução (48,69 min vs. 26,61 min para GPT-4o em 1.000 amostras), foi significativamente mais eficiente em termos de custo ($7,61 vs. $14,68) e utilizou menos tokens (2,87M vs. 5,75M).

Significado e Alegações

O artigo alega que, ao fundamentar a extração neural em representações explícitas difusas e simbólicas, a estrutura proposta oferece uma rota prática para IA de diagnóstico que pode raciocinar sobre narrativas de pacientes ambíguas, preservando a rastreabilidade.

Os autores enfatizam que seu sistema não classifica apenas diagnósticos por confiança, mas fornece caminhos de inferência auditáveis e conclusões formalmente verificáveis. Diferentemente de métodos puramente estatísticos, o sistema suporta refinamento iterativo onde desalinhamentos entre diagnósticos gerados por LLM e a verdade fundamental podem ser rastreados, explicados e corrigidos por meio de regras formais. O trabalho se posiciona como um passo em direção a uma IA que não é apenas precisa, mas também interpretável, robusta e alinhada com o raciocínio humano, abordando a necessidade crítica de transparência no suporte à decisão clínica de alto risco.

Os autores reconhecem limitações, incluindo a dependência de regras curadas manualmente, o que pode limitar a escalabilidade para novos domínios, a dependência de funções de pertinência criadas por especialistas para lógica difusa e a atual falta de modelagem temporal explícita para a evolução de sintomas.