Linking Knowledge to Care: Knowledge Graph-Augmented Medical Follow-Up Question Generation

1. O Problema

O diagnóstico clínico é um processo intensivo que depende da coleta abrangente de informações através de interações entre pacientes e profissionais de saúde. Um grande número de erros diagnósticos ocorre devido à falha na coleta completa de informações e no histórico médico.

• Limitação Atual: A geração de perguntas de acompanhamento (follow-up) é frequentemente manual e demorada.
• Desafio dos LLMs: Embora os Grandes Modelos de Linguagem (LLMs) possam aliviar a carga de trabalho pré-diagnóstica, eles frequentemente falham em identificar lacunas de informação em sintomas diversos devido ao seu conhecimento de domínio limitado e à falta de raciocínio estruturado. Eles tendem a fazer diagnósticos prematuros ou não perguntar sobre sintomas críticos não explícitos no texto inicial.

2. Metodologia: KG-Followup

Os autores propõem o KG-Followup, um framework que aprimora a geração de perguntas de acompanhamento utilizando um Grafo de Conhecimento (KG) médico estruturado e aprendizado em contexto ativo (Active In-Context Learning). O processo é dividido em várias etapas:

A. Formulação da Tarefa

O objetivo é gerar um conjunto de perguntas de acompanhamento ($\hat{Q}$) a partir de uma conversa paciente-médico ($C$) e um modelo de linguagem ($F$), em uma única passagem (coleta de informação estática).

B. Componentes Principais do Framework

1. Esclarecimento Preliminar: O LLM gera um conjunto inicial de perguntas ($\hat{Q}_{pre}$) baseado apenas em seu conhecimento interno, simulando uma consulta inicial.
2. Geração Guiada por EHR via KG (EHR-Guided):
   • O LLM extrai entidades médicas-chave do texto do paciente (atuando como um registro eletrônico de saúde - EHR).
   • Essas entidades são vinculadas a nós no Grafo de Conhecimento Médico.
   • Realiza-se uma busca em largura (BFS) para construir subgrafos específicos e interseccioná-los para encontrar conceitos clínicos compartilhados.
   • Um LLM classifica esses conceitos e seleciona os top-$k$ mais relevantes para gerar perguntas adicionais ($\hat{Q}_{ehr-kg}$).
3. Geração Guiada por Diagnóstico Diferencial (DDX-Guided):
   • O sistema simula o raciocínio médico de diagnóstico diferencial, gerando possíveis diagnósticos (piores e melhores casos).
   • O objetivo é formular perguntas que eliminem essas possibilidades.
   • Integração com KG: Para cada par (entidade extraída, diagnóstico alvo), o sistema busca os caminhos de raciocínio mais curtos no KG. Um LLM seleciona o caminho mais relevante baseado no contexto do paciente para fornecer contexto médico adicional e gerar perguntas de eliminação ($\hat{Q}_{ddx-kg}$).
4. Aprendizado em Contexto Ativo (Active ICL) via Casos Difíceis:
   • Inspirado no Active Learning, o sistema identifica casos difíceis (onde o KG não pode ser percorrido ou as perguntas são complexas) e os usa como exemplos in-context (ICL) para guiar o LLM.
   • Isso melhora a cobertura de casos de borda e perguntas não baseadas apenas em sintomas explícitos.
5. Consolidação de Perguntas:
   • Para reduzir redundância, todas as perguntas geradas são codificadas e agrupadas via K-means.
   • Um LLM funde clusters e remove duplicatas, resultando em um conjunto conciso e eficiente.

3. Contribuições Chave

1. KG-Followup: Um novo framework que integra grafos de conhecimento estruturados com LLMs para gerar perguntas de acompanhamento clinicamente relevantes e abrangentes.
2. ClinicalInquiryBench: A criação de um novo benchmark (ponto de referência) específico para avaliar a capacidade de sistemas de IA de gerar perguntas de acompanhamento clinicamente apropriadas.
   • Derivado de conversas clínicas anotadas por médicos (HealthBench).
   • Contém 1.498 instâncias com pesos de importância diagnóstica, permitindo uma avaliação mais rigorosa do que benchmarks anteriores.
3. Desempenho Superior: Demonstração de que a abordagem baseada em KG supera os métodos state-of-the-art (SOTA) em métricas de recuperação (recall), mesmo com um número controlado de perguntas.

4. Resultados Experimentais

Os experimentos foram conduzidos nos benchmarks ClinicalInquiryBench e FollowupBench, utilizando modelos como Claude Haiku e Sonnet.

• Desempenho Geral: O KG-Followup superou os métodos SOTA em 5% a 8% em termos de recall (recuperação) nas perguntas relevantes.
  • No ClinicalInquiryBench, alcançou 70-77% de recall.
  • No FollowupBench, alcançou 80-82% de recall.
• Eficácia do ICL Ativo: O uso de exemplos de aprendizado em contexto selecionados pelo KG (casos difíceis) superou a seleção aleatória de exemplos, especialmente em configurações few-shot.
• Eficiência: Enquanto aumentar o número de perguntas geradas pelo LLM melhora o desempenho até certo ponto, o KG-Followup atinge resultados comparáveis com menos perguntas, otimizando a interação médico-paciente.
• Análise de Ablação: O módulo guiado por DDX (Diagnóstico Diferencial) mostrou ganhos maiores do que o guiado apenas por EHR. A consolidação por agrupamento (clustering) foi crucial para manter a qualidade enquanto reduzia o volume de perguntas.

5. Significado e Impacto

• Redução de Carga de Trabalho: A automação da geração de perguntas de acompanhamento pode reduzir significativamente o tempo dos médicos na coleta de informações, diminuindo visitas repetidas e melhorando a eficiência do sistema de saúde.
• Precisão Diagnóstica: Ao garantir que lacunas de informação críticas sejam preenchidas através de raciocínio estruturado (KG), o sistema ajuda a mitigar erros diagnósticos causados por histórico médico incompleto.
• Validação Clínica: A introdução do ClinicalInquiryBench estabelece um novo padrão para avaliar sistemas de IA em cenários de raciocínio clínico interativo, focando na importância diagnóstica das perguntas, não apenas na sua fluidez linguística.

Limitações e Considerações Éticas

• Dependência do KG: O sistema depende da qualidade e atualidade do grafo de conhecimento biomédico. Se o KG estiver desatualizado ou incompleto, a eficácia pode ser comprometida.
• Viés e Segurança: Existem riscos de viés nos dados de treinamento e no próprio KG. A implementação clínica requer supervisão humana rigorosa e auditoria para garantir segurança e equidade, evitando a dependência excessiva de sugestões automatizadas.

Em resumo, o trabalho demonstra que a combinação de conhecimento estruturado (KG) com a flexibilidade dos LLMs é uma estratégia poderosa para melhorar a fase de coleta de informações no diagnóstico médico, superando as limitações de modelos puramente baseados em texto.