Clinical Reasoning Graphs: Structured Evaluation of LLM Diagnostic Reasoning Reveals Competence Without Consistency

Resumo Técnico: Grafos de Raciocínio Clínico: Avaliação Estruturada do Raciocínio Diagnóstico de LLMs Revela Competência sem Consistência

Declaração do Problema
Embora os modelos de linguagem de grande escala (LLMs) modernos alcancem 60–70% de precisão diagnóstica em benchmarks clínicos complexos, métricas de precisão sozinhas falham em distinguir entre um raciocínio estável e clinicamente fundamentado e o emparelhamento superficial de padrões. Os traços de raciocínio clínico (explicações em texto livre) são atualmente não estruturados, tornando-os difíceis de auditar, comparar entre casos ou avaliar além da correção da resposta final. A questão central abordada é se os LLMs utilizam "esquemas diagnósticos" — representações mentais reutilizáveis que ligam apresentações clínicas a hipóteses e características discriminatórias, de forma semelhante a médicos especialistas — ou se seguem caminhos de raciocínio não relacionados que meramente convergem para respostas finais semelhantes.

Metodologia
O estudo introduz os Grafos de Raciocínio Clínico, uma representação estruturada do raciocínio diagnóstico, e aplica um pipeline de avaliação rigoroso a 750 traços diagnósticos gerados por cinco LLMs contemporâneos (GPT-5.4, GPT-5.2, Claude Opus 4.5, Claude Sonnet 4.5 e Gemini 3 Pro) através de 50 casos da Conferência de Casos Clínico-Patológicos (CPC) do New England Journal of Medicine (NEJM).

1. Ontologia e Estrutura do Grafo: Uma ontologia fundamentada no domínio define o esquema do grafo com 5 tipos de nós (características clínicas, diagnósticos, qualificadores semânticos, características discriminatórias, referências de evidência) e 7 tipos de arestas (suporte de evidência, evidência contra, discriminação, reflexão disparada e atualizações pós-reflexão: promovido, rebaixado, inalterado).
2. Pipeline de Extração: Um pipeline automatizado converte os traços de texto livre não estruturados em grafos direcionados validados. A extração alcançou uma taxa de sucesso de 100% (750/750 traços), com uma média de 47,0 nós e 58,7 arestas por grafo. A fidelidade foi verificada via revisão médica (precisão de aresta de 98,4%, recall de 94,8%) e verificações de robustez de múltiplos extratores.
3. Desenho Experimental: Os casos foram agrupados em 20 grupos clínicos baseados em sistemas de órgãos e embeddings semânticos. Três condições de prompting foram testadas: baseline, adversarial (argumentando contra o diagnóstico principal) e reflexão estruturada (representação de problema em fases e testes de estresse).
4. Métricas de Similaridade: Um métrica de similaridade composta de 5 componentes foi usada para comparar os grafos:
   • Sobreposição de características (Jaccard)
   • Sobreposição de diagnóstico (Jaccard)
   • Similaridade de motivo (distribuição de tripletos de tipo de aresta)
   • Sobreposição de qualificador (Jaccard)
   • Profundidade de raciocínio (razão de arestas discriminatórias)
   • Hipótese: Grafos de casos clinicamente similares (dentro do cluster) deveriam exibir maior similaridade do que os de casos dissimilar (entre clusters), indicando o reúso de esquemas.

Resultados Principais

1. Ausência de Consistência em Escala de Esquema: Em 15 comparações de modelo–condição, as similaridades compostas dentro e entre clusters foram estatisticamente indistinguíveis (agrupadas: 0,475 vs. 0,472). Nenhuma comparação sobreviveu à correção de Bonferroni. A similaridade observada dentro do cluster sob reflexão estruturada (0,456) não excedeu o nível de ruído (0,466), sugerindo que a similaridade entre casos é impulsionada pela forma compartilhada do grafo, e não pelo conteúdo clínico compartilhado.
2. Dissociação entre Precisão e Estrutura: A similaridade do grafo foi quase idêntica para pares de modelos que foram tanto corretos (0,488) quanto incorretos (0,484). Isso indica que a precisão diagnóstica e a estrutura de raciocínio capturam dimensões ortogonais do comportamento do modelo; alta precisão não implica uma estrutura de raciocínio subjacente consistente.
3. Análise de Componentes: A métrica composta foi encontrada como dominada pela estrutura (motivo e profundidade de componentes representaram ~89% do valor). Ao isolar o "canal de conteúdo" (sobreposição de características, diagnóstico e qualificador), a similaridade dentro do cluster foi marginalmente superior à entre clusters (0,0021 vs. 0,0006). Embora estatisticamente detectável, esse sinal situa-se no nível de ruído e representa apenas ~0,5% do teto de teste-reteste do canal de conteúdo, confirmando que não é um sinal de escala de esquema.
4. Efeito da Reflexão Estruturada: O prompting de reflexão estruturada aumentou a quantidade de estrutura discriminatória dentro de traços individuais (mais arestas de raciocínio da Fase 2), mas falhou em aumentar a consistência entre casos. Ele diversificou as estruturas dos grafos em vez de padronizá-las.

Significância e Alegações
O artigo alega fornecer evidências de que a competência diagnóstica e a consistência da estrutura de raciocínio são dissociáveis nos atuais LLMs.

• Implicações de Avaliação: A precisão da resposta final é insuficiente para avaliar a IA clínica. Os modelos podem chegar a diagnósticos corretos sem empregar templates de raciocínio reutilizáveis e semelhantes aos de especialistas. O estudo argumenta a favor de uma "avaliação de nível de processo" que avalie como as conclusões são geradas e revisadas, não apenas as conclusões em si.
• Confiança e Confiabilidade: A aparente coerência dos traços de raciocínio dos LLMs não deve ser equiparada à confiabilidade. A similaridade nos grafos de raciocínio entre casos é frequentemente governada pela forma do grafo e convenções de pontuação, em vez do conteúdo clínico. Portanto, "o raciocínio parece consistente" não é, por si só, evidência de um raciocínio clínico reutilizável.
• Contribuição Metodológica: Os autores liberam a ontologia, o pipeline de extração, o protocolo de validação e os grafos de raciocínio extraídos como recursos para permitir a avaliação estruturada do raciocínio clínico de LLMs, convertendo artefatos de texto livre opacos em objetos inspecionáveis e comparáveis.

Os autores mantêm-se modestos em suas alegações, enquadrando os resultados como evidência contra a consistência de esquema diagnóstico detectável sob a métrica específica utilizada, e não como prova de que não existe uma estrutura organizadora latente. Eles observam que estabelecer esta última exigiria representações de maior confiabilidade e baselines de consenso de clínicos humanos.