Resumo Técnico: GuideSkill

Definição do Problema

O diagnóstico clínico é um processo de múltiplas etapas que requer a síntese de informações do paciente, a geração de diagnósticos diferenciais e a aplicação de limiares baseados em evidências para apoiar ou refutar candidatos. Embora as Diretrizes de Prática Clínica (CPGs) codifiquem os critérios diagnósticos necessários e a lógica condicional, os Grandes Modelos de Linguagem (LLMs) tipicamente falham em executar essas regras corretamente. As abordagens atuais frequentemente dependem da recuperação de textos de diretrizes (RAG) ou da absorção de diretrizes por meio de treinamento, mas esses métodos não garantem que as avaliações ao nível de critério sejam aplicadas rigorosamente a casos específicos de pacientes. Além disso, sistemas existentes têm dificuldade em lidar com diagnósticos fora do corpus inicial de diretrizes ou em combinar a geração flexível de candidatos com a aplicação explícita de regras específicas de doenças sem atualizar os parâmetros do modelo.

Metodologia

O artigo apresenta o GuideSkill, uma camada de raciocínio externa que transforma as CPGs de referências passivas em uma biblioteca evolutiva de habilidades diagnósticas executáveis e específicas para cada doença. O framework opera em três estágios:

1. Formulação da Tarefa

Dado um caso de paciente $x$, o sistema prevê um diagnóstico final $d^*$. O processo envolve:

• Geração de Candidatos: Um LLM gera um conjunto ranqueado de diagnósticos diferenciais $C(x)$.
• Execução de Habilidade: Para cada candidato $d$, uma habilidade executável correspondente $g_d$ é recuperada de uma biblioteca e executada no caso do paciente para produzir uma pontuação de evidência $s_{skill}(x, d)$.
• Fusão: A pontuação final $S(x, d)$ é uma combinação ponderada da pontuação de ranking do LLM $s_{LLM}(x, d)$ e da pontuação de evidência baseada na habilidade:
  $$S(x, d) = \alpha s_{LLM}(x, d) + (1 - \alpha) s_{skill}(x, d)$$
  onde $\alpha \in [0, 1]$ equilibra os dois sinais.

2. Inicialização de Habilidade (GuideSkill-Zero)

Este estágio constrói a biblioteca de habilidades inicial a partir de diretrizes clínicas curadas:

• Curadoria: Documentos brutos de diretrizes são filtrados e curados para remover ruídos e conteúdos não acionáveis.
• Extração e Compilação: Recomendações são extraídas, agrupadas por categoria ICD-10 e compiladas por um LLM em funções Python executáveis.
• Lógica de Pontuação: Cada habilidade mapeia características do paciente para um de quatro níveis de suporte (Confirmado, Fortemente Sugestivo, Compatível, Não Suportado), normalizados para uma pontuação em $[0, 1]$. Evidências contraditórias podem rebaixar o nível de suporte.

3. Evolução de Habilidade (GuideSkill-Evo)

Para abordar a limitação de que as diretrizes cobrem apenas um conjunto finito de diagnósticos, a biblioteca é evoluída usando casos de pacientes rotulados:

• Geração de Racional: Para casos de treinamento, o LLM gera racionais diagnósticos que resumem as evidências que apoiam o diagnóstico de verdade fundamental (ground-truth).
• Destilação e Otimização: Racionais para o mesmo diagnóstico são agregados para destilar novas regras específicas de doenças. Essas regras são usadas para otimizar habilidades existentes (se o diagnóstico já estiver coberto) ou gerar novas habilidades (se o diagnóstico estiver ausente da biblioteca inicial).
• Resultado: Este processo expande a cobertura da biblioteca e refina as regras de decisão para melhor se alinhar com apresentações heterogêneas do mundo real sem modificar os parâmetros do backbone do LLM.

4. Inferência

Durante a inferência, o LLM propõe um diagnóstico diferencial. O GuideSkill recupera as habilidades relevantes, extrai as características específicas exigidas por cada habilidade a partir da narrativa do paciente, executa as habilidades para obter pontuações de evidência e funde essas pontuações com o ranking do LLM para determinar a previsão final.

Principais Contribuições

1. Execução de Habilidade Agêntica: O artigo formula o diagnóstico fundamentado em diretrizes como a execução de habilidades agênticas, desenvolvendo um pipeline que compila recomendações de CPG em pontuadores ordinais executáveis indexados por doença.
2. Evolução Condicionada ao Caso: Introduz um mecanismo para refinar habilidades cobertas e adicionar diagnósticos previamente não cobertos usando casos rotulados, expandindo o escopo da biblioteca além dos parâmetros do LLM.
3. Avaliação Abrangente: Os autores avaliam a abordagem através de quatro benchmarks de raciocínio diagnóstico heterogêneos e quatro backbones distintos (proprietários e de pesos abertos), separando as contribuições da inicialização por diretriz dos ganhos alcançados através da evolução.

Resultados

A avaliação abrange quatro benchmarks (MedCaseReasoning, ER-Reason, MIMIC-CDM-FI, MedThink-Bench) e quatro backbones (GPT-5.4, Claude-Sonnet-4.6, MedGemma-27B, Qwen3.5-9B).

• Ganhos de Desempenho: O GuideSkill-Zero supera consistentemente o RAG de diretrizes em todos os backbones. O GuideSkill-Evo alcança a maior precisão média macro para cada backbone, melhorando em média 18,49% em relação ao baseline mais forte.
• Cobertura: A evolução aumenta a cobertura de habilidades de rótulo ouro de 56,5% (GuideSkill-Zero) para 99,5% (GuideSkill-Evo), preenchendo efetivamente as lacunas no corpus inicial de diretrizes.
• Generalização: No MedThink-Bench, um benchmark excluído do conjunto de treinamento de evolução, o GuideSkill-Evo alcança a melhor precisão ou empata na melhor posição em todos os backbones, demonstrando transferibilidade para dados não vistos.
• Comparação com Métodos Baseados em Treinamento: No Qwen3.5-9B, o GuideSkill-Evo supera os baselines mais fortes de atualização de parâmetros (incluindo ajuste fino com diretrizes, casos e aprendizado por reforço) em 11,16% sem atualizar o backbone.
• Validade Clínica: A avaliação de especialistas de 10 habilidades (5 inicializadas por diretrizes, 5 derivadas de casos) indicou que 95,2% das regras iniciais eram consistentes com as diretrizes, e 9/10 habilidades finais foram aceitas com apenas revisões menores. O $\kappa$ quadrático ponderado geral entre os julgamentos dos clínicos e os outputs das habilidades foi de 0,60.

Significância

O artigo postula que o GuideSkill demonstra a viabilidade de habilidades executáveis externas como um mecanismo agnóstico de modelo para o raciocínio clínico. Ao externalizar a lógica diagnóstica, o sistema permite:

• Reutilização: A mesma lógica diagnóstica pode ser inspecionada, atualizada e reutilizada em diferentes backbones de LLM.
• Transparência: A lógica de decisão é explícita e interpretável, ao contrário dos pesos opacos de modelos ajustados (fine-tuned).
• Extensibilidade: A biblioteca pode ser expandida com novos diagnósticos e regras refinadas usando casos rotulados sem o custo computacional ou os requisitos de retreinamento do modelo backbone.

Os autores concluem que, embora uma validação clínica mais ampla seja necessária antes da implantação clínica, os resultados apoiam o uso de habilidades executáveis para combinar procedimentos derivados de diretrizes com padrões diagnósticos derivados de casos, oferecendo uma alternativa robusta aos métodos de atualização de parâmetros para melhorar a precisão e a cobertura diagnóstica.