Structured Workflows and Retrieval-Augmented Generation Improve LLM Recommendations for Colorectal Liver Metastases: The METATRON Study

Resumo Técnico: Fluxos de Trabalho Estruturados e Geração Aumentada por Recuperação Melhoram as Recomendações de LLM para Metástases Hepáticas de Câncer Colorretal (O Estudo METATRON)

Problema

Os Grandes Modelos de Linguagem (LLMs) mostram-se promissores para o suporte à decisão clínica, mas enfrentam limitações significativas em oncologia complexa, incluindo alucinações, adesão incompleta às diretrizes e desempenho inconsistente entre diferentes cenários. Embora estudos recentes sugiram que os LLMs podem se alinhar com opiniões de especialistas, revisões sistemáticas indicam que eles têm dificuldade em uma implantação autônoma em ambientes multidisciplinares. Especificamente, o manejo de Metástases Hepáticas de Câncer Colorretal (CRLM) exige a integração da biologia tumoral, resposta à terapia sistêmica, ressecabilidade técnica e status de doença extrahepática. As aplicações atuais de LLM frequentemente carecem da arquitetura de raciocínio estruturado necessária para reproduzir os processos cognitivos sequenciais e adaptativos de cirurgiões hepatobiliares especialistas durante discussões de Comitês Multidisciplinares de Tumores (MDT). Permanece incerto se fluxos de trabalho clínicos estruturados e a geração aumentada por recuperação (RAG) podem melhorar a concordância das recomendações geradas por LLM com os padrões de referência de especialistas neste domínio de alto risco.

Metodologia

O estudo avaliou quatro estratégias de inferência construídas sobre um único LLM base (gpt-oss-120B, implantado localmente) utilizando um conjunto de dados de 110 vinhetas clínicas sintéticas de CRLM. Estas vinhetas cobriram oito cenários clínicos representativos, incluindo metástases síncronas/metacrônicas, reavaliação pós-quimioterapia e casos anatomicamente desafiadores. Crucialmente, casos selecionados omitiram deliberadamente variáveis críticas para a decisão, a fim de testar a capacidade dos modelos de reconhecer informações insuficientes.

As quatro estratégias comparadas foram:

1. LLM-baseline (Linha de base): Prompting padrão sem orientação ou recuperação adicional.
2. RAG-LLM: Prompting de linha de base aumentado com um banco de dados vetorial contendo 292 documentos de diretrizes internacionais (ESMO, NCCN, AHPBA) e literatura revisada por pares.
3. WF-LLM (Guiado por fluxo de trabalho): Uma estratégia que incorpora uma arquitetura de raciocínio clínico derivada de especialistas, estruturada em árvore. Este fluxo de trabalho, codificado em JSON, formaliza o processo cognitivo do cirurgião hepatobiliar em quatro domínios: avaliação do tumor primário, avaliação da doença hepática, avaliação da doença extrahepática e viabilidade anatômica. Ele opera através de um processo de duas fases: (1) análise estruturada do caso, extraindo valores específicos ou sinalizando dados como "Ausentes", e (2) geração de recomendação baseada nesta análise estruturada.
4. WF-RAG-LLM: Uma estratégia híbrida que combina a análise de fluxo de trabalho estruturado com o contexto de recuperação aumentada.

Estrutura de Avaliação:
As recomendações foram avaliadas por três juízes de LLM independentes (Claude Sonnet 4.6, GPT-4o, Llama 3.3 70B) contra as recomendações de referência de um cirurgião hepatobiliar sênior. A avaliação ocorreu em cinco dimensões em uma escala Likert de 1 a 5:

• Completude: Cobertura dos principais domínios clínicos.
• Concordância de Etapas: Reprodução da sequência de decisões clínicas.
• Concordância de Adaptação ao Caso: Incorporação de fatores específicos do paciente.
• Concordância de Dados Ausentes: Identificação de informações críticas ausentes.
• Concordância de Decisão do MDT: Alinhamento com a decisão de tratamento final.

Adicionalmente, um pipeline de Reconhecimento de Entidades Nomeadas (NER) zero-shot mediu a concordância lexical de nível de entidade, e matrizes de confusão analisaram a classificação de ressecabilidade anatômica (complacente vs. não complacente).

Principais Contribuições

• Arquitetura de Raciocínio Derivada de Especialista: O estudo introduz uma abordagem guiada por fluxo de trabalho que formaliza o conhecimento clínico especializado em uma estrutura de raciocínio hierárquica e estruturada (esquema JSON). Diferente do prompting simples, esta arquitetura restringe o LLM a avaliar explicitamente domínios de decisão específicos (ex: adequação do FLR, envolvimento vascular) antes de sintetizar uma recomendação, espelhando a natureza adaptativa das discussões de MDT humanas.
• Impacto Diferenciado de RAG e Fluxo de Trabalho: O estudo demonstra que o RAG e os fluxos de trabalho estruturados abordam funções cognitivas complementares. O RAG auxilia principalmente no reconhecimento de informações ausentes, enquanto o guia de fluxo de trabalho melhora a organização e a coerência do raciocínio clínico.
• Avaliação Granular: A pesquisa vai além das métricas globais de desempenho ao analisar o desempenho por cenário específico (ex: metástases pós-quimioterapia vs. casos metacrônicos) e tarefas cirúrgicas específicas, como a classificação de ressecabilidade anatômica.

Resultados

• Desempenho Geral: A estratégia WF-RAG-LLM alcançou a maior pontuação composta agregada (0.626 ± 0.070), superando a RAG-LLM (0.559), WF-LLM (0.527) e a linha de base (0.444).
• Ganhos por Dimensão:
  • Concordância de Dados Ausentes: A RAG-LLM alcançou a pontuação mais alta (0.486) nesta dimensão, superando significativamente a linha de base (0.130). Isso sugere que mecanismos de recuperação ajudam os modelos a identificar quando a informação é insuficiente.
  • Dimensões de Raciocínio: As estratégias guiadas por fluxo de trabalho (WF-LLM e WF-RAG-LLM) mostraram os maiores ganhos em Concordância de Etapas, Adaptação ao Caso e Concordância de Decisão do MDT.
  • Completude: Todas as estratégias alcançaram pontuações altas de completude, indicando que os LLMs modernos podem gerar textos abrangentes mesmo sem orientação estrutural; o diferencial foi a organização dessa informação.
• Variabilidade de Cenário: O desempenho variou significativamente conforme o cenário clínico. Metástases metacrônicas apresentaram o maior alinhamento, enquanto metástases pós-quimioterapia foram as mais desafiadoras, particularmente para a concordância de etapas. A estratégia híbrida WF-RAG mostrou a melhoria mais significativa nestes cenários complexos.
• Ressecabilidade Anatômica: As estratégias guiadas por fluxo de trabalho melhoraram a detecção de casos anatomicamente não complacentes (Verdadeiros Positivos aumentaram de 1 na linha de base/RAG para 6 no WF-RAG), elevando o F1-score macro de ~0.50 para ~0.64. No entanto, a sensibilidade permaneceu insuficiente (40%) para uso clínico autônomo.
• Significância Estatística: O juiz Claude Sonnet 4.6 detectou diferenças estatisticamente significativas em todos os critérios, favorecendo o WF-RAG-LLM. O GPT-4o encontrou significância em concordância de etapas, dados ausentes e critérios de decisão do MDT. O Llama 3.3 mostrou menor sensibilidade, encontrando significância apenas na concordância de dados ausentes.

Significância e Alegações

O artigo alega que o desempenho do suporte à decisão assistido por LLM em oncologia complexa não é apenas uma função da capacidade do modelo base, mas depende criticamente da estratégia de inferência e da arquitetura de raciocínio clínico que o circunda.

• Mecanismos Complementares: O estudo postula que as arquiteturas de raciocínio informadas clinicamente (fluxos de trabalho) e a fundamentação de conhecimento (RAG) são complementares. Os fluxos de trabalho organizam o processo de raciocínio para corresponder à cognição do especialista, enquanto o RAG aumenta a capacidade do modelo de detectar incerteza informacional.
• Mudança de Foco: Os autores argumentam que o desenvolvimento futuro deve mudar o foco de apenas escalar modelos base para modelar explicitamente o raciocínio clínico especializado. O fluxo de trabalho atua como uma alternativa "reproduzível e auditável" ao prompting sem restrições.
• Segurança e Limitações: O estudo conclui modestamente que, embora o WF-RAG-LLM alcance a maior concordância, ele ainda não está pronto para implantação autônoma. A sensibilidade na detecção de não conformidade anatômica permanece baixa, e o estudo foi baseado em simulações usando vinhetas sintéticas.
• Direção Futura: Os autores enfatizam que o próximo passo é a validação prospectiva dentro de MDTs reais para avaliar a utilidade clínica, eficiência do fluxo de trabalho e desfechos de pacientes, em vez de implementação clínica imediata. Os achados sugerem que "arquiteturas de raciocínio informadas clinicamente" são um componente necessário para um suporte de decisão multidisciplinar confiável por IA.