Agentic clinical reasoning over longitudinal myeloma records: a retrospective evaluation against expert consensus

1. Declaração do Problema

O manejo do Mieloma Múltiplo (MM) envolve linhas terapêuticas sequenciais ao longo de anos ou décadas, gerando vastas quantidades de dados clínicos heterogêneos (resultados laboratoriais, patologia, imagens, notas em texto livre).

• O Desafio: As decisões clínicas exigem a síntese de informações através de dezenas a centenas de documentos e pontos temporais. Nenhum documento único contém a imagem completa.
• A Lacuna: Embora Modelos de Linguagem de Grande Escala (LLMs) tenham sido aplicados a tarefas clínicas, sua capacidade de realizar raciocínio longitudinal (síntese de evidências ao longo do tempo) contra um padrão anotado por especialistas não foi rigorosamente estabelecida.
• Limitações das Abordagens Atuais:
  • RAG de Passagem Única: Frequentemente falha em recuperar todas as evidências necessárias ou carece de refinamento iterativo.
  • Entrada de Contexto Completo: Alimentar todos os registros no modelo frequentemente leva ao fenômeno "perdido no meio", onde informações relevantes são ignoradas devido a limites da janela de contexto ou diluição da atenção.
  • Sistemas Agênicos: Avaliações anteriores focaram em pacientes simulados ou bancos de dados estruturados, não em EHRs longitudinais do mundo real, não estruturados e com dados contraditórios.

2. Metodologia

Desenho do Estudo e Dados

• Cohorte: 811 pacientes com Mieloma Múltiplo tratados no Hospital Universitário TUM (2001–2026).
• Volume de Dados: 44.962 documentos clínicos e 1,33 milhão de valores laboratoriais por paciente (mediana de 55 docs/paciente).
• Validação Externa: 716 pacientes do banco de dados de cuidados críticos MIMIC-IV (inglês), utilizados sem adaptação para testar transferibilidade.
• Banco de Questões: 48 modelos de perguntas clínicas estratificados em três níveis de complexidade:
  • Nível 1: Consulta de registro único.
  • Nível 2: Raciocínio temporal através de múltiplas fontes.
  • Nível 3: Síntese baseada em critérios (ex.: elegibilidade para CAR-T) através de tipos de documentos e pontos temporais.
• Padrão de Referência: Dupla anotação independente por quatro oncologistas, com um hematologista sênior arbitrando discordâncias. 469 pares paciente-pergunta avaliáveis foram retidos para a análise primária.

Arquiteturas de Sistema Comparadas

Todos os sistemas utilizaram o mesmo LLM de pesos abertos com 120B de parâmetros implantado localmente (gpt-oss-120b) para garantir comparação justa:

1. RAG Simples: Recuperação densa de passagem única sem reescrita de consulta.
2. RAG Iterativo: Inclui reescrita de subconsultas, recuperação híbrida (BM25 + densa), reclassificação por cross-encoder e um loop de suficiência.
3. Contexto Completo: Todos os documentos concatenados em ordem cronológica inversa até que a janela de contexto seja preenchida.
4. Sistema Agênico (Proposto): Um pipeline de raciocínio multi-etapa com quatro fases distintas:
   • Seleção de Habilidades: Recupera protocolos específicos de raciocínio clínico de uma biblioteca indexada com base na consulta.
   • Planejamento: Constrói um plano ordenado de uso de ferramentas com condições de parada explícitas.
   • Execução: Executa iterativamente ferramentas (recuperação de relatórios, recuperação de valores laboratoriais, calculadoras determinísticas) e atualiza um estado de memória estruturado.
   • Síntese: Gera uma resposta final com citações embutidas, aderindo a um formato definido por esquema.

Métricas de Avaliação

• Primária: Concordância com consenso de especialistas (binária para escolha única, pontuação F1 para respostas do tipo lista).
• Secundária: Taxa de erro clinicamente significativo, suficiência de citações e desempenho estratificado por complexidade da pergunta e comprimento do registro.

3. Principais Contribuições

1. Primeira Avaliação Agênica em EHRs Longitudinais Reais: Este é o primeiro estudo a avaliar o raciocínio agênico contra um padrão arbitrado por especialistas em registros reais de MM de múltiplas décadas, indo além de dados simulados ou estruturados.
2. Demonstração de um Teto de Desempenho: O estudo estabelece que o RAG Iterativo e o Contexto Completo convergem em um teto de desempenho específico (~75%), sugerindo que simplesmente adicionar mais contexto ou iteração básica é insuficiente para síntese complexa.
3. Superioridade Agênica na Complexidade: O sistema agênico é a única abordagem mostrada a exceder este teto, com ganhos escalando diretamente com a complexidade da tarefa e o comprimento do registro.
4. Análise do Perfil de Erros: O estudo fornece uma análise granular dos erros, revelando que, embora a taxa de erro total do sistema corresponda à discordância humana, a severidade dos erros do sistema é maior (mais clinicamente significativos), destacando uma lacuna crítica de segurança.

4. Principais Resultados

Desempenho Geral

• Sistema Agênico: 79,6% de concordância (IC 95%: 76,4–82,8).
• Contexto Completo: 75,8% de concordância.
• RAG Iterativo: 75,4% de concordância.
• RAG Simples: 71,5% de concordância.
• Significância: O sistema agênico superou significativamente o Contexto Completo (+3,8 pp, $p=0,006$) e o RAG Iterativo (+4,2 pp, $p=0,007$).

Desempenho por Complexidade

A vantagem do sistema agênico cresceu monotonicamente com a dificuldade:

• Nível 1 (Simples): Vantagem de +1,0 pp (não significativa).
• Nível 2 (Médio): Vantagem de +3,9 pp.
• Nível 3 (Complexo): +9,4 pp de vantagem ($p=0,032$).
  • No Nível 3, sistemas não agênicos variaram de 48,9% a 55,7%, enquanto o sistema agênico atingiu 65,1%.

Desempenho por Comprimento do Registro

• Para pacientes com registros mais curtos (90% inferiores), todos os sistemas performaram de forma similar.
• Para o decil superior de comprimento de registro (>541k caracteres, ~245k tokens), o sistema agênico alcançou 75,3% de concordância, superando significativamente o RAG Iterativo (63,9%) e o Contexto Completo (61,8%).
• Isso indica que a arquitetura agênica é unicamente capaz de navegar histórias extremamente longas e complexas onde outros métodos degradam.

Análise de Erros e Segurança

• Taxas de Erro: A taxa de erro total do sistema (12,2%) foi comparável à discordância entre especialistas (13,6%).
• Distribuição de Severidade (Descoberta Crítica):
  • Erros do Sistema: 57,8% foram classificados como clinicamente significativos.
  • Discordâncias de Especialistas: Apenas 18,8% foram clinicamente significativos.
  • Interpretação: Embora o sistema cometa tantos erros quanto humanos, seus erros têm maior probabilidade de levar a decisões clínicas incorretas.
• Modos de Falha:
  • Tarefas simples falharam devido a recuperação incompleta.
  • Tarefas complexas falharam devido a erros de integração (recuperar evidências mas falhar em sintetizá-las corretamente), consistente com o fenômeno "perdido no meio" em modelos de longo contexto.

Validação Externa

• Na coorte MIMIC-IV (inglês, instituição diferente), a classificação do sistema foi preservada (Agênico > RAG Iterativo > Contexto Completo), demonstrando robustez através de idiomas e estruturas de documentação sem ajuste fino.

5. Significância e Conclusão

• Impacto Clínico: A abordagem agênica oferece um caminho viável para suporte à decisão clínica assistido por IA em doenças complexas e longitudinais como o Mieloma Múltiplo, especificamente para pacientes com as histórias mais complexas onde a revisão manual de prontuários é mais onerosa.
• Insight Arquitetural: O estudo prova que o raciocínio estruturado (planejamento, recuperação iterativa, ferramentas determinísticas) é superior à ingestão passiva de contexto para tarefas de síntese complexa. A "biblioteca de habilidades" foi identificada como o principal motor dos ganhos de desempenho.
• Aviso de Segurança: Apesar da alta concordância, a maior severidade dos erros do sistema em comparação com discordâncias humanas indica que a avaliação prospectiva em cuidados de rotina é obrigatória antes da implantação. O sistema ainda não está pronto para substituir a supervisão humana, mas mostra promessa como ferramenta de suporte à decisão.
• Trabalho Futuro: Os autores sugerem que modelos maiores com melhores capacidades de raciocínio de longo contexto poderiam reduzir ainda mais a lacuna em falhas de integração, mas a abordagem agênica estrutural permanece o diferenciador crítico.