Diagnostic Performance of Agentic AI for Rare Disease Diagnosis: A Systematic Review, Meta-analysis, Workflow Development, and Benchmark-based Validation

Para milhões de pessoas ao redor do mundo, um diagnóstico não é um ponto de partida, mas um destino que permanece fora de alcance. As doenças raras, por sua própria natureza, são esquivas. Elas se apresentam com sintomas que são frequentemente vagos, sobrepostos ou únicos para um único indivíduo, e o conhecimento médico necessário para conectar esses pontos está disperso em campos especializados que poucos médicos encontram em sua prática diária. Isso leva a uma jornada frustrante conhecida como a "odisséia diagnóstica", onde pacientes e famílias passam anos procurando por respostas que podem estar escondidas à vista de todos dentro de vastas quantidades de dados médicos. Nos últimos anos, a inteligência artificial ofereceu uma nova esperança para resolver esses enigmas. Especificamente, uma nova geração de sistemas inteligentes surgiu, que não apenas lê texto, mas pensa ativamente através de problemas. Esses sistemas, frequentemente chamados de sistemas "agentes", são projetados para imitar a maneira como um especialista humano trabalha: eles decompõem um problema complexo em etapas menores, buscam informações em bancos de dados externos e refinam seus palpites à medida que reúnem mais evidências, em vez de simplesmente adivinhar com base em um único comando.

Pesquisadores da Universidade de Medicina Chinesa de Zhejiang e seu hospital afiliado propuseram-se a entender quão bem essas máquinas de pensamento avançado se saem quando confrontadas com o desafio específico das doenças raras. Eles não construíram uma nova máquina eles mesmos; em vez disso, atuaram como investigadores, reunindo e analisando os resultados de sete estudos diferentes que já haviam sido publicados ou compartilhados como preprints entre 2025 e 2026. Esses estudos testaram várias versões desses agentes inteligentes em milhares de casos de doenças raras, fazendo uma pergunta simples, porém crítica: com que frequência o sistema identifica corretamente a doença certa como seu primeiro palpite? Ao combinar os dados dessas investigações separadas, os pesquisadores criaram um quadro em larga escala do estado atual da tecnologia. Eles descobriram que, em mais de 33.000 casos, esses sistemas inteligentes acertaram o diagnóstico correto na primeira tentativa cerca de metade das vezes. Embora isso seja uma melhoria significativa em relação aos métodos mais antigos que dependiam de modelos únicos e estáticos, os resultados estavam longe de serem perfeitos. O desempenho variou drasticamente dependendo do sistema específico usado e do tipo de dado em que foi testado, com algumas configurações tendo sucesso em quase 80% das vezes e outras lutando para atingir 30%. Essa inconsistência sugere que, embora a tecnologia seja promissora, ela ainda não é uma solução uniforme.

Para entender por que esses sistemas têm sucesso ou falham, a equipe analisou de perto os "fluxos de trabalho" internos ou processos passo a passo que os diferentes agentes utilizavam. Eles descobriram que os sistemas mais bem-sucedidos compartilhavam um conjunto comum de comportamentos. Quase todos os agentes eficazes utilizavam uma estratégia de decompor a tarefa diagnóstica em etapas menores e gerenciáveis e, em seguida, raciocinar através dessas etapas para refinar suas ideias iniciais. Eles também frequentemente recorriam a bases de conhecimento médico externas, como bancos de dados de informações genéticas ou registros de doenças raras, para verificar suas hipóteses. Os pesquisadores pegaram esses padrões comuns e bem-sucedidos e construíram uma versão simplificada e leve deste fluxo de trabalho. Eles então testaram este novo fluxo de trabalho contra um conjunto padrão de 50 casos de doenças raras, colocando o agente de "pensamento" contra o mesmo modelo de computador subjacente rodando em um modo "autônomo" (standalone), onde ele tinha que adivinhar sem a ajuda do processo passo a passo ou de buscas externas.

Os resultados desta comparação direta revelaram uma história matizada. Quando o modelo operava sozinho, identificava corretamente o diagnóstico principal em apenas 5 dos 50 casos. Quando o mesmo modelo era guiado pelo fluxo de trabalho estruturado, melhorava seu desempenho, acertando a resposta correta de primeira em 11 dos 50 casos. Embora isso represente uma melhoria clara, a diferença não foi estatisticamente grande o suficiente para ser considerada uma vitória definitiva nesta pequena amostra. No entanto, os pesquisadores notaram algo ainda mais encorajador quando olharam para os cinco principais palpites, em vez de apenas o primeiro. O modelo auxiliado pelo fluxo de trabalho colocou o diagnóstico correto dentro de suas cinco escolhas 50% das vezes, um salto substancial em relação à linha de base. Isso sugere que, embora o sistema nem sempre acerte a resposta perfeita imediatamente, o processo de pensamento estruturado ajuda a manter a doença correta na disputa, estreitando significativamente o campo de possibilidades.

O estudo conclui que esses agentes inteligentes demonstraram uma capacidade genuína de auxiliar no diagnóstico de doenças raras, mas ainda não são um produto acabado. A ampla variação de desempenho entre os diferentes sistemas indica que o design específico do fluxo de trabalho e a qualidade dos dados que ele acessa importam profundamente. Os pesquisadores enfatizam que suas descobertas são uma prova de conceito, e não uma solução final. O fluxo de trabalho que construíram serve como um método reproduzível para melhorar a forma como esses sistemas pensam, mas requer mais testes em uma escala muito maior e em ambientes clínicos do mundo real para provar sua confiabilidade. Em última análise, o objetivo não é substituir médicos humanos por máquinas, mas criar uma parceria colaborativa onde a capacidade da máquina de processar vastas quantidades de informação e seguir um processo de raciocínio rigoroso apoie o julgamento do clínico, potencialmente encurtando a longa e difícil jornada dos pacientes que esperam por respostas.