Diagnostic Performance of Agentic AI for Rare Disease Diagnosis: A Systematic Review, Meta-analysis, Workflow Development, and Benchmark-based Validation

Para millones de personas en todo el mundo, un diagnóstico no es un punto de partida, sino un destino que permanece fuera de su alcance. Las enfermedades raras, por su propia naturaleza, son esquivas. Se presentan con síntomas que a menudo son vagos, superpuestos o únicos para un solo individuo, y el conocimiento médico necesario para conectar estos puntos se encuentra disperso en campos especializados que pocos médicos encuentran en su práctica diaria. Esto conduce a un viaje frustrante conocido como la "odisea diagnóstica", donde los pacientes y sus familias pasan años buscando respuestas que podrían estar ocultas a plena vista dentro de vastas cantidades de datos médicos. En años recientes, la inteligencia artificial ha ofrecido una nueva esperanza para resolver estos acertijos. Específicamente, ha surgido una nueva generación de sistemas inteligentes que no solo leen texto, sino que piensan activamente a través de los problemas. Estos sistemas, a menudo llamados sistemas de "agentes", están diseñados para imitar la forma en que trabaja un especialista humano: descomponen un problema complejo en pasos más pequeños, buscan información en bases de datos externas y refinan sus suposiciones a medida que reúnen más evidencia, en lugar de simplemente adivinar basándose en un solo prompt.

Investigadores de la Universidad de Medicina China de Zhejiang y su hospital afiliado se propusieron comprender qué tan bien se desempeñan estas máquinas de pensamiento avanzado cuando se enfrentan al desafío específico de las enfermedades raras. No construyeron una máquina nueva ellos mismos; en su lugar, actuaron como investigadores, recopilando y analizando los resultados de siete estudios diferentes que ya habían sido publicados o compartidos como preimpresiones entre 2025 y 2026. Estos estudios probaron varias versiones de estos agentes inteligentes en miles de casos de enfermedades raras, planteando una pregunta simple pero crítica: ¿con qué frecuencia identifica el sistema correctamente la enfermedad correcta en su primer intento? Al combinar los datos de estas investigaciones separadas, los investigadores crearon una imagen a gran escala del estado actual de la tecnología. Encontraron que, en más de 33,000 casos, estos sistemas inteligentes acertaron el diagnóstico correcto en el primer intento aproximadamente la mitad de las veces. Si bien esto representa una mejora significativa respecto a los métodos anteriores que dependían de modelos estáticos y únicos, los resultados distaban de ser perfectos. El rendimiento variaba drásticamente dependiendo del sistema específico utilizado y del tipo de datos con los que fue probado, con algunas configuraciones teniendo éxito casi el 80% de las veces y otras luchando por alcanzar el 30%. Esta inconsistencia sugiere que, si bien la tecnología es prometedora, aún no es una solución uniforme.

Para entender por qué estos sistemas tienen éxito o fracasan, el equipo examinó de cerca los "flujos de trabajo" internos o los procesos paso a paso que utilizaron los diferentes agentes. Descubrieron que los sistemas más exitosos compartían un conjunto común de comportamientos. Casi todos los agentes efectivos utilizaban una estrategia de descomponer la tarea diagnóstica en pasos más pequeños y manejables, y luego razonar a través de esos pasos para refinar sus ideas iniciales. También recurrían con frecuencia a bases de conocimientos médicos externos, como bases de datos de información genética o registros de enfermedades raras, para verificar sus hipótesis. Los investigadores tomaron estos patrones comunes y exitosos y construyeron una versión simplificada y ligera de este flujo de trabajo. Luego, probaron este nuevo flujo de trabajo contra un conjunto estándar de 50 casos de enfermedades raras, enfrentando al agente de "pensamiento" contra el mismo modelo informático subyacente ejecutándose en un modo "independiente" (standalone), donde tenía que adivinar sin la ayuda del proceso paso a paso o las búsquedas externas.

Los resultados de esta comparación directa revelaron una historia matizada. Cuando el modelo operaba solo, identificaba correctamente el diagnóstico principal en solo 5 de los 50 casos. Cuando el mismo modelo era guiado por el flujo de trabajo estructurado, mejoraba su rendimiento, obteniendo la respuesta correcta a la primera en 11 de los 50 casos. Si bien esto representa una mejora clara, la diferencia no fue lo suficientemente grande estadísticamente como para ser considerada una victoria definitiva en esta pequeña muestra. Sin embargo, los investigadores notaron algo aún más alentador cuando observaron las cinco mejores suposiciones en lugar de solo la primera. El modelo asistido por el flujo de trabajo colocó el diagnóstico correcto dentro de sus cinco opciones el 50% de las veces, un salto sustancial respecto a la línea base. Esto sugiere que, aunque el sistema no siempre dé con la respuesta perfecta de inmediato, el proceso de pensamiento estructurado ayuda a mantener la enfermedad correcta en la contienda, reduciendo significamente el campo de posibilidades.

El estudio concluye que estos agentes inteligentes han demostrado una capacidad genuina para asistir en el diagnóstico de enfermedades raras, pero aún no son un producto terminado. La amplia variación en el rendimiento a través de los diferentes sistemas indica que el diseño específico del flujo de trabajo y la calidad de los datos a los que accede importan profundamente. Los investigadores enfatizan que sus hallazgos son una prueba de concepto más que una solución final. El flujo de trabajo que construyeron sirve como un método reproducible para mejorar cómo piensan estos sistemas, pero requiere más pruebas en una escala mucho mayor y en entornos clínicos reales para demostrar su fiabilidad. En última instancia, el objetivo no es reemplazar a los médicos humanos con máquinas, sino crear una asociación colaborativa donde la capacidad de la máquina para procesar vastas cantidades de información y seguir un proceso de razonamiento riguroso apoye el juicio del clínico, acortando potencialmente el largo y difícil viaje para los pacientes que esperan respuestas.