PanVasc Research for AI assisted evidence analysis in panvascular intervention

En el vasto mundo de la investigación médica, los médicos y científicos dependen de una enorme y organizada biblioteca de ensayos clínicos para comprender cómo funcionan los nuevos tratamientos. Estos ensayos se registran en bases de datos públicas, donde cada estudio enumera exactamente qué planea medir, cuánto tiempo durará y qué resultados específicos espera encontrar. Esta información es la base de la medicina basada en la evidencia, lo que permite a los investigadores comparar diferentes enfoques para sanar el corazón, las arterias y las venas. Sin embargo, a medida que el volumen de datos crece, la tarea de encontrar e interpretar estos detalles específicos se vuelve abrumadora para los humanos por sí solos. Esto ha provocado un aumento del interés en la inteligencia artificial, con la esperanza de que los sistemas informáticos puedan leer estos complejos registros, extraer los números correctos y ayudar a los investigadores a dar sentido a la evidencia de forma más rápida y precisa. La cuestión central no es solo si una computadora puede leer las palabras, sino si puede comprender las reglas estrictas de los datos sin inventar hechos o perder el rastro de dónde proviene la información.

Un equipo de investigadores se propuso probar un software específico diseñado para ayudar con este problema exacto, centrándose en intervenciones que tratan los vasos sanguíneos en todo el cuerpo. Construyeron un sistema llamado PanVasc Research, que actúa como un asistente digital para analizar estos registros médicos. Para ver si este asistente era realmente fiable, no se limitaron a pedirle que resumiera algunas historias. En su lugar, crearon una prueba rigurosa en la que alimentaron a la computadora con 50 registros reales de ensayos clínicos y le pidieron que extrajera detalles específicos, como el resultado principal que se está midiendo y el marco temporal del estudio. Para hacer la prueba más difícil, eliminaron deliberadamente parte de la información de los registros antes de pedirle a la computadora que respondiera, comprobando si el sistema admitiría honestamente que no sabía la respuesta o si inventaría una respuesta. También probaron el sistema con otro conjunto de 100 afirmaciones sobre ensayos médicos para ver si podía juzgar correctamente si una pieza de evidencia respaldaba una afirmación específica.

Los resultados de este experimento revelaron una limitación clara e importante en la tecnología actual. Cuando se le pidió a la computadora que copiara detalles exactos de los registros, tuvo éxito solo aproximadamente una cuarta parte de las veces con un enfoque estándar. Cuando los investigadores le dieron a la computadora un conjunto de instrucciones más cuidadoso, diciéndole que revisara su trabajo antes de responder, la tasa de éxito mejoró a poco menos del cuarenta por ciento. Si bien esta mejora muestra que las instrucciones cuidadosas ayudan, el sistema todavía falló en obtener la respuesta correcta más de la mitad de las veces. En las pruebas donde faltaba información, la computadora tuvo dificultades significativas, fallando a menudo al no reconocer que los datos habían desaparecido. Cuando los investigadores probaron la capacidad del sistema para comprender el significado de las afirmaciones médicas, no funcionó mejor que un simple umbral de mayoría, acertando la respuesta solo aproximadamente la mitad de las veces. Esta es la misma tasa de éxito que se esperaría si alguien simplemente adivinara la respuesta más común para cada pregunta, en lugar de una suposición aleatoria.

Crucialmente, los investigadores descubrieron que la capacidad de la computadora para seguir reglas no garantizaba que comprendiera el significado. El sistema podía ser programado para verificar si tenía el documento fuente correcto y si estaba mirando la sección de texto adecuada, pero este "control de seguridad" no evitó que cometiera errores lógicos sobre lo que los datos realmente significaban. De hecho, los controles de seguridad a veces mantuvieron respuestas incorrectas en los resultados finales porque la computadora había seguido perfectamente las reglas de formato, a pesar de que la conclusión era errónea. El estudio descartó explícitamente la idea de que este pequeño modelo computacional hubiera logrado un avance en la comprensión de la ciencia médica o que pudiera reemplazar a los expertos humanos en la interpretación de datos de ensayos complejos. El sistema no fue capaz de actuar como un científico autónomo que descubre nuevas verdades o interpreta de manera fiable los matices de diferentes enfermedades.

Los investigadores concluyeron que, si bien su marco de trabajo logró separar la tarea de encontrar el documento fuente correcto de la tarea de comprender su significado, la tecnología actual aún no está lista para lo segundo. El sistema demostró que podía ser una herramienta para rastrear de dónde proviene la información, pero no podía ser confiable para interpretar esa información sin supervisión humana. El estudio sugiere que, para que la inteligencia artificial se convierta en un verdadero socio en la investigación vascular, los sistemas futuros necesitarán mucho más que mejores instrucciones; requerirán una comprensión especializada y profunda de los conceptos médicos que vaya mucho más allá de simplemente emparejar palabras con una base de datos. Hasta entonces, el papel de estos asistentes digitales sigue limitado a ayudar a organizar datos, no a tomar los juicios médicos finales que determinan cómo se trata a los pacientes.