Artificial Intelligence Can Match Domain Experts in Evidence Extraction and Critical Appraisal of Microbial Oncogenesis Research Publications

Imagina el mundo de la investigación médica como una biblioteca masiva y caótica que nunca deja de crecer. Cada día, miles de libros nuevos —artículos científicos— se escriben sobre gérmenes diminutos (microbios) y cómo podrían causar enfermedades como el cáncer. Durante mucho tiempo, la única forma de averiguar si un germen específico era un villano era tener un equipo de detectives humanos superinteligentes (expertos en la materia) que leyeran cada página, cruzaran datos y decidieran si la evidencia era lo suficientemente sólida. Pero con más de un millón de artículos nuevos publicados cada año, este trabajo de detective "solo humano" se ha vuelto imposible. Es como intentar beber de una manguera de incendios; los expertos simplemente no pueden seguir el ritmo. Aquí es donde entra la Inteligencia Artificial (IA), específicamente un tipo llamado Modelos de Lenguaje Extensos (LLM). Piensa en estas IA como súper lectores veloces que pueden escanear toda la biblioteca en segundos. Pero aquí surge la gran pregunta: ¿Puede un robot realmente pensar como un experto humano? ¿Podrá detectar las pistas sutiles que prueban que un germen causa cáncer, o simplemente inventará historias (un problema llamado "alucinación") y se equivocará en los hechos? Los científicos necesitaban saber si podían confiar en estos detectives digitales antes de permitirles tomar el control de la tarea de clasificar la evidencia médica mundial.

Este artículo plantea un enfrentamiento de alto riesgo entre expertos humanos e IA para ver quién es mejor investigando un misterio específico: si un virus llamado Virus similar al Virus del Tumor Mamario de Ratón (MMTV-LV) causa cáncer de mama en humanos. Los investigadores reunieron 24 artículos científicos reales sobre este virus y crearon un examen gigante de 77 preguntas para poner a prueba a los detectives. Pidieron a cuatro modelos de IA diferentes (dos de Google llamados Gemini, y dos de OpenAI llamados GPT-5) que leyeran los artículos y respondieran el examen, mientras un equipo de expertos humanos hacía lo mismo. El objetivo no era solo ver quién acertaba más respuestas, sino ver si la IA podía pensar y juzgar la evidencia tal como lo hacen los humanos.

Los resultados fueron una mezcla de "guau" y "vaya". El estudio encontró que dos de los modelos de IA, GPT-5 y GPT-5 Nano, funcionaron casi exactamente como los expertos humanos. Cuando los investigadores mezclaron las respuestas de la IA con las de los humanos, el acuerdo general del grupo no cambió en absoluto. Era como si la IA se hubiera unido al equipo de expertos y fuera simplemente otro colega brillante. Estas IA fueron excelentes leyendo el texto, comprendiendo lenguaje médico complejo y resumiendo lo que decían los artículos. Rara vez inventaban hechos (alucinaciones), y cuando lo hacían, solía ser en los modelos más pequeños y menos potentes.

Sin embargo, la IA no era perfecta. El estudio mostró que los modelos de IA, especialmente los de Google Gemini, tendían a ser demasiado amables. Eran "indulgentes", lo que significa que tenían más probabilidades de decir que un artículo proporcionaba pruebas sólidas de que un virus causaba cáncer que los humanos. A veces veían una conexión donde los humanos no veían ninguna, como asumir un vínculo entre estudios en ratones y la enfermedad humana sin pruebas suficientes. La IA también tuvo dificultades con las partes más complicadas del trabajo: encontrar contradicciones dentro de un artículo (como cuando los números en un gráfico no coincidían con el texto) y criticar los métodos del estudio. Es como un estudiante que puede resumir una historia perfectamente pero pasa por alto el hecho de que la línea de tiempo del personaje principal no tiene sentido.

Al final, el artículo sugiere que podemos confiar en la IA avanzada para ayudarnos a filtrar la montaña de investigación médica. Son rápidas, son mayormente precisas y pueden igualar a los expertos humanos en la extracción de datos clave. Pero aún no están listas para reemplazar a los humanos por completo. El mejor enfoque, sugieren los autores, es usar la IA como un asistente poderoso para realizar el trabajo pesado de lectura y resumen, manteniendo a los expertos humanos en el proceso para verificar la lógica complicada y detectar los errores sutiles. Es una asociación donde el robot hace la lectura y el humano hace el pensamiento crítico.