Verification Debt in Automated Biological Research Workflows: A Proof-of-Concept

La biología moderna está entrando en una era en la que las computadoras ya no son solo herramientas para procesar números, sino compañeras activas en el descubrimiento. Los científicos están comenzando a utilizar agentes de inteligencia artificial —programas de software diseñados para actuar como investigadores— para planificar experimentos, buscar en vastas bibliotecas de literatura médica y conectar puntos entre genes y enfermedades. Estos sistemas pueden acceder a miles de bases de datos biológicas y ejecutar flujos de trabajo complejos que antes tomaban semanas a equipos humanos completar. La promesa es inmensa: curas más rápidas, una comprensión más profunda de la vida y una escala de investigación que los humanos nunca podrían gestionar solos. Sin embargo, esta velocidad conlleva un nuevo tipo de riesgo. Cuando una computadora toma una decisión, no siempre está claro por qué tomó esa elección, qué evidencia utilizó o si se saltó un paso crucial. Si un humano no puede verificar fácilmente el trabajo de la computadora, una carga oculta de incertidumbre comienza a acumularse. Esto es lo que los investigadores llaman "deuda de verificación": la creciente pila de suposiciones no verificadas y pasos ocultos que podrían conducir a conclusiones falsas si no se controlan.

Un equipo de investigadores se propuso medir exactamente cuánta de esta deuda existe en la IA biológica actual. Eligieron probar un sistema específico llamado Biomni, un agente de inteligencia artificial diseñado para manejar la investigación biomédica. El equipo no simplemente le preguntó a la computadora si era inteligente; la pusieron a trabajar en diez preguntas biológicas específicas del mundo real. Estas preguntas variaban desde consultas simples, como "¿Qué hace esta proteína específica?", hasta acertijos complejos, como "¿Cómo se combinan los datos de ARN y proteínas para explicar un tipo específico de cáncer?". Para asegurar que los resultados fueran fiables, los investigadores pidieron a la IA que respondiera a cada pregunta tres veces por separado, tratando cada ejecución como un experimento independiente. Luego examinaron meticulosamente cada uno de los pasos que dio la IA, desde el momento en que recibió la pregunta hasta la respuesta final que produjo. Su objetivo era ver si el razonamiento de la IA podía rastrearse hasta una evidencia sólida, o si estaba dando saltos que un científico humano no podría verificar.

Los investigadores descubrieron que, si bien la IA era capaz de producir respuestas rigurosas y a menudo correctas, frecuentemente dejaba tras de sí un rastro de elecciones no verificadas. En muchos casos, la IA citaba un estudio científico para respaldar una afirmación, pero no había leído realmente el texto completo de dicho estudio. En su lugar, dependía de un breve resumen proporcionado por una herramienta de búsqueda, asumiendo que el resumen contenía el dato específico que necesitaba. Esto creaba una situación en la que la IA parecía estar fundamentada en evidencia, pero la evidencia era en realidad inexistente o incompleta. El equipo descubrió que, para hechos biológicos bien conocidos, la IA a menudo se saltaba el proceso de búsqueda por completo, respondiendo desde su memoria interna sin avisar al usuario que lo estaba haciendo. Esto significaba que, para algunas preguntas, no había forma de que un humano pudiera comprobar de dónde provenía la información, dejando un vacío en la cadena de prueba.

La naturaleza del problema cambiaba dependiendo de qué tan difícil fuera la pregunta. Para las preguntas más simples, el problema principal era la falta de transparencia; la IA hacía suposiciones o se saltaba pasos sin explicar por qué. Para las preguntas más complejas, los problemas se desplazaban hacia la interpretación. La IA a veces extraía conclusiones más fuertes de lo que los datos realmente respaldaban, o mezclaba diferentes tipos de evidencia, como combinar resultados de estudios en ratones con datos genéticos humanos, sin aclarar la diferencia en su confiabilidad. Los investigadores notaron que estos errores no eran consistentes; ocurrían de manera impredecible. Una vez la IA podía seguir un camino perfecto, y la siguiente podía tomar una ruta distinta con fallas ocultas. Esta impredecibilidad dificulta el simple hecho de confiar en el sistema, incluso cuando obtiene la respuesta correcta, porque el camino hacia esa respuesta puede estar viciado.

Un hallazgo clave del estudio fue que tener un registro de los pasos de la IA, conocido como "traza", no era suficiente para garantizar que el trabajo fuera correcto. La IA podía proporcionar un registro detallado de cada herramienta que utilizó y cada base de datos que consultó, y aun así llegar a una conclusión basada en un malentendido de los datos o en una suposición no declarada. Los investigadores identificaron un tipo específico de riesgo llamado "consecuencia de dependencia", donde una sola decisión no verificada al inicio del proceso podría propagarse por todo el flujo de trabajo, corrompiendo todos los resultados subsiguientes. Descubrieron que, en casi todas las preguntas que probaron, la mayoría de las decisiones de la IA conllevaban este tipo de riesgo de alto nivel. Si un investigador humano no revisaba cuidadosamente cada eslabón de la cadena, un pequeño error podría conducir a un error científico de gran magnitud.

El estudio concluye que, si bien estos sistemas automatizados son poderosos, no pueden confiar en que trabajen enteramente por su cuenta. La velocidad y la escala que ofrecen son valiosas, pero crean una brecha entre lo que la computadora hace y lo que un humano puede verificar. Los investigadores argumentan que la transparencia —mostrar los pasos que tomó la IA— es necesaria pero no suficiente. Un sistema puede ser totalmente trazable y aun así producir resultados poco fiables si el razonamiento detrás de esos pasos es defectuoso. Para avanzar, la comunidad científica necesita nuevas formas de verificar sistemáticamente no solo la respuesta final, sino todo el trayecto que la IA realizó para llegar a ella. Hasta que estos métodos de verificación no estén implementados, los expertos humanos deben permanecer en el ciclo, listos para detectar las deudas ocultas que las máquinas acumulan mientras trabajan.