Assessing the Reliability of LLM-Generated Phenotype-Genotype Associations Through External Validation

En el mundo de la medicina moderna, la historia de salud de un paciente a menudo se escribe en dos lenguajes diferentes. Un lenguaje describe lo que el médico ve: una fiebre alta, un ritmo cardíaco específico o una forma particular de un hueso. Los científicos llaman a estos rasgos observables fenotipos. El otro lenguaje está oculto dentro de las células del cuerpo, escrito en el código del ADN. Este código contiene genes y pequeñas variaciones en el guion genético que pueden explicar por qué una persona tiene un determinado rasgo o por qué podría desarrollar una enfermedad específica. Conectar estos dos lenguajes —emparejar un síntoma visible con su causa genética invisible— es la base de la medicina de precisión. Esto permite a los médicos diagnosticar condiciones raras, predecir riesgos y elegir tratamientos que se ajusten a la biología única de una persona. Sin embargo, la biblioteca de conexiones conocidas entre síntomas y genes crece tan rápido que los expertos humanos no pueden leer cada nuevo artículo científico para actualizar sus registros. La brecha entre lo que se publica y lo que se registra oficialmente se está ampliando, dejando a los médicos sin las respuestas más recientes que necesitan.

Para cerrar esta brecha, los investigadores están recurriendo a la inteligencia artificial, específicamente a un tipo de programa informático conocido como modelo de lenguaje de gran tamaño. Estos programas han leído vastas cantidades de texto y pueden generar nuevas oraciones que parecen y suenan como la escritura humana. La idea es que, si estos programas han leído suficiente literatura médica, podrían ser capaces de sugerir instantáneamente qué genes o variaciones genéticas están vinculados a los síntomas de un paciente, actuando como un asistente de investigación superrápido. Pero existe una preocupación seria: se sabe que estos programas a veces inventan hechos. Pueden producir un nombre de un gen que suena real pero que no existe, o vincular un gen real con una enfermedad con la que no tiene nada que ver. Si un médico confía en tal error, esto podría conducir a un diagnóstico equivero. La pregunta crítica es si estas herramientas de inteligencia artificial pueden realmente encontrar conexiones reales y verificadas entre síntomas y genes, o si la mayoría de las veces solo están adivinando.

Un equipo de investigadores de la Universidad de Vanderbilt se propuso probar esta cuestión con un experimento riguroso. No se limitaron a pedir a las computadoras que adivinaran; construyeron un sistema para verificar cada una de las respuestas contra las bases de datos más confiables del mundo. Seleccionaron cuatro de los modelos de lenguaje más avanzados disponibles y les pidieron realizar seis tipos diferentes de tareas. En algunas tareas, se le daba a la computadora una lista de síntomas y se le pedía que nombrara los genes o las variaciones genéticas que los causan. En otras, se le daba a la computadora un gen o una variación genética y se le pedía que describiera los síntomas que provoca. Probaron estos modelos tanto en condiciones comunes, como la presión arterial alta o la diabetes, como en enfermedades muy raras que afectan solo a un puñado de personas. Los investigadores tomaron entonces cada una de las asociaciones generadas por los modelos y las sometieron a un proceso de verificación. Comprobaron si los nombres de los genes eran reales, si las variaciones genéticas existían en los registros estándar y, lo más importante, si el vínculo entre el síntoma y el gen estaba respaldado por evidencia en los principales catálogos científicos.

Los resultados revelaron un panorama complejo de lo que estas herramientas pueden y no pueden hacer. En general, los modelos de inteligencia artificial fueron sorprendentemente buenos generando nombres que eran reales. Casi todos los genes y variaciones genéticas que sugirieron existían realmente en el mundo biológico; las computadoras rara vez inventaron nombres falsos. Sin embargo, la verdadera prueba era si la conexión entre el síntoma y el gen era verdadera. Cuando los investigadores comprobaron la evidencia, descubrieron que alrededor del 74 por ciento de las asociaciones generadas por los modelos podían vincularse con al menos una base de datos científica establecida. Esto significa que, para casi tres de cada cuatro sugerencias, había alguna prueba en la literatura que las respaldaba. De esas, aproximadamente el 9 por ciento tenía un apoyo muy fuerte, mientras que otro 54 por ciento tenía un apoyo moderado. Esto sugiere que estas herramientas pueden, de hecho, actuar como poderosos generadores de ideas candidatas para que médicos y científicos investiguen.

No obstante, el rendimiento no fue uniforme en todos los tipos de preguntas. Los modelos funcionaron mucho mejor cuando se les preguntaba por genes que cuando se les preguntaba por variaciones genéticas específicas, conocidas como polimorfismos de nucleótido único o SNPs. Cuando la tarea consistía en vincular un síntulo con un gen, los modelos fueron capaces de encontrar evidencia fuerte o moderada para aproximadamente dos tercios de sus respuestas. Pero cuando la tarea cambió a vincular un síntoma con una variación genética específica, la tasa de éxito disminuyó significativamente. Los modelos tuvieron mayores dificultades con las enfermedades raras. Aunque a menudo podían encontrar conexiones para condiciones comunes como la enfermedad cardíaca o la diabetes, frecuentemente fallaban al encontrar vínculos verificados para trastornos ultra-raros. Esto resalta una limitación no solo de la inteligencia artificial, sino también de las bases de datos mismas. Los registros científicos para enfermedades raras suelen estar incompletos o dispersos, lo que dificulta que la computadora encuentre una coincidencia incluso si existe una.

El estudio también comparó los cuatro modelos diferentes para ver si uno era claramente superior. Un modelo, Claude Sonnet, fue el que mejor se desempeñó en general, generando asociaciones que contaban con evidencia aproximadamente el 69 por ciento de las veces. Otro modelo, GPT-5.5, quedó en segundo lugar con alrededor del 65 por ciento. Los otros dos modelos quedaron rezagados, con tasas de éxito de alrededor del 61 y 57 por ciento. Curiosamente, los modelos que fueron mejores encontrando conexiones de genes no siempre fueron los mismos que fueron mejores encontrando conexiones de variaciones genéticas. Esto sugiere que cada modelo ha aprendido patrones diferentes de la vasta cantidad de texto con el que fue entrenado. Los investigadores también observaron con qué frecuencia los diferentes modelos coincidían entre sí. Encontraron que los modelos rara vez producían la misma lista exacta de respuestas, incluso cuando se les daba la misma pregunta. A veces coincidían en hechos bien conocidos, pero para muchas otras preguntas, ofrecían sugerencias completamente diferentes. Esta falta de acuerdo significa que confiar en un solo modelo es arriesgado; si un modelo sugiere un vínculo, no garantiza que sea correcto, y si dos modelos no están de acuerdo, eso no significa que ambos estén equivocados.

Quizás el hallazgo más importante fue la naturaleza de los errores que cometieron los modelos. Cuando los investigadores revisaron manualmente las sugerencias que no pudieron ser encontradas en ninguna base de datos, descubrieron que la mayoría no eran simples conjeturas aleatorias. Alrededor del 60 por ciento de las coincidencias fallidas fueron casos en los que el modelo vinculó un gen o una variación real con la enfermedad incorrecta. Los otros fallos se debieron a menudo al hecho de que las bases de datos científicas simplemente no tenían la información todavía. Esta distinción es crucial. Significa que, aunque los modelos no suelen inventar nombres falsos, con frecuencia están seguros de las conexiones incorrectas. Esto crea un peligro específico para el uso clínico: un médico no puede distinguir entre un vínculo correcto y verificado y una alucinación segura de sí misma solo con mirar el resultado.

Los investigadores concluyeron que estas herramientas de inteligencia artificial son útiles, pero deben tratarse con precaución. Son excelentes para generar una larga lista de posibilidades, actuando como un punto de partida para los expertos humanos. Sin embargo, no pueden ser confiables para proporcionar la respuesta final. Cada sugerencia que hacen debe ser verificada contra los registros establecidos antes de que pueda ser utilizada en un entorno médico. El estudio demostró que la fiabilidad del resultado depende en gran medida del tipo de pregunta que se esté realizando. Para enfermedades comunes y preguntas a nivel de genes, las herramientas son bastante fiables. Para enfermedades raras y variaciones genéticas específicas, son mucho menos seguras, lo que refleja las brechas actuales en nuestro conocimiento científico colectivo. El camino a seguir consiste en utilizar estos modelos para acelerar el proceso de descubrimiento, pero siempre combinando su producción con un paso de verificación estricto. De esta manera, la velocidad de la inteligencia artificial puede combinarse con la precisión de la ciencia curada por humanos, asegurando que las conexiones realizadas entre los síntomas de un paciente y sus genes sean tanto rápidas como verdaderas.