Assessing the Reliability of LLM-Generated Phenotype-Genotype Associations Through External Validation

No mundo da medicina moderna, a história de saúde de um paciente é frequentemente escrita em duas línguas diferentes. Uma língua descreve o que o médico vê: uma febre alta, um ritmo cardíaco específico ou o formato particular de um osso. Os cientistas chamam esses traços observáveis de fenótipos. A outra língua está escondida dentro das células do corpo, escrita no código do DNA. Este código contém genes e pequenas variações no roteiro genético que podem explicar por que uma pessoa possui um determinado traço ou por que ela pode desenvolver uma doença específica. Conectar essas duas línguas — associar um sintoma visível à sua causa genética invisível — é o fundamento da medicina de precisão. Isso permite que os médicos diagnostiquem condições raras, prevejam riscos e escolham tratamentos que se ajustem à biologia única de cada pessoa. No entanto, a biblioteca de conexões conhecidas entre sintomas e genes está crescendo tão rápido que os especialistas humanos não conseguem ler todos os novos artigos científicos para atualizar seus registros. O abismo entre o que é publicado e o que é oficialmente registrado está se alargando, deixando os médicos sem as respostas mais recentes de que precisam.

Para preencher essa lacuna, pesquisadores estão recorrendo à inteligência artificial, especificamente a um tipo de programa de computador conhecido como modelo de linguagem de grande escala. Esses programas leram vastas quantidades de texto e podem gerar novas sentenças que parecem e soam como a escrita humana. A ideia é que, se esses programas tiverem lido literatura médica suficiente, eles possam sugerir instantaneamente quais genes ou variações genéticas estão ligados aos sintomas de um paciente, atuando como um assistente de pesquisa superveloz. Mas há uma preocupação séria: esses programas são conhecidos por, às vezes, inventar fatos. Eles podem produzir o nome de um gene que soa real, mas que não existe, ou ligar um gene real a uma doença com a qual ele não tem nada a ver. Se um médico confiar em tal erro, isso pode levar a um diagnóstico errado. A questão crítica é se essas ferramentas de inteligência artificial podem realmente encontrar conexões reais e verificadas entre sintomas e genes, ou se estão apenas adivinhando.

Uma equipe de pesquisadores da Universidade Vanderbilt partiu para testar essa questão com um experimento rigoroso. Eles não apenas pediram aos computadores para adivinharem; eles construíram um sistema para verificar cada resposta contra os bancos de dados mais confiáveis do mundo. Eles selecionaram quatro dos modelos de linguagem mais avançados disponíveis e pediram que realizassem seis tipos diferentes de tarefas. Em algumas tarefas, o computador recebia uma lista de sintomas e era solicitado a nomear os genes ou as variações genéticas que os causam. Em outras, o computador recebia um gene ou uma variação genética e era solicitado a descrever os sintomas que ele causa. Eles testaram esses modelos tanto em condições comuns, como pressão alta ou diabetes, quanto em doenças muito raras que afetam apenas um punhado de pessoas. Os pesquisadores então pegaram cada associação gerada pelos modelos e a submeteram a um fluxo de verificação. Eles verificaram se os nomes dos genes eram reais, se as variações genéticas existiam nos registros padrão e, o mais importante, se a ligação entre o sintoma e o gene era sustentada por evidências em grandes catálogos científicos.

Os resultados revelaram um quadro complexo do que essas ferramentas podem e não podem fazer. No geral, os modelos de inteligência artificial foram surpreendentemente bons em gerar nomes que eram reais. Quase todos os genes e variações genéticas que sugeriram de fato existiam no mundo biológico; os computadores raramente inventaram nomes falsos. No entanto, o teste real era se a conexão entre o sintoma e o gene era verdadeira. Quando os pesquisadores verificaram as evidências, descobriram que cerca de 74 por cento das associações geradas pelos modelos podiam ser correspondidas a pelo menos um banco de dados científico estabelecido. Isso significa que, para quase três em cada quatro sugestões, havia alguma prova na literatura para respaldá-las. Dessas, cerca de 9 por cento tinham um suporte muito forte, enquanto outros 54 por cento tinham um suporte moderado. Isso sugere que essas ferramentas podem, de fato, atuar como poderosos geradores de ideias candidatas para médicos e cientistas investigarem.

Contudo, o desempenho não foi uniforme em todos os tipos de perguntas. Os modelos tiveram um desempenho muito melhor quando questionados sobre genes do que quando questionados sobre variações genéticas específicas, conhecidas como polimorfismos de nucleotídeo único ou SNPs. Quando a tarefa era ligar um sintoma a um gene, os modelos foram capazes de encontrar evidências fortes ou moderadas para cerca de dois terços de suas respostas. Mas quando a tarefa mudou para ligar um sintoma a uma variação genética específica, a taxa de sucesso caiu significamente. Os modelos tiveram maior dificuldade com doenças raras. Embora pudessem frequentemente encontrar conexões para condições comuns como doenças cardíacas ou diabetes, eles frequentemente falharam em encontrar ligações verificadas para desordens ultra-raras. Isso destaca uma limitação não apenas da inteligência artificial, mas dos próprios bancos de dados. Os registros científicos para doenças raras são frequentemente incompletos ou dispersos, tornando mais difícil para o computador encontrar uma correspondência mesmo que ela exista.

O estudo também comparou os quatro modelos diferentes para ver se um era claramente superior. Um modelo, o Claude Sonnet, teve o melhor desempenho geral, gerando associações que eram sustentadas por evidências cerca de 69 por cento das vezes. Outro modelo, o GPT-5.5, ficou em segundo lugar com cerca de 65 por cento. Os outros dois ficaram atrás, com taxas de sucesso em torno de 61 por cento e 57 por cento. Curiosamente, os modelos que foram melhores em encontrar conexões de genes nem sempre foram os mesmos que foram melhores em encontrar conexões de variações genéticas. Isso sugere que cada modelo aprendeu padrões diferentes a partir das vastas quantidades de texto nos quais foi treinado. Os pesquisadores também observaram com que frequência os diferentes modelos concordavam entre si. Eles descobriram que os modelos raramente produziam exatamente a mesma lista de respostas, mesmo quando recebiam a mesma pergunta. Às vezes, eles concordavam em fatos bem conhecidos, mas, para muitas outras questões, ofereciam sugestões completamente diferentes. Essa falta de concordância significa que confiar em um único modelo é arriscado; se um modelo sugere uma ligação, isso não garante que seja correta, e se dois modelos discordam, isso não significa que ambos estejam errados.

Talvez a descoberta mais importante tenha sido a natureza dos erros cometidos pelos modelos. Quando os pesquisadores revisaram manualmente as sugestões que não puderam ser encontradas em nenhum banco de dados, descobriram que a maioria não era composta apenas por palpites aleatórios. Cerca de 60 por cento das correspondências falhas foram casos em que o modelo ligou um gene ou variação real à doença errada. As outras falhas ocorreram frequentemente devido ao fato de que os bancos de dados científicos simplesmente ainda não possuíam a informação. Essa distinção é crucial. Significa que, embora os modelos não estejam geralmente inventando nomes falsos, eles estão frequentemente confiantes sobre as conexões erradas. Isso cria um perigo específico para o uso clínico: um médico não consegue distinguir entre um link correto e verificado e uma alucinação confiante apenas olhando para o resultado.

Os pesquisadores concluíram que essas ferramentas de inteligência artificial são úteis, mas devem ser tratadas com cautela. Elas são excelentes em gerar uma longa lista de possibilidades, atuando como um ponto de partida para especialistas humanos. No entanto, elas não podem ser confiadas para fornecer a resposta final. Cada sugestão que fazem precisa ser verificada contra registros estabelecidos antes de poder ser usada em um ambiente médico. O estudo mostrou que a confiabilidade do resultado depende fortemente do tipo de pergunta sendo feita. Para doenças comuns e perguntas de nível de gene, as ferramentas são bastante confiáveis. Para doenças raras e variações genéticas específicas, elas são muito menos seguras, refletindo as lacunas atuais em nosso conhecimento científico coletivo. O caminho a seguir envolve usar esses modelos para acelerar o processo de descoberta, mas sempre pareando sua saída com uma etapa de verificação rigorosa. Dessa forma, a velocidade da inteligência artificial pode ser combinada com a precisão da ciência curada por humanos, garantindo que as conexões feitas entre os sintomas de um paciente e seus genes sejam tanto rápidas quanto verdadeiras.