Longevity Bench: Are SotA LLMs ready for aging research?

O artigo apresenta o LongevityBench, um conjunto de tarefas projetado para avaliar a capacidade dos modelos de linguagem de última geração de compreender os princípios biológicos do envelhecimento e interpretar dados biomédicos, destacando suas limitações atuais e propondo diretrizes para maximizar sua utilidade na pesquisa sobre longevidade.

O essencial

Imagine que você tem um grupo de super-heróis da inteligência artificial (os chamados Grandes Modelos de Linguagem, ou LLMs). Eles são famosos por escreverem poemas, resolverem equações de matemática e conversarem como humanos. Mas, e se a gente os colocasse em uma prova de biologia do envelhecimento? Eles conseguiriam entender por que ficamos velhos, prever quem viverá mais ou interpretar exames de sangue complexos?

É exatamente isso que o artigo "LongevityBench" (Banco de Testes de Longevidade) propôs fazer.

Aqui está a explicação do estudo, traduzida para uma linguagem simples e cheia de analogias:

1. O Grande Desafio: A "Prova de Fogo" da Biologia

Os cientistas do Insilico Medicine criaram um "campo de treinamento" chamado LongevityBench. Pense nele como uma Olimpíada da Velhice para IAs.

O objetivo não era apenas ver quem fala melhor, mas quem entende de verdade como o corpo humano envelhece. Eles testaram 15 dos melhores modelos de IA do mundo (como GPT-5, Gemini 3, Claude, etc.) com 17 tarefas diferentes.

As tarefas eram como:

• O Oráculo de Saúde: Dado um histórico médico e exames de sangue de uma pessoa, a IA consegue prever se ela viverá mais 10 anos?
• O Detetive de DNA: Olhando para a "impressão digital química" do DNA (metilação), a IA consegue dizer a idade real da pessoa?
• O Mestre dos Genes: Se mudarmos um gene em um rato ou mosca, a IA consegue prever se isso vai fazer a criatura viver mais ou menos?
• O Tradutor de Proteínas: Dado um perfil de proteínas no sangue, a IA consegue adivinhar a idade ou o estado de saúde?

2. O Resultado: Quem Passou na Prova?

A resposta curta é: Nenhum deles é perfeito.

A descoberta mais interessante foi que a inteligência dessas IAs é muito especializada e instável. É como se você tivesse um aluno que tira 10 em Matemática, mas tira zero em História, e no dia seguinte, se você mudar a forma de fazer a pergunta, ele tira zero em Matemática também.

• Os "Campeões" (Gêmeos e GPT): Os modelos da Google (Gemini 3 Pro) e da OpenAI (GPT-5) foram os melhores no geral. Eles conseguiram prever a sobrevivência de pacientes com base em exames de sangue com muita precisão (quase 90% de acerto em alguns testes).
• O Problema da "Cara de Pau": A IA muitas vezes "chuta" bem quando a pergunta é simples (Ex: "Vai viver mais de 10 anos? Sim ou Não?"). Mas, assim que a pergunta muda para algo mais complexo (Ex: "Quem vive mais: o Paciente A ou o B?"), a performance cai drasticamente, ficando perto do acaso (como jogar cara ou coroa).
• O Calcanhar de Aquiles (Proteínas e Genes): Quando o teste exigia que a IA "inventasse" ou completasse listas de genes ou proteínas, elas falharam miseravelmente. Foi como pedir para um pintor copiar uma obra de arte, mas ele só sabe fazer rabiscos. Isso mostra que elas não "entendem" a biologia, apenas memorizaram padrões superficiais.

3. A Grande Revelação: Elas não têm um "Mapa Mental"

O estudo descobriu algo preocupante: essas IAs não têm uma compreensão coerente da biologia.

Imagine que você ensina uma criança a reconhecer um cachorro mostrando fotos. Se você mostrar um cachorro de lado, ela reconhece. Mas se você mostrar um cachorro de costas, ela pode não saber o que é.
Com as IAs, foi a mesma coisa. Se você mudava a forma de fazer a pergunta (mudando o formato do teste), a IA mudava completamente sua resposta.

• Isso sugere que elas não têm um "mapa mental" de como o envelhecimento funciona. Elas estão apenas fazendo associações rápidas baseadas no que leram na internet, sem entender a lógica profunda por trás.

4. O Perigo de Confiança Cega

O estudo avisa os cientistas: Cuidado ao usar essas IAs para pesquisas sérias sobre envelhecimento.

• Elas são ótimas assistentes: Podem ajudar a escrever artigos, organizar dados ou encontrar referências.
• Elas são péssimas especialistas: Se você pedir para elas preverem o resultado de um novo tratamento ou interpretar um exame genético complexo, elas podem alucinar (inventar fatos) ou cometer erros graves, especialmente em dados de proteínas, onde elas quase não têm desempenho.

5. O Futuro: O "Ginásio" de Treinamento

Os autores não estão apenas criticando; eles estão construindo o futuro. Eles criaram o LongevityBench como um "ginásio de treinamento" (chamado MMAI Gym).

A ideia é usar esses testes para treinar as IAs. Em vez de apenas perguntar "quem vive mais?", vamos ensinar a IA a entender por que ela vive mais, conectando o DNA, as proteínas e o estilo de vida. Se conseguirmos treinar uma IA que passa nesse teste com maestria, teremos uma ferramenta capaz de realmente acelerar a descoberta de remédios para a longevidade.

Resumo em uma frase:

O estudo mostra que, embora as IAs atuais sejam brilhantes conversadoras, elas ainda são estudantes de biologia que tiram notas ruins em provas práticas, e precisamos treinar elas com mais rigor antes de confiar nelas para salvar vidas.

Resumo técnico

Resumo Técnico: LongevityBench

1. O Problema

O envelhecimento é um processo biológico complexo que envolve múltiplas camadas organizacionais (de molecular a fenótipos de organismo inteiro) e diversos tipos de dados (ômicos, clínicos, biometria). Embora os Grandes Modelos de Linguagem (LLMs) estejam sendo integrados aos fluxos de trabalho de pesquisa biomédica, existe ceticismo sobre sua capacidade real de compreender a "verdade fundamental" biológica, em vez de apenas memorizar fatos ou identificar correlações superficiais.
Não existia até o momento um benchmark sistemático para avaliar se os LLMs de ponta (State-of-the-Art - SotA) conseguem interpretar dados biológicos de baixa nível (como transcriptomas ou metilação de DNA) e derivar conclusões de nível de fenótipo (como tempo de vida ou idade biológica) no contexto específico da biologia do envelhecimento. A falta dessa avaliação empírica impede a confiança na utilização desses modelos como companheiros de pesquisa confiáveis.

2. Metodologia

Os autores desenvolveram o LongevityBench, um conjunto abrangente de tarefas de avaliação projetado para testar a compreensão dos fundamentos da biologia do envelhecimento pelos LLMs.

• Conjunto de Dados e Fontes: O benchmark foi construído a partir de sete fontes de dados públicas e diversas, totalizando 30.193 prompts (aproximadamente 50 milhões de tokens). As fontes incluem:

  • NHANES-IV: Dados clínicos e de exames de sangue para previsão de sobrevivência da população geral.
  • Open Genes: Trajetórias de expressão gênica em tecidos humanos e organismos modelo.
  • Synergy Age: Dados de intervenções genéticas (mutantes simples e duplos) em Drosophila e camundongos para avaliar efeitos na longevidade.
  • TCGA: Dados de RNAseq e diagnóstico de pacientes com câncer para previsão de sobrevivência livre de progressão (PFS).
  • GEO (Gene Expression Omnibus): Perfis de metilação de DNA (DNAm) para predição de idade epigenética.
  • GTEx: Dados de expressão transcriptômica de múltiplos tecidos humanos.
  • Olink (Proteômica): Dados de plasma proteico para predição de idade baseada em proteínas.

• Formatos de Tarefas: Para evitar viés semântico, cada tarefa foi apresentada em múltiplos formatos:

  • Classificação Binária/Multiclasse: (Ex: "O paciente sobreviverá >10 anos?", "Qual grupo etário?").
  • Comparação em Par (Pairwise): "Qual dos dois indivíduos viveu mais tempo?".
  • Regressão: Previsão numérica exata (Ex: "Qual o tempo exato até a morte em meses?").
  • Gerativa: Completar listas de genes ou proteínas altamente expressos.

• Modelos Avaliados: Foram testados 15 LLMs SotA de diferentes desenvolvedores (OpenAI, Anthropic, Google, xAI, DeepSeek), incluindo versões como GPT-5, Gemini 3 Pro, Claude Sonnet 4.5 e Grok-4.

• Métricas de Avaliação:

  • Precisão (Accuracy) para tarefas de classificação.
  • Erro Absoluto Médio (MAE) para regressão.
  • Índice de Jaccard para tarefas gerativas.

3. Contribuições Chave

1. Primeiro Benchmark Especializado em Envelhecimento: O LongevityBench é a primeira infraestrutura padronizada para avaliar LLMs especificamente na biologia do envelhecimento, cobrindo desde dados clínicos até ômicos.
2. Análise de Dependência de Formato: O estudo demonstra que a performance dos modelos varia drasticamente dependendo de como a pergunta é formulada (ex: classificação binária vs. comparação em par vs. regressão), revelando que muitos modelos não possuem uma representação interna coerente da biologia.
3. Identificação de Lacunas Específicas: O trabalho mapeia onde os modelos falham (ex: predição de dados proteômicos e tarefas gerativas) e onde têm sucesso (ex: classificação binária em dados clínicos).
4. Infraestrutura para Treinamento Futuro: O benchmark é projetado não apenas para avaliação, mas como um módulo dentro do "MMAI Gym for Science" para orientar o fine-tuning e o treinamento de futuros modelos de IA biológica.

4. Resultados Principais

• Desempenho Geral: Nenhum modelo demonstrou força consistente em todas as modalidades. O Gemini 3 Pro (Google) obteve o melhor ranking médio geral (5.00), seguido pelo GPT-5 e o3 (OpenAI).
• Disparidade por Modalidade:
  • Dados Clínicos (NHANES): Os modelos performaram bem em tarefas binárias (acurácia > 0.85 para os melhores), mas tiveram desempenho próximo ao acaso em comparações em par (pairwise) e falharam sistematicamente em regressão, subestimando o tempo de vida (comprimindo previsões para a faixa de 50-100 meses).
  • Transcriptômica: Os modelos falharam em distinguir idades em comparações em par de perfis de RNA (desempenho aleatório), mas melhoraram significativamente em tarefas de classificação multiclasse (prever faixas etárias), sugerindo que o conhecimento existe, mas não é acessível via comparação direta.
  • Proteômica: O desempenho foi o mais baixo. A geração de perfis proteicos resultou em um Índice de Jaccard muito baixo (< 0.03), indicando que os modelos não conseguem inferir padrões proteicos complexos, possivelmente devido à escassez de dados proteômicos nos dados de treinamento.
  • Mutantes Genéticos: Modelos como o Gemini 3 Pro melhoraram significativamente quando receberam anotações biológicas adicionais (GO, contexto experimental), enquanto outros (como DeepSeek-R1) não mostraram ganho, indicando diferenças na capacidade de integrar contexto biológico.
• Viés de Formato: A hierarquia de modelos muda dependendo do formato da pergunta. Um modelo que é o melhor em classificação binária pode ser o pior em regressão ou comparação em par, sugerindo falta de raciocínio causal robusto.

5. Significado e Conclusões

O LongevityBench revela que, embora os LLMs comerciais sejam úteis para tarefas de linguagem e recuperação de fatos, eles ainda não são confiáveis como "companion" de pesquisa autônomo para biologia do envelhecimento.

• Limitações Atuais: Os modelos tendem a memorizar correlações superficiais e falham em generalizar para novos dados ou formatos de pergunta não vistos durante o treinamento. A incapacidade de realizar regressão precisa e de interpretar dados proteômicos é crítica.
• Implicações para Pesquisa: Os pesquisadores devem usar esses modelos com cautela, tratando suas saídas como hipóteses preliminares que exigem validação experimental, especialmente em tarefas de geração ou regressão.
• Futuro: O estudo sugere que o treinamento de modelos futuros deve focar em superar essas lacunas específicas (ex: raciocínio causal em dados ômicos) para criar sistemas de IA que realmente compreendam a biologia do envelhecimento, em vez de apenas prever padrões estatísticos.

O benchmark e os rankings serão mantidos atualizados em insilicobench.insilico.com para acompanhar a evolução dos modelos.