Longevity Bench: Are SotA LLMs ready for aging research?

Dit artikel introduceert LongevityBench, een benchmark voor het evalueren van de vaardigheden van state-of-the-art taalmodellen in de verouderingsonderzoek door hun vermogen om fundamentele biologische principes te begrijpen en diverse biodatatypes te interpreteren om fenotypische conclusies te trekken.

De kern

Hoe slim zijn AI's eigenlijk over ouder worden? Een uitleg van "LongevityBench"

Stel je voor dat je een groep zeer intelligente robots hebt die alles over de wereld lijken te weten. Ze kunnen gedichten schrijven, code programmeren en zelfs medische artikelen samenvatten. Maar de vraag is: begrijpen ze echt hoe het menselijk lichaam veroudert, of zijn ze gewoon heel goed in het raden van antwoorden op basis van wat ze eerder hebben gelezen?

Dit is precies wat de onderzoekers van Insilico Medicine hebben willen testen met hun nieuwe proef: LongevityBench.

De "Rijbewijstest" voor AI

Stel je voor dat je een nieuwe chauffeur wilt aannemen. Je kunt niet alleen kijken naar hoe mooi hij zijn auto poets (hoe goed hij praat), je moet hem ook laten rijden in regen, sneeuw en op een smalle bergweg.

LongevityBench is die rijbewijstest voor AI. In plaats van te kijken of een robot een mooi verhaal kan schrijven over ouderdom, geven ze hem echte, moeilijke puzzels uit de biologie:

• "Kijk naar deze bloedwaarden en zeg me: over hoeveel jaar zal deze persoon waarschijnlijk overlijden?"
• "Dit DNA-methyleringsprofiel (een soort chemische 'tijdstempel' op je DNA) hoort bij iemand van 20 of 80?"
• "Als we dit ene gen in een muis uitschakelen, leeft hij dan langer of korter?"

De onderzoekers hebben 30.000 van deze puzzels gemaakt, gebaseerd op echte medische data van mensen en dieren. Ze hebben 15 van de slimste AI's ter wereld (zoals de nieuwste versies van GPT, Gemini, Claude en Grok) deze test laten doen.

De resultaten: Een mix van talent en blinde vlekken

Het resultaat is een beetje zoals een schoolrapport waar sommige leerlingen briljant zijn in wiskunde, maar faal in geschiedenis, en vice versa.

1. De winnaars: De modellen van Google (Gemini 3 Pro) en OpenAI (GPT-5) deden het over het algemeen het beste. Ze konden vaak goed inschatten of iemand lang zou leven op basis van medische dossiers.
2. De verrassingen: Soms was een AI heel goed in het voorspellen van overlijden op basis van bloedtesten, maar kon hij totaal niet zeggen welk van twee mensen ouder was op basis van hun genen. Het is alsof een student perfect kan rekenen, maar als je hem vraagt om een kaart te lezen, verdwaalt hij.
3. De valkuil (De "Gokker"): Een groot probleem dat ze ontdekten, is dat de AI's soms te voorzichtig zijn. Als ze een ziekte zien in een medisch dossier, denken ze direct: "Oh, dit is gevaarlijk, deze persoon gaat snel dood." Ze vergeten vaak dat mensen ziektes kunnen overwinnen of dat ze nog tientallen jaren kunnen leven. Ze "krompen" hun voorspellingen naar een gemiddelde, in plaats van de echte, soms lange levensduur te zien.

De "Spiegel" van de vraag

Een van de meest interessante ontdekkingen is dat de AI's geen echt inzicht hebben, maar vooral heel goed zijn in het herkennen van de vorm van de vraag.

• Vraag je: "Wie leeft langer, A of B?" (een vergelijking), dan doet een AI het soms slecht.
• Vraag je: "Hoe oud is A?" (een schatting), dan doet dezelfde AI het plotseling veel beter.

Dit is alsof je een robot vraagt: "Is de lucht blauw?" en hij zegt "Ja". Vraag je dan: "Is de lucht groen?" en hij zegt "Nee". Maar als je vraagt: "Wat is de kleur van de lucht?", dan twijfelt hij misschien. De AI's lijken de antwoorden te kennen, maar niet het concept van ouderdom zelf. Ze zijn als een zeer slimme acteur die rollen speelt, maar niet echt begrijpt waarom de personages in het verhaal oud worden.

Wat betekent dit voor de toekomst?

De boodschap van dit onderzoek is niet dat AI nutteloos is voor ouderdomsonderzoek. Integendeel! Het is een krachtig hulpmiddel. Maar het is nog geen dokter.

• Gebruik het als een assistent: Laat de AI ideeën genereren of helpen met het schrijven van code.
• Vertrouw het niet blindelings: Als een AI zegt dat een patiënt over 2 jaar doodgaat, moet een menselijke arts altijd zeggen: "Wacht even, laten we dat nog eens checken."

De onderzoekers hopen dat deze test (LongevityBench) ervoor zorgt dat AI-bedrijven hun modellen gaan trainen om de echte logica van het leven te begrijpen, in plaats van alleen maar patronen te raden. Ze willen dat de AI's in de toekomst niet alleen slimme praters zijn, maar echte partners in het vinden van manieren om ouderdom te vertragen.

Kortom: De AI's zijn slim, maar ze zijn nog niet volwassen genoeg om de complexe reis van het ouder worden volledig te doorgronden. Ze hebben nog wat meer "levenservaring" nodig voordat ze echt mee kunnen denken met de beste biologen ter wereld.

Technische samenvatting

Titel: LongevityBench: Zijn State-of-the-Art LLM's klaar voor verouderingsonderzoek?

Auteurs: Alex Zhavoronkov et al. (Insilico Medicine, Buck Institute, The Jackson Laboratory)
Datum: 30 januari 2026 (Preprint)

---

1. Het Probleem

Veroudering is een van de meest informatierijke en universele biologische processen, maar het modelleren ervan is extreem complex omdat het alle weefsels en organisatie-niveaus omvat. Hoewel Large Language Models (LLM's) steeds vaker worden gebruikt in biomedisch onderzoek voor taken zoals het schrijven van code of het vinden van referenties, bestaat er onzekerheid over hun werkelijke begrip van biologische grondwaarheden.

De kernvraag is of deze modellen gebaseerd zijn op coherente interne representaties van het leven en veroudering, of dat ze slechts oppervlakkige correlaties en feitelijke memorisatie gebruiken. Er ontbreekt momenteel een systematische benchmark om te evalueren of LLM's biodata (zoals transcriptomen, DNA-methylering en proteomen) betrouwbaar kunnen interpreteren in de context van veroudering.

2. Methodologie

De auteurs introduceren LongevityBench, een uitgebreid evaluatiekader bestaande uit 30.193 prompts (ongeveer 50 miljoen tokens) die zijn samengesteld uit zeven verschillende openbare datasets.

Dataverzameling en Domeinen:
De benchmark dekt zes belangrijke data-modaliteiten in het verouderingsonderzoek:

1. Algemene populatie-overleving: Gebaseerd op NHANES-IV data (klinische bloedtests, medische geschiedenis) om overlevingstijd te voorspellen.
2. Verouderingstrajecten: Gebruikmakend van de Open Genes database om de richting van gen-expressie veranderingen in menselijk weefsel te bepalen.
3. Meervoudige mutaties levensduur: Data van Synergy Age (fruitvliegen en muizen) om het effect van genetische interventies op de levensduur te beoordelen.
4. Kanker-overleving: TCGA-data (RNA-seq) om progressievrije overleving bij kankerpatiënten te voorspellen.
5. Methyleringsveroudering: DNA-methyleringsprofielen (GEO) om chronologische leeftijd te voorspellen.
6. Transcriptomische veroudering: GTEx-data voor leeftijdsvoorspelling op basis van RNA-expressie in meerdere weefsels.
7. Proteomische veroudering: Olink proteomics data (bloedplasma) voor leeftijdsvoorspelling.

Opdrachtformaten:
Elke taak is ontworpen in meerdere vraagformaten om te testen of modellen onafhankelijk van de semantiek van de vraag kunnen redeneren:

• Binaire classificatie: Bijv. "Overleeft de persoon >10 jaar?"
• Pairwise vergelijking: "Wie leeft langer: Patiënt A of B?"
• Multiclass: Leeftijdsbinnen (bijv. 0-9, 10-19 jaar).
• Regression: Exacte voorspelling van overlevingstijd in maanden of procentuele levensduurverlenging.
• Generatief: Het voorspellen van ontbrekende genen of eiwitten op basis van een deels profiel.

Evaluatie:
Er werden 15 State-of-the-Art (SotA) LLM's getest, waaronder modellen van OpenAI (GPT-4.1, GPT-5, o3, o4), Google (Gemini 2.5/3), Anthropic (Claude Sonnet 4.5), xAI (Grok-3/4) en DeepSeek. De prestaties werden gemeten via nauwkeurigheid (Accuracy), Jaccard-index (voor generatieve taken) en Mean Absolute Error (MAE) voor regressie.

3. Belangrijkste Resultaten

Algemene Prestaties:

• Geen enkel model presteerde consistent bovenaan in alle domeinen. Google's Gemini 3 Pro behaalde de beste gemiddelde rang (5.00), gevolgd door OpenAI's GPT-5 en o3 (beide 5.06).
• Er is een enorme variatie in prestaties per data-type. Succes in één domein garandeert geen competentie in een ander.

Specifieke Bevindingen per Domein:

• Klinische Overleving (NHANES): Modellen presteerden goed in binaire classificatie (bijv. >85% nauwkeurigheid voor Gemini 3 Pro), maar faalden in pairwise vergelijkingen (rond 60-67%).
• RNG-regressie (Overlevingstijd): Er werd een systematische bias waargenomen. Modellen neigden om overlevingstijden te onderschatten en "te comprimeren" naar het bereik van 50-100 maanden, terwijl echte waarden tot >250 maanden konden lopen. Dit suggereert dat modellen ziektefactoren koppelen aan directe mortaliteit zonder behandelingssucces te wegen.
• Transcriptomische Veroudering (GTEx): In pairwise taken (wie is ouder?) presteerden alle modellen niet beter dan willekeur (0.48-0.55). In multiclass taken (leeftijdsbinnen) verbeterde de prestatie aanzienlijk, wat suggereert dat de kennis er is, maar niet wordt opgehaald bij specifieke vraagvormen.
• Proteomische Veroudering: Dit bleek het meest uitdagend. Zelfs de beste modellen hadden een zeer lage Jaccard-similairiteit (<0.03) bij het genereren van eiwitprofielen, waarschijnlijk door schaarste aan proteomics-data in de trainingscorpora.
• Genetische Interventies: Modellen die extra biologische context kregen (GO-annotaties), presteerden soms beter, maar modellen zoals o3 bleven stabiel ongeacht de context, wat wijst op een geïnternaliseerd begrip.

Format-afhankelijkheid:
Een cruciale bevinding is de instabiliteit van rankings afhankelijk van de vraagvorm. Een model dat goed scoort in een binaire taak, kan slecht presteren in een pairwise of regressie-taak met dezelfde data. Dit duidt op een gebrek aan een coherent intern model van de biologie.

4. Belangrijkste Bijdragen

1. LongevityBench: De eerste uitgebreide benchmark specifiek ontworpen om de competentie van LLM's in verouderingsbiologie te testen over diverse data-modaliteiten en vraagformaten.
2. Empirische Validatie: Het paper levert bewijs dat huidige SotA-modellen nog niet volledig betrouwbaar zijn als "onderzoeksgezellen" voor complexe biologische redeneringen, ondanks hun vloeiende communicatie.
3. Identificatie van Gaten: Het blootlegt systematische zwaktes, zoals de onbekwaamheid om proteomische signalen te interpreteren en de neiging tot onderdrukking van lange-termijn overleving in regressietaken.
4. Richtlijn voor Ontwikkeling: Het schets een pad voor het trainen van toekomstige modellen via het "MMAI Gym for Science", waarbij LongevityBench dient als grondslag voor Supervised Fine-Tuning (SFT) en Reinforcement Fine-Tuning (RFT) om modellen te dwingen biologische grondwaarheden te leren in plaats van oppervlakkige patronen.

5. Significantie en Conclusie

LongevityBench toont aan dat hoewel LLM's waardevolle hulpmiddelen zijn voor routine-taken, ze nog niet klaar zijn voor autonoom gebruik in kritieke verouderingsonderzoeken zonder menselijke validatie. De resultaten benadrukken dat:

• Vertrouwen moet worden gekalibreerd: Een model dat vloeiend tekst produceert, kan fundamenteel falen in het interpreteren van biodata.
• Specifieke selectie nodig is: Onderzoekers moeten modellen kiezen op basis van specifieke taken (bijv. Gemini 3 Pro voor klinische overleving, maar voorzichtigheid bij proteomics).
• Toekomstige richting: De benchmark dient niet alleen als een ranglijst, maar als een trainingsdoel. Door modellen te trainen om deze benchmarks te doorstaan, kan men AI-systemen ontwikkelen die gebaseerd zijn op een echt begrip van de biologische realiteit, wat essentieel is voor de ontwikkeling van geroprotectors en nieuwe therapieën.

De auteurs waarschuwen dat de rankings snel veranderen met nieuwe modelversies, maar dat de geïdentificeerde capaciteitsgaten (zoals de format-afhankelijkheid en de bias in regressie) systematische problemen blijven die aandacht vereisen in de AI-ontwikkeling voor de levenswetenschappen.