🧬 biology

Pre-Transformer Models for Longevity Science and Deep Ageing Clocks: An Empirical Analysis

Deze empirische studie toont aan dat voor de voorspelling van biologische leeftijd over diverse verouderingscohorten heen, pre-transformer modellen (zoals gepenaliseerde regressie en gradient boosting) over het algemeen beter presteren dan of gelijk zijn aan aandacht-gebaseerde transformers wat betreft nauwkeurigheid, data-efficiëntie, cross-cohort transfer en mortaliteitsrisicostratificatie, waarmee zij worden gevestigd als de rationele standaard voor longevity science, terwijl zij transformers positioneren als een gespecialiseerde tool die alleen levensvatbaar is bij uitzonderlijk grote datasets.

Oorspronkelijke auteurs: John Feng

Gepubliceerd 2026-07-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: John Feng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je probeert te raden hoe oud iemand werkelijk is, niet door naar het rijbewijs te kijken, maar door de kleine chemische aantekeningen te lezen die in hun cellen, bloed of zelfs hun hersenscans zijn geschreven. Wetenschappers noemen dit "biologische leeftijd". Terwijl je verjaardag vertelt hoe lang je al op aarde bent, vertelt je biologische leeftijd hoe snel je lichaam eigenlijk slijt. Sommige mensen zijn 50 maar voelen zich als 30; anderen zijn 30 maar voelen zich als 50. Om dit te achterhalen, bouwen onderzoekers "verouderingsklokken"—computerprogramma's die een berg rommelige data (zoals DNA-tags of bloedsuikerspiegels) nemen en een leeftijdschatting uitspugen. Het verschil tussen deze schatting en de echte verjaardag van de persoon wordt "leeftijdsversnelling" genoemd, en het is een superkracht: het kan voorspellen wie eerder ziek kan worden of kan overlijden.

Jarenlang was de populairste manier om deze klokken te bouwen het gebruik van oudere, simpelere wiskundige tools. Maar onlangs heeft een nieuw, supercomplex type AI genaamd een "Transformer" de techwereld overgenomen, en is het de ster geworden van alles van het schrijven van verhalen tot het herkennen van afbeeldingen. Natuurlijk vroegen wetenschappers zich af: "Moeten we onze oude, betrouwbare klokken vervangen door deze flitsende nieuwe Transformers?" Het is alsof je vraagt of we onze trouwe, brandstofzuinige fiets moeten vervangen door een enorme, hightech raket om naar de supermarkt te gaan. De grote vraag is: brengt de raket ons daadwerkelijk sneller daar, of verbruikt hij alleen maar een enorme hoeveelheid brandstof en stort hij neer omdat de weg te hobbelig is?

Dit artikel is de ultieme test op het racecircuit om het antwoord te vinden. De auteur, John Feng, zette een gigantisch, gecontroleerd toernooi op. Hij nam zes verschillende groepen mensen en vijf verschillende soorten data (van DNA tot hersenbeelden) en liet acht verschillende soorten computermodellen tegen elkaar strijden. Hij keek niet alleen naar welke het de verjaardag het dichtst benaderde; hij controleerde ook welke het goedkoopst was om te draaien, welke het makkelijkst te begrijpen was en—het allerbelangrijkste—welke er daadwerkelijk voorspelde wie eerder zou overlijden.

De resultaten waren een beetje een schok voor de tech-hype machine. De ouderwetse, simpelere modellen (zoals "penalized regression" en "gradient boosting") wonnen de race in vijf van de zes categorieën. Ze waren accuraat, goedkoop en hun voorspellingen kwamen overeen met echte gezondheidsrisico's. De Transformers? Die struikelden meestal. Op de kleine, rommelige datasets waar wetenschappers meestal mee werken, raakten de Transformers vaak in de war en maakten ze slechtere gokken dan de simpele modellen. Ze slaagden er alleen in om te winnen in één specifieke casus: een enorme dataset met 34.000 mensen, en zelfs toen versloegen ze de oude modellen slechts met een minuscule, bijna onzichtbare marge van 0,10 jaar.

Hier zit de twist die het verhaal echt interessant maakt: het model dat het beste was in het raden van de verjaardag (de pretrained Transformer) was eigenlijk het slechtste in het voorspellen van wie er een risico liep om te overlijden. Het was als een student die het tekstboek perfect uit het hoofd kende, maar de praktijktoets niet haalde. De simpelere modellen waren, hoewel niet altijd de absoluut snelste in het raden van het getal, veel beter in het opsporen van de echte biologische gevarentekens.

Het artikel concludeert dat voor de wereld van het verouderingsonderzoek de "pre-Transformer" toolkit (de oudere, simpelere modellen) nog steeds de slimste keuze is. Het is de fiets die je betrouwbaar op de bestemming brengt. De Transformers zijn krachtig, maar ze zijn als die raket: ze maken alleen zin als je een enorme hoeveelheid data en onbeperkte brandstof hebt, en zelfs dan komen ze misschien niet op de juiste bestemming aan. De auteurs suggereren dat we onze oude gereedschappen niet moeten weggooien alleen omdat de nieuwe er cooler uitzien; soms is de simpele, saaie wiskunde precies wat de dag redt.

Technische Samenvatting: Pre-Transformer Modellen voor Longevity Science en Diepe Verouderingsklokken

Probleemstelling

Het veld van de computationele biogerontologie vertrouwt op "verouderingsklokken" (ageing clocks)—modellen die hoogdimensionale moleculaire of fysiologische data in kaart brengen naar een schatting van de biologische leeftijd. De afwijking van de chronologische leeftijd (leeftijdsversnelling) dient als een voorspeller voor morbiditeit en mortaliteit. Hoewel het veld historisch gezien gebruik heeft gemaakt van pre-transformer methoden (gepenaliseerde regressie, kernel machines, tree ensembles en pre-2017 deep networks), roept de dominantie van aandacht-gebaseerde transformers in de algemene kunstmatige intelligentie een kritische vraag op: presteren transformers beter dan deze gevestigde methoden onder de specifieke datavoorwaarden van verouderingsonderzoek?

De huidige literatuur voert vaak a priori aan dat verouderingscohorten (kleine steekproefomvang, hoge dimensionaliteit, ruisende labels en regelgevende vereisten) de voorkeur geven aan parsimonieuze modellen, maar dit heeft een gebrek aan empirische validatie door middel van head-to-head vergelijkingen. Dit artikel adresseert deze kloof door een gecontroleerde benchmark uit te voeren om te bepalen of de migratie naar transformers gerechtvaardigd is of dat pre-transformer toolkits de rationele standaard blijven.

Methodologie

De studie stelt een verenigde benchmark op over zes publieke cohorten verspreid over vijf datamodaliteiten:

DNA-methylatie: GSE40279 (bloed, 450K array, $n=656$ , $p \approx 20.000$ ).
Bloedbiochemie: NHANES (klinische markers, $n \approx 34.000$ , 34 features).
Transcriptoom: GTEx v8 (volbloed, $n \approx 755$ , 5.000 genen).
Darmmicrobioom: American Gut (16S profielen, $n \approx 9.500$ , $\sim 1.500$ taxa).
Accelerometrie: NHANES (7-daagse minuten-niveau series, $n \approx 7.000$ ).
Hersen-MRI: Cam-CAN (T1 structurele scans, $n \approx 650$ ).

Modelklassen: Acht verschillende modelklassen werden geëvalueerd:

Klassieke Pre-Transformers: Elastic Net, Kernel SVR, Random Forest, Gradient Boosted Decision Trees (GBDT).
Pre-Transformer Deep Nets: Multilayer Perceptron (MLP), en modaliteit-specifieke diepe netwerken (Autoencoder voor tabulaire data, ConvLSTM voor accelerometrie, 3D-CNN voor MRI).
Transformers: Vanuit-het-zijn (Tr-scr) en Pretrained-then-Fine-tuned (Tr-pre) varianten (FT-Transformer/TabTransformer voor tabulaire data, Sequence Transformer voor accelerometrie, Vision Transformer voor MRI).

Protocol:

Evaluatie: Een enkel geneste cross-validatie protocol (5-fold outer loop herhaald 10 keer) met identieke data-splits, features en random seeds voor alle modellen.
Hyperparameter Tuning: Optuna (100 trials) gebruikt binnen de inner loop.
Metrics:
- Nauwkeurigheid: Gemiddelde Absolute Fout (MAE) en Pearson correlatie tegen chronologische leeftijd.
- Efficiëntie: Trainingsrekenkracht relatief aan Elastic Net.
- Interpretabiliteit: Fractie van de top-geattribueerde features die literatuur-gevalideerde verouderingsmarkers zijn.
- Biologische Validiteit: Hazard Ratio (HR) van de leeftijdsversnelling-residuen tegen alle doodsoorzaken (getest op NHANES).
- Transfereerbaarheid: Prestatieverslechtering ( $\Delta$ MAE) wanneer getraind op GSE40279 en getest op een onafhankelijk cohort (GSE87571).

Belangrijkste Resultaten

1. Nauwkeurigheid over Modaliteiten heen

Tabulaire Omics: Op methylatie-, transcriptoom- en microbioomdata waren gepenaliseerde regressie (Elastic Net) en gradient boosting de beste of gedeeld beste presteerders.
- Methylatie: Elastic Net bereikte de laagste MAE (3,42 jr); de vanuit-het-zijn transformer presteerde het slechtst (5,22 jr) vanwege overfitting.
- Transcriptoom: GBDT leidde (8,07 jr); de vanuit-het-zijn transformer volgde achterop (9,90 jr).
Gestructureerde Data: Op accelerometrie en MRI presteerden modaliteit-specifieke pre-transformer diepe netwerken (ConvLSTM en 3D-CNN) beter dan alle andere klassen.
- Accelerometrie: ConvLSTM (12,66 jr) vs. Transformers (>13 jr).
- MRI: 3D-CNN (4,74 jr) vs. Vision Transformer (7,48 jr).
Groot- $n$ Cohort: Het enige cohort waar een transformer won, was de NHANES bloedchemie ( $n \approx 34.000$ ). De pretrained transformer bereikte een marginaal lagere MAE (6,40 jr) dan GBDT (6,50 jr), een verschil van slechts 0,10 jr.
Geaggregeerd: Hoewel de pretrained transformer de laagste gemiddelde kloof tot het beste resultaat had over alle cohorten (0,18 jr), wordt dit geaggregeerde voordeel volledig gedreven door het enkele grote- $n$ cohort.

2. Datagebruik en Rekenkracht

Break-even Punt: In het NHANES-cohort begon de pretrained transformer pas de gradient boosting te overtreffen bij een trainingssteekproefgrootte van $n \approx 23.000$ . Onder deze drempel waren pre-transformer modellen strikt superieur.
Rekenkosten: De pretrained transformer vereiste ongeveer 21.000× de rekenkracht van een Elastic Net en 23× de rekenkracht van een specifiek diep netwerk om een marginale verbetering van 0,05 jr in de gemiddelde kloof tot het beste resultaat te behalen. Vanuit-het-zijn transformers waren de minst efficiënte.

3. Interpretabiliteit en Markerherstel

Sparse lineaire modellen (Elastic Net) en tree ensembles (GBDT) herstelden literatuur-gevalideerde verouderingsmarkers tegen aanzienlijk hogere ratio's (0,74 en 0,73, respectievelijk) vergeleken met diepe en transformer modellen (0,29–0,46).
Attributies van diepe en transformer modellen waren diffuus verspreid over veel zwak gewogen inputs, terwijl sparse modellen specifieke, bekende biomarkers identificeerden (bijv. serumalbumine, C-reactief proteïne).

4. Biologische Validiteit (Mortaliteit Voorspelling)

De Paradox: Het model met de laagste chronologische-leeft fout (de pretrained transformer) droeg de zwakste mortaliteitssignaal (Hazard Ratio $\approx 1,13$ per SD).
Risicostratificatie: Beide transformer-varianten scoorden onderaan voor risicostratificatie. Daarentegen vertoonde GBDT, dat een bijna identieke leeftijd-nauwkeurigheid had aan de transformer (6,50 vs. 6,40 jr), een veel sterker mortaliteitssignaal (HR $\approx 1,27$ ).
Conclusie: Het minimaliseren van de chronologische-leeft fout leidt niet tot het maximaliseren van het biologische signaal; modellen met een hoge capaciteit lijken residuen te leren die minder informatief zijn voor mortaliteitsrisico.

5. Cross-Cohort Transfer

Bij het transfereren van een methylatieklok van GSE40279 naar GSE87571 vertoonde de Elastic Net de minste degradatie ( $\Delta$ MAE +1,2 jr).
De vanuit-het-zijn transformer degradeerde het meest (+4,0 jr), gevolgd door specifieke diepe netwerken (+2,8 jr). De pretrained transformer vertoonde een intermediaire robuustheid (+1,9 jr), wat suggereert dat zelfgesuperviseerde pretraining helpt bij transfer, maar niet tot het niveau van sparse lineaire modellen komt.

Betekenis en Claims

Het artikel concludeert dat voor de datavoorwaarden die kenmerkend zijn voor menselijk verouderingsonderzoek (kleine $n$ , hoge $p$ , tabulaire omics, gestructureerde beeldvorming), de pre-transformer toolkit de rationele standaard is.

Structurele Superioriteit: Pre-transformer modellen (gepenaliseerde regressie, GBDT, ConvLSTM, 3D-CNN) zijn niet louter "legacy" tools, maar zijn structureel beter geschikt voor de $p \gg n$ regime en de specifieke inductieve biases die vereist zijn voor gestructureerde data.
Transformer Beperkingen: Transformers winnen niet op nauwkeurigheid in typische verouderingsscenario's. Hun enige voordeel lijkt te liggen in de specifieke conjunctie van grote steekproefgroottes ( $n > 23.000$ ) of grote ongelabelde corpora voor pretraining, en zelfs dan is de winst in nauwkeurigheid verwaarloosbaar (0,10 jr) en gaat dit gepaard met een evenredig hoge rekenkost.
Biologische Validiteit: Het streven naar minimale chronologische-leeft fout via modellen met een hoge capaciteit kan contraproductief zijn, aange wellicht deze modellen leeftijdsversnelling-residuen produceren met een zwakkere associatie met mortaliteit.
Aanbeveling: Aandachtsmechanismen (attention mechanisms) zouden beschouwd moeten worden als een gerichte toevoeging in plaats van een vervanging. Ze zijn alleen gerechtvaardigd wanneer specifieke cohorten genuween sequentiestructuur en ongelabelde schaal bieden die aansluiten bij de inductieve biases van de transformer. Voor het overgrote deel van het verouderingsonderzoek biedt de pre-transformer toolkit de beste balans tussen nauwkeurigheid, interpretabiliteit, transfereerbaarheid en biologische validiteit.