🧬 biology

GENEB: Why Genomic Models Are Hard to Compare

Om de moeilijkheid van het vergelijken van genomische fundamentele modellen aan te pakken vanwege gefragmenteerde benchmarks en incompatibele protocollen, introduceert het artikel GENEB, een verenigde grootschalige diagnostische benchmark die 40 modellen over 100 taken evalueert om de instabiliteit van geaggregeerde ranglijsten te onthullen en aan te tonen dat architecturale en pretraining-afstemming vaak zwaarder wegen dan modelgrootte.

Oorspronkelijke auteurs: Daria Ledneva, Mikhail Nuridinov, Denis Kuznetsov

Gepubliceerd 2026-08-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daria Ledneva, Mikhail Nuridinov, Denis Kuznetsov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren lezen uit de geheime instructiehandleiding van het leven. Deze handleiding is geschreven in een taal die bestaat uit slechts vier letters: A, C, G en T. Deze letters vormen de DNA-code die vertelt hoe elk levend wezen — van een minuscule bacterie tot een reusachtige eikenboom — zichzelf opbouwt en functioneert. In de afgelopen jaren hebben wetenschappers "foundation models" gebouwd, die lijken op superintelligente studenten die miljarden pagina's van deze DNA-handleiding hebben gelezen. Ze zijn bedoeld om de regels van de taal zo goed te leren dat ze dingen kunnen voorspellen zoals hoe een gen zal gedragen of of een specifieke sequentie een ziekte veroorzaakt.

Maar hier is het probleem: stel je voor dat elke student in een klas een andere toets maakt, een ander woordenboek gebruikt en door een andere docent wordt beoordeeld. De ene student is misschien geweldig in spelling maar slecht in grammatica, terwijl een andere een grammaticawizard is maar niet kan spellen. Als je alleen naar hun eindcijfers kijkt, weet je niet wie de beste student is. Je weet niet of de "grammaticawizard" de spellingtoets heeft gefaald omdat hij slecht is in spelling, of omdat de toets onrechtvaardig was. Dit is precies wat er is gebeurd in de wereld van de DNA-AI. Verschillende onderzoeksteams bouwen hun eigen modellen, testen ze op hun eigen unieke taken en beweren dat hun model de "beste" is. Maar omdat ze niet dezelfde toets maken, kan niemand hen eerlijk vergelijken. Het is also[it] een poging om te bepalen wie de beste atleet ter wereld is door de tijd van een zwemmer in een zwembad te vergelijken met de tijd van een hardloper op een atletiekbaan zonder een uniforme standaard.

Dit is waar een nieuwe studie genaamd GENEB inspringt om de chaos op te lossen. De onderzoekers, Daria Ledneva, Mikhail Nuridinov en Denis Kuznetsov, besloten een enorme, verenigde "Olympische Spelen" voor DNA-modellen te organiseren. Ze verzamelden 40 verschillende genomische foundation models — sommige groot, sommige klein, sommige getraind op menselijk DNA, andere op bacteriën of planten — en onderwierpen ze allemaal aan exact dezelfde 100 uitdagingen. Deze uitdagingen bestonden uit 13 verschillende soorten biologische taken, zoals het vinden van specifieke schakelaars in het DNA (promotoren), het identificeren van hoe genen aan- of uitgeschakeld worden (histonmodificaties), of het opsporen van virussen. Ze gebruikten een strikt, eerlijk scoresysteem om te zien hoe elk model presteerde terwijl het "bevroren" was, wat betekent dat ze niets nieuws konden leren tijdens de test; ze moesten volledig vertrouwen op wat ze al hadden geleerd.

De resultaten van dit grootschalige experiment waren verrassend en schudden een paar algemene overtuigingen door elkaar. Ten eerste toonde de studie aan dat groter niet altijd beter is. In de wereld van AI bestaat het populaire idee dat als je een model simpelweg groter maakt (het meer "hersencapaciteit" of parameters geeft), het automatisch slimmer wordt. Maar GENEB liet zien dat dit geen wondermiddel is. Ze ontdekten dat een klein model met slechts 86 miljoen "parameters" (een maatstaf voor grootte) een gigantisch model met 7 miljard parameters met een enorme marge kon verslaan. Sterker nog, het gigantische model presteerde bij sommige taken zo slecht dat het slechter was dan willekeurige gokken, simpelweg omdat het getraind was op het verkeerde soort DNA (bacteriën) terwijl de test over menselijk DNA ging. Het is alsof je een chef-kok die een meester is in het koken van Italiaans eten vraagt om een traditionele Japanse maaltijd te bereiden; ongeacht hoe beroemd of duur de chef ook is, hij zal worstelen als hij de ingrediënten niet kent.

Ten tweede ontdekte de studie dat waar een model op getraind is belangrijker is dan hoe groot het is. Een model dat specifiek op menselijk DNA of een mix van vele verschillende soorten is getraind, presteerde veel beter op menselijke taken dan een enorm model dat alleen op bacteriën is getraind. De onderzoekers toonden aan dat als het "dieet" van het model (de data die het tijdens de training at) niet overeenkomt met de "maaltijd" die het later wordt gevraagd te eten (de taak waarvoor het getest wordt), het faalt. Bijvoorbeeld: modellen getraind op menselijke data waren verschrikkelijk in het identificeren van plantengenen, en modellen getraind op bacteriën konden niet begrijpen hoe menselijke genen worden gesplitst (splicing). Het artikel suggereert dat voor deze modellen echt nuttig te zijn, ze de juiste soort data moeten krijgen voor de specifieke taak, in plaats van alleen maar groter gemaakt te worden.

Ten slotte betoogt het artikel dat er niet één enkel "kampioen"-model bestaat. Net als in de sport kan een model de beste zijn in hardlopen, maar verschrikkelijk in zwemmen. De studie vond dat een model dat de beste presteerde op de ene taak, bijna onderaan kon staan op een andere. Dit betekent dat in plaats van te zoeken naar één "beste" model dat overal de baas is, wetenschappers en artsen de juiste tool voor de specifieke taak moeten kiezen. Als je wilt voorspellen hoe een menselijk gen wordt gereguleerd, moet je een model kiezen dat getraind is op menselijke epigenetische data. Als je plantengenen wilt identificeren, heb je een model nodig dat getraind is op planten. Het artikel concludeert dat de huidige manier waarop deze modellen gerangschikt worden met een enkele leaderboard misleidend is en dat we een zorgzamiger aanpak per categorie nodig hebben om de juiste AI voor de juiste biologische vraag te kiezen.

Technische Samenvatting: GENEB – Waarom genomische modellen moeilijk te vergelijken zijn

1. Probleemstelling

De snelle expansie van genomische fundamentele modellen heeft de ontwikkeling van methodologische infrastructuur voor hun vergelijking overtroffen. Huidige evaluatiepraktijken worden gekenmerkt door gefragmenteerde benchmarks, incompatibele protocollen en taakspecifieke rapportage. Bijgevolg zijn claims van modelsuperioriteit of algemeenheid vaak niet direct vergelijkbaar; een model kan worden geprezen als een doorbraak in de ene context, terwijl het in een andere context ondermaats presteert vanwege het ontbreken van een verenigd evaluatiekader. Deze fragmentatie vertroebelt de werkelijke relaties tussen modellen en belemmert de beoordeling van echte vooruitgang. Bovendien ontbreekt in het veld een systematisch begrip van hoe modelomvang, architectuur, tokenisatie en pretraining-data interageren om de prestaties over diverse genomische taken te beïnvloeden.

2. Methodologie

Om deze uitdagingen aan te pakken, introduceren de auteurs GENEB, een grootschalige diagnostische benchmark die is ontworpen om de bevroren representaties van 40 genomische fundamentele modellen te evalueren over 100 taken verspreid over 13 functionele categorieën.

Evaluatieprotocol: GENEB maakt gebruik van een verenigd probing-gebaseerd protocol. Bevroren sequentie-representaties worden geëxtraheerd uit elk model en geëvalueerd met behulp van lichtgewicht logistische regressieclassificaties. Deze aanpak isoleert de kwaliteit van de representatie van de verwarrende effecten van taakspecifieke fine-tuning.
Shot Regimes: Modellen worden geëvalueerd onder drie regimes: full-data, 10-shot en 1-shot, wat de analyse van few-shot robuustheid mogelijk maakt.
Metrieken: De primaire metriek is de Matthews Correlation Coefficient (MCC), gekozen vanwege de robuustheid tegen klassenimbalans, wat standaard is in genomische evaluatie.
Benchmark Samenstelling: De 100 taken zijn samengesteld uit negen bestaande benchmarks (bijv. Nucleotide Transformer, GUE, Genomic Benchmarks) en georganiseerd in 13 functionele categorieën, waaronder Histonmodificaties, Promotors, Enhancers, DNA-methylatie, Splice Sites, lncRNA en Soortclassificatie. Opvallend genoeg richten 12 van de 13 categorieën zich op eukaryote genomische verschijnselen.
Gecontroleerde Vergelijkingen: Om specifieke factoren te isoleren, voeren de auteurs matched-pair analyses uit waarbij modellen worden vergeleken terwijl andere variabelen constant worden gehouden (bijv. het vergelijken van architecturen met hetzelfde pretraining-corpus en dezelfde tokenisatie, of het vergelijken van pretraining-data met dezelfde architectuur en tokenisatie).

3. Belangrijkste Bijdragen

Verenigde Benchmark: GENEB biedt de eerste uitputtende, gecontroleerde evaluatie van 40 diverse genomische fundamentele modellen op een uitgebreide suite van taken, en dient als een referentiekader analoog aan MTEB in de natuurlijke taalverwerking.
Diagnostisch Kader: Door taakniveau trade-offs en prestatieheterogeniteit bloot te leggen, gaat GENEB verder dan geaggregeerde leaderboards om categorie-bewuste modelselectie op principiële wijze mogelijk te maken.
Systematische Analyse: Het artikel biedt een granulair onderzoek naar de interactie tussen schaal, architectuur, tokenisatie en pretraining-data, en daagt de aanname uit dat het aantal parameters de primaire drijfveer voor prestaties is.

4. Belangrijkste Resultaten

De Disconnect tussen Schaal en Prestaties

Hoewel er een statistisch significante geaggregeerde correlatie is tussen modelomvang en prestaties ( $\rho = 0.573$ ), is schaal een imperfecte voorspeller van uitkomsten op categorieniveau.

In-domain Reversals: Onder in-domain modellen zijn er 25 instanties waar een model dat minstens 5 $\times$ kleiner is, een grotere tegenhanger overtreft in geaggregeerde MCC.
Domein Mismatch: De correlatie versterkt naar $\rho = 0.694$ wanneer EVO-1-131K wordt uitgesloten, een model met 7 miljard parameters dat uitsluitend op prokaryote sequenties is getraind. Dit model behoort tot de zwakste op eukaryote taken (bijv. TF binding, splice sites), wat illustreert dat domein mismatch de voordelen van enorme schaal teniet kan doen.

Architecturale en Pretraining Effecten

Architectuur: Onder gecontroleerde omstandigheden (matchende pretraining en tokenisatie) presteren Transformer-gebaseerde modellen over het algemeen beter dan state-space modellen (bijv. Mamba). Dit is echter niet universeel; op Chromatine Toegankelijkheid presteren Mamba-gebaseerde modellen (ECCDNAMAMBA) beter dan Transformer decoders, wat suggereert dat architectuur-taak alignment cruciaal is.
Pretraining Data: Taxonomische alignment is cruciaal.
- Multi-species vs. Human-only: Multi-species pretraining levert over het algemeen kleine maar consistente winsten op ten opzichte van human-only pretraining, met name op Chromatine Toegankelijkheid en Splice Sites.
- Eukaryotisch vs. Prokaryotisch/Microbieel: Modellen die zijn voorgetraind op prokaryote of enkel microbiële corpora, transfereren slecht naar eukaryote taken. EVO-1-131K (prokaryoot) en DNABERT-S (microbieel) presteren aanzienlijk slechter op eukaryote taken dan eukaryoot-gerichte modellen.
- Gen-gericht vs. Algemeen: Gen-gerichte pretraining (bijv. GENERATOR-EUKARYOTE) toont voordelen boven brede multi-species pretraining op specifieke taken zoals Splice Sites en lncRNA.

Tokenisatie

Geen enkele tokenisatiestrategie (BPE, k-mer, single-nucleotide) domineert globaal. De optimale keuze hangt af van de interactie tussen architectuur en pretraining-data. Zo presteert single-nucleotide tokenisatie (MUTBERT) bijvoorbeeld beter dan BPE op human-pretrained modellen voor bepaalde taken, terwijl BPE voordelen laat zien in multi-species decoder settings.

Few-Shot Robustheid

Prestaties dalen scherp in scenario's met weinig data (de gemiddelde macro-MCC daalt van 0.488 in full-shot naar 0.106 in 1-shot).

Invers Patroon: Tegenintuïtief genoeg laten modellen met de laagste full-shot prestaties vaak de kleinste absolute dalingen zien in few-shot regimes. Dit wordt toegeschreven aan een lage prestatieplafond eerder dan aan echte robuustheid.
Categorie Gevoeligheid: Few-shot rangschikkingen verschillen significant van full-shot rangschikkingen in 8 van de 13 categorieën, wat aangeeft dat het beste model voor full supervision niet noodzakelijkerwijs het beste is voor few-shot deployment.

Taak Moeilijkheidsgraad en Specialisatie

Hard Frontiers: Taken zoals DNA-methylatie voorspelling en plant lncRNA identificatie blijven grotendeels onopgelost, waarbij veel modellen presteren nabij willekeurige prestaties. Alleen schalen lost deze hiaten niet op.
Specialisatie: Taken met een hoge variantie laten zien dat de modelkeuze een buitensporige impact heeft op downstream prestaties. Gespecialiseerde modellen (bijv. ENFORMER voor regulatoire taken, PLANTCADUCEUS voor plant lncRNA) presteren vaak beter dan generalisten op hun specifieke domeinen, zelfs met minder parameters.

5. Betekenis en Claims

Het artikel stelt dat geaggregeerde leaderboards instabiel en vaak misleidend zijn voor de selectie van genomische modellen. De primaire betekenis van GENEB ligt in het vermogen om:

Trade-offs Bloot te leggen: Onthullen dat architecturale en pretraining alignment vaak zwaarder wegen dan het aantal parameters, en dat geen enkel model domineert over alle biologische contexten heen.
Geprincipeerde Vergelijking Mogelijk te Maken: Een gedeeld referentiepunt bieden voor het beoordelen van vooruitgang, waardoor het veld beweegt van gefragmenteerde, single-paper evaluaties naar gecontroleerde, reproduceerbare vergelijkingen.
Modelselectie te Sturen: Een verschuiving stimuleren naar categorie-bewuste modelselectie. Gebruikers worden aangemoedigd om modellen te selecteren op basis van specifieke taakeisen (bijv. regulatoire vs. structurele taken) en domein alignment (bijv. eukaryoot vs. prokaryoot) in plaats van te vertrouwen op een enkele globale ranglijst.

De auteurs concluderen dat hoewel schalen een substantiële voorspeller blijft voor geaggregeerde prestaties, het onvoldoende is om harde genomische taken of domein mismatches te overwinnen. Toekomstige vooruitgang vereist complementaire vooruitgang in pretraining corpus ontwerp, inductieve biases en taakspecifieke supervisie, geleid door de diagnostische inzichten die GENEB biedt.