Tokenization to Transfer: Do Genomic Foundation Models Learn Good Representations?

De studie concludeert dat vooraf getrainde genomische foundation modellen slechts beperkte voordelen bieden ten opzichte van willekeurig geïnitieerde basismodellen, waarbij de tokenisatiestrategie een cruciale rol speelt en huidige methoden tekortschieten in het detecteren van klinisch relevante genetische mutaties.

De kern

Titel: Genen en AI: Waarom "slapen" de slimste modellen soms net zo goed als "leeg" modellen?

Stel je voor dat je een enorme bibliotheek hebt met alle instructieboeken voor het bouwen van een mens. Deze instructies zijn geschreven in een taal van vier letters: A, C, G en T (de bouwstenen van ons DNA).

In de afgelopen jaren hebben wetenschappers geprobeerd slimme computers (AI-modellen) te leren deze taal te begrijpen, net zoals we computers leren menselijke taal te spreken. Ze noemen deze modellen "Genomic Foundation Models" (GFMs). Het idee was simpel: laat de computer eerst miljarden pagina's DNA lezen (pre-training) zonder dat iemand hem iets speciaals leert, en kijk of hij daarna slim genoeg is om ziektes te voorspellen of mutaties te vinden.

Deze paper van ICLR 2026 stelt echter een hele vervelende, maar belangrijke vraag: Is dat "eerst lezen" wel nodig? Of doen de modellen het net zo goed als ze gewoon met een lege hersenen beginnen?

Hier is wat de onderzoekers hebben ontdekt, vertaald naar alledaagse taal:

1. De "Lege Hersenen" verrassing

Stel je voor dat je twee studenten wilt testen op hun kennis van de geschiedenis.

• Student A heeft 10 jaar lang alle geschiedenisboeken uit de bibliotheek gelezen (dit is het voorgeöordeelde model).
• Student B heeft niets gelezen, maar heeft een heel slimme manier om vragen te lezen en te raden (dit is het willekeurig geïnitieerde model).

Je zou denken dat Student A altijd wint. Maar in dit onderzoek bleek dat Student B (het model dat niets heeft gelezen) vaak net zo goed, en soms zelfs beter, scoorde dan Student A!

De moraal: Het kost enorme hoeveelheden energie en geld om die "10 jaar lezen" te simuleren, maar het levert voor veel taken misschien weinig extra op.

2. Het geheim zit in de "woorden" (Tokenizers)

Waarom doet Student B het zo goed? Het komt door hoe ze de tekst bekijken.

• Sommige modellen kijken naar lettertjes (A, C, G, T). Dit is als een kind dat het alfabet kent.
• Andere modellen kijken naar woordjes (bijvoorbeeld "ATCG" als één stukje). Dit is als een volwassene die zinnen leest.

De onderzoekers ontdekten iets verrassends:

• Modellen die lettertjes gebruiken, zijn al zo slim dat ze niet hoeven te "leren" (pre-trainen). Ze zijn als een native spreker die de taal al intuïtief begrijpt.
• Modellen die woordjes gebruiken, hebben wel baat bij het "lezen" van de boeken. Maar zonder dat lezen zijn ze vaak slecht.

De analogie: Het is alsof je een auto bouwt. Als je de wielen (de tokenisering) goed kiest, kun je de auto al laten rijden zonder motor (pre-training). Als je slechte wielen kiest, heb je een enorme motor nodig om hem überhaupt vooruit te krijgen.

3. De "blinddoek" test (Mutaties vinden)

Dit is misschien wel het belangrijkste punt. Een van de belangrijkste taken voor deze AI is het vinden van kleine foutjes in het DNA (mutaties) die ziektes veroorzaken. Denk aan een lettertje dat verkeerd staat in een heel lang boek.

De onderzoekers deden een test: ze veranderden een paar lettertjes in de DNA-reeks en vroegen de AI: "Zie je het verschil?"

Het resultaat was schokkend: De meeste AI-modellen zagen niets.
Zelfs als ze de helft van de letters veranderden, zeiden ze: "Nee, dit is precies hetzelfde." Hun "gevoel" voor het DNA bleef hetzelfde.

De analogie: Stel je voor dat je een foto van je vriend maakt. Vervolgens verkleurt je de foto, plakt je een neus op zijn gezicht en verandert je zijn haar. Als de AI zegt: "Nee, dit is nog steeds dezelfde persoon," dan is de AI niet echt slim. Hij mist de subtiele details die voor artsen cruciaal zijn.

4. Wat betekent dit voor de toekomst?

De boodschap van dit onderzoek is niet dat AI in de genetica nutteloos is, maar dat we de manier waarop we het bouwen moeten herzien.

• Stop met blindelings kopiëren: We kopiëren nu te veel methoden uit de taalwereld (NLP) naar de genetica. Dat werkt niet altijd.
• Kies de juiste "woorden": We moeten modellen bouwen die beter omgaan met de unieke structuur van DNA (bijvoorbeeld door op lettertjes te kijken in plaats van op woordjes).
• Focus op de details: Als een model niet kan zien dat één lettertje in het DNA is veranderd, is het nog niet klaar voor het ziekenhuis. We moeten modellen trainen om die subtiele verschillen te zien, niet alleen om grote patronen te herkennen.

Kortom:
We hebben tot nu toe gedacht dat we enorme rekenkracht nodig hadden om slimme DNA-modellen te maken. Dit onderzoek zegt: "Wacht even, misschien zijn we de verkeerde weg op gegaan. Een slimme manier om naar de data te kijken (de tokenisering) is belangrijker dan het enorme 'leren' dat we nu doen."

Het is alsof we jarenlang geprobeerd hebben om een auto sneller te maken door een grotere motor te bouwen, terwijl we vergeten waren dat we gewoon de banden moesten vervangen.

Technische samenvatting

Probleemstelling

De opkomst van Large Language Models (LLM's) heeft geleid tot de ontwikkeling van Genomic Foundation Models (GFMs) die vergelijkbare onbewaakte pre-training technieken gebruiken (zoals Next Token Prediction of Masked Language Modeling) op enorme genomische datasets. Ondanks de enorme rekenkracht die hiervoor nodig is, blijft de relatie tussen pre-training prestaties en effectiviteit in downstream-taken onduidelijk.
De auteurs stellen de volgende kritische vragen:

1. Is onbewaakte pre-training in de genomica werkelijk effectief, of kunnen modellen met willekeurig geïnitieerde gewichten vergelijkbare resultaten behalen?
2. Hoe beïnvloeden keuzes in tokenisatie (k-mer, BPE, karakter) en architectuur de prestaties en de winst van pre-training?
3. Kunnen bestaande GFMs subtiele genetische variaties (zoals single nucleotide polymorphisms - SNPs) detecteren, wat essentieel is voor klinische toepassingen?

Methodologie

De auteurs hebben een uitgebreide evaluatie uitgevoerd van zeven recente GFMs (waaronder HyenaDNA, Caduceus, Mistral, Nucleotide Transformer, GENA-LM, DNABERT-2) over 52 diverse genomische taken.

Belangrijke experimentele opzet:

• Vergelijking Pre-trained vs. Random Init: Voor elk model werd een identiek geconfigureerde versie getraind met willekeurig geïnitieerde gewichten (random initialization). Beide versies werden onderzocht via:
  • Finetuning: Op benchmarks zoals NT Benchmark, GUE (Genome Understanding Evaluation) en Genomic Benchmarks.
  • Feature Extraction: Het gebruik van ingebouwde embeddings van "bevroren" (niet-gefinetuned) modellen om een simpele classifier (XGBoost) te trainen.
  • Genomische Variatie Analyse: Evaluatie van de gevoeligheid voor mutaties via cosine similarity tussen originele en gemuteerde sequenties, en log-likelihood ratio tests op ClinVar-varianten.
• Ablatie Studies:
  • Tokenisatie: Twee identieke HyenaDNA-modellen werden getraind, één met een karakter-tokenizer en één met een 6-mer tokenizer, om het effect van tokenisatie te isoleren.
  • Embedding Dimension: De invloed van de embed-dimensie op de prestaties van willekeurig geïnitieerde modellen werd onderzocht.
• Data: Gebruik van diverse datasets, waaronder het 1000 Genomes Project, Human Reference Genome (HRG), en ClinVar voor klinische varianten.

Belangrijkste Bevindingen en Resultaten

1. Sterke Baselines met Willekeurige Initiatie

• Modellen met willekeurig geïnitieerde gewichten presteren verrassend goed en zijn vaak concurrentieel met, of zelfs superieur aan, hun grootverbruikende pre-trained tegenhangers.
• Tokenisatie is cruciaal: Modellen die werken op karakter-niveau (bijv. Caduceus, HyenaDNA, Mistral) behalen vanuit het niets al hoge prestaties. Ze overtreffen vaak grotere pre-trained modellen die gebruikmaken van subword-tokenisatie (k-mer of BPE).
• Subword-modellen: Modellen met k-mer of BPE tokenizers profiteren wel van pre-training, maar de winst is vaak beperkt (vaak < 3-5% verbetering).

2. Tokenisatie en Inductieve Bias

• Een ablatiestudie toonde aan dat een karakter-token model een lagere pre-training loss had, maar significant slechter presteerde op downstream-taken dan een k-mer model (+0.187 MCC voordeel voor k-mer).
• Dit suggereert dat pre-training loss een misleidend proxy kan zijn voor downstream prestaties. K-mer tokenisatie biedt een nuttige inductieve bias (herkenning van motieven) die direct helpt bij functionele genomische taken, terwijl karakter-tokenisatie een makkelijker input-ruimte creëert voor random initiatie.

3. Beperkte Winst van Pre-training

• De winst van pre-training is sterk afhankelijk van de architectuur en tokenisatie. Voor karakter-token modellen is de winst vaak minimaal of zelfs negatief.
• Zelfs in scenario's met weinig gelabelde data (1-5% van de labels) blijft het patroon bestaan: subword-modellen profiteren iets meer van pre-training dan karakter-modellen, maar de absolute prestaties van goed geoptimaliseerde random baselines blijven hoog.

4. Gebrek aan Gevoeligheid voor Genetische Variaties

• Dit is een van de meest kritieke bevindingen. GFMs tonen zeer beperkte gevoeligheid voor subtiele mutaties.
  • Cosine Similarity: Zelfs wanneer 50% van de nucleotiden in een sequentie wordt gewijzigd, blijven de cosine similarity scores tussen de originele en gemuteerde embedding vaak boven de 0.99.
  • ClinVar Tests: Bij het onderscheiden van pathogene versus goedaardige varianten (in genen zoals TP53, BRCA2, CFTR) presteerden de modellen nauwelijks beter dan willekeur (AUROC rond 0.5).
• Conclusie: Bestaande GFMs coderen geen allel-niveau informatie die nodig is voor pathogeniciteitsvoorspelling, eQTL/sQTL analyse of fenotypevoorspelling.

Bijdragen en Significantie

Technische Bijdragen:

• Uitgebreide Benchmarking: De eerste systematische vergelijking van GFMs tegen strikt gecontroleerde random baselines over 52 taken.
• Ontmaskering van "Foundation" Claims: Het paper toont aan dat de term "Foundation Model" in de genomica mogelijk overtrokken is voor huidige pre-training strategieën, aangezien de toegevoegde waarde van pre-training vaak marginaal is vergeleken met de rekenkosten.
• Tokenisatie-afhankelijkheid: Het bewijst dat de keuze van de tokenizer (karakter vs. subword) de kwaliteit van de leermogelijkheden en de noodzaak van pre-training fundamenteel bepaalt.

Significantie voor het Veld:

• Heroriëntatie van Investeringen: De auteurs pleiten ervoor om de enorme rekenkracht die nu wordt besteed aan standaard NLP-style pre-training te heroverwegen. In plaats van alleen te schalen, moet er worden geïnvesteerd in biologisch geïnformeerde tokenisatiestrategieën en variant-bewuste objectieven.
• Nieuwe Standaard: Het rapporteren van goed geoptimaliseerde random baselines moet standaardpraktijk worden om de echte meerwaarde van pre-training te kunnen beoordelen.
• Klinische Relevantie: De bevindingen waarschuwen dat huidige GFMs nog niet betrouwbaar zijn voor klinische toepassingen die afhankelijk zijn van het detecteren van subtiele mutaties. Er is een fundamentele herziening nodig van de doelstellingen en architecturen om deze kloof te dichten.

Conclusie
Het paper concludeert dat huidige onbewaakte pre-training strategieën in de genomica slechts bescheiden, tokenizer-afhankelijke verbeteringen bieden boven sterke random baselines. Om echt bruikbare foundation modellen te creëren die klinisch relevant zijn, moet de gemeenschap stoppen met het blindelings kopiëren van NLP-methoden en in plaats daarvan focussen op biologisch onderbouwde tokenisatie en nieuwe objectieven die specifiek zijn ontworpen om genetische variatie te begrijpen.