🧬 biology

Entropy, Disagreement, and the Limits of Foundation Models in Genomics

Deze studie toont aan dat de hoge entropie van genomische sequenties leidt tot onstabiele embeddings en modelonvermogen, wat suggereert dat zelftoezichtende training op DNA-sequenties alleen mogelijk ontoereikend is voor het ontwikkelen van robuuste genomische foundation-modellen.

Oorspronkelijke auteurs: Maxime Rochkoulets, Lovro Vrček, Mile Šikić

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Maxime Rochkoulets, Lovro Vrček, Mile Šikić

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Titel: Waarom DNA-modellen "in de war" raken: Een verhaal over ruis, geluid en de zoektocht naar betekenis

Stel je voor dat je twee soorten boeken hebt. Het ene is een gewone roman in het Nederlands (of Engels). Het andere is een boek dat eruitziet als een reeks van alleen maar vier letters: A, C, G en T. Dit is je DNA.

Wetenschappers hebben geprobeerd slimme computers (zogenoemde "Foundation Models") te trainen om beide soorten boeken te lezen, net zoals mensen dat doen. Bij de menselijke taal werken deze computers fantastisch: ze begrijpen context, grappen en grammatica. Maar bij DNA gaat het vaak mis. Ze lijken niet te begrijpen wat ze lezen.

De auteurs van dit artikel hebben de vraag gesteld: Waarom werkt dit niet? Hun antwoord is verrassend simpel, maar diep: DNA is gewoon te "ruisig" en voorspelbaar op de verkeerde manier.

Hier is de uitleg, vertaald naar alledaagse taal:

1. Het probleem van de "Voorspelbaarheid" (Entropie)

Stel je voor dat je een raadsel oplost.

Bij een menselijke zin: Als ik zeg "De kat zat op de...", kun je met een redelijke zekerheid zeggen "mat". Er zijn veel mogelijke woorden, maar de context helpt je er één te kiezen. Dit noemen ze lage entropie (veel informatie, goede voorspelling).
Bij DNA: DNA is als een zin die alleen uit de letters A, C, G en T bestaat. Als je een stukje DNA ziet, is het vaak heel moeilijk om te zeggen wat er echt als volgende komt. Het is alsof je een zin moet raden die uit willekeurige letters bestaat.

De onderzoekers ontdekten dat voor een computer, DNA-sequenties eruitzien als een witte ruis. Omdat er zo weinig echte "regels" zijn om een volgend stukje te voorspellen, raken de modellen in de war. Ze denken: "Ik heb geen idee wat hier moet komen, dus ik gok maar op alles."

2. De "Gokkerij" van de modellen (Onenigheid)

Om dit te testen, trainden ze vijf verschillende computers op precies dezelfde DNA-gegevens. Vervolgens vroegen ze ze allemaal: "Wat komt er als volgende?"

Bij menselijke taal: Als je vijf mensen vraagt wat er na "De kat zat op de..." komt, zeggen ze allemaal ongeveer hetzelfde (bijv. "mat" of "stoel"). Ze zijn het eens.
Bij DNA: Als je vijf computers vraagt wat er na een DNA-stukje komt, zegt de ene "A", de andere "G", de derde "C". Ze zijn het niet eens.

Het ergste is: ze zijn het niet eens omdat ze slim zijn en verschillende interpretaties hebben. Ze zijn het niet eens omdat ze geen idee hebben. Ze geven allemaal een willekeurig antwoord, alsof ze een dobbelsteen gooien. Dit maakt de resultaten onbetrouwbaar. Als je één model gebruikt, krijg je misschien een antwoord, maar als je een ander model gebruikt, krijg je iets totaal anders.

3. Waar kijken ze eigenlijk naar? (De "Fisher" Analyse)

De onderzoekers keken ook naar waar in de computer het "leren" plaatsvond. Een moderne taalcomputer heeft twee soorten hersenen:

De woordenlijst (Embeddings): Het onthouden van wat een woord betekent.
De grammatica (Transformer): Het begrijpen van hoe woorden met elkaar samenhangen.

Bij menselijke taal zit het slimme werk in de grammatica. De computer leert dat "hond" en "kat" dieren zijn, maar dat "hond" en "loopt" een relatie hebben.
Bij DNA-Modellen zagen ze iets vreemds: het "slimme werk" zat bijna helemaal in de woordenlijst. De computers probeerden alleen maar te onthouden welke letters er vaak naast elkaar staan, maar ze leerden niet hoe de letters met elkaar relateren.

De analogie:
Stel je voor dat je een spreekbeurt moet houden.

Een menselijke taalcomputer luistert naar de zinnen, begrijpt de logica en leert de boodschap.
Een DNA-computer kijkt alleen naar de letters op het papier en probeert ze uit het hoofd te leren, zonder te begrijpen wat ze betekenen. Het is alsof je een liedje probeert te zingen door alleen de noten op het papier te memoriseren, zonder de melodie te horen.

Conclusie: Waarom is dit belangrijk?

De boodschap van dit onderzoek is een beetje een koudwatervrees voor de huidige hype rondom DNA-AI.

Het suggereert dat we misschien de verkeerde aanpak kiezen. We proberen DNA te behandelen als menselijke taal (met zinnen en grammatica), maar DNA is fundamenteel anders. Het is te "chaotisch" voor de huidige methoden om zelfstandig betekenis te vinden.

Kort samengevat:
DNA-modellen falen niet omdat ze niet slim genoeg zijn, maar omdat de data (DNA) te moeilijk te voorspellen is voor de huidige manier van leren. Ze raken in de war, geven willekeurige antwoorden en leren alleen maar letters uit het hoofd, in plaats van de "taal" van het leven te begrijpen. Misschien moeten we een heel nieuwe manier van denken vinden om DNA echt te laten "snappen".

Titel: Entropie, Meningsverschil en de Grenzen van Foundation Models in Genomica

Publicatie: LMRL Workshop bij ICLR 2026
Auteurs: Maxime Rochkoulets, Lovro Vrčcek, Mile Šikić

1. Probleemstelling

Genomische Foundation Models (GFMs) hebben tot nu toe gemengde resultaten geboekt in vergelijking met hun tegenhangers in de natuurlijke taalverwerking (NLP). Hoewel er veel papers zijn die goede prestaties melden op downstream-taken, wordt de effectiviteit van GFMs die uitsluitend via zelfsupervisie op DNA-sequenties zijn getraind, recentelijk betwist. Vaak presteren gespecialiseerde, kleinere modellen beter, sneller en goedkoper dan de embeddings van GFMs.

Het fundamentele probleem is dat er tot nu toe geen duidelijke theoretische verklaring is gegeven voor deze beperkte prestaties. De auteurs stellen dat het fundamentele verschil in informatie-theoretische entropie tussen menselijke tekst en DNA-sequenties de oorzaak is. Vanuit het perspectief van het voorspellen van onzichtbare tokens (masked token prediction) heeft DNA een lage informatie-inhoud, wat leidt tot een hoge entropie. Dit belemmert modellen om een vertrouwde en interpreteerbare verdeling te leren.

2. Methodologie

Om dit te onderzoeken, hebben de auteurs een gecontroleerd experiment opgezet waarbij ze drie ensemble's van transformer-encoder BERT-modellen trainden:

Taal-ensemble: Getraind op Engelse tekst (met byte-pair encoding/tokenizer).
DNA-ensemble (BPE): Getraind op DNA-sequenties met dezelfde BPE-tokenizer als de tekstmodellen.
DNA-ensemble (k-mer): Getraind op DNA-sequenties met een niet-overlappende k-mer tokenizer (een veelgebruikt schema in de genomica).

Experimentele controle:

Alle modellen hebben exact dezelfde architectuur (90M parameters).
Ze zijn getraind op hetzelfde aantal tokens (5 miljard).
De vocabulairegrootte is gefixeerd op $4^6 = 4096$ (voor consistentie met 6-mers).
De data wordt in dezelfde deterministische volgorde doorlopen, maar de initiële gewichten zijn willekeurig.
Er werden $N=5$ modellen per ensemble getraind om ensemble-disagreement (meningsverschil) te analyseren.

De analyse richtte zich op drie gebieden: output-verdelingen, statische embeddings en empirische Fisher-informatie.

3. Belangrijkste Resultaten

A. Ensemble Disagreement (Meningsverschil)

De auteurs meten hoe sterk modellen binnen een ensemble het met elkaar eens zijn over hun voorspellingen.

Entropie en Onzekerheid: DNA-modellen vertonen een veel hogere Kullback-Leibler (KL) divergentie ten opzichte van een uniforme verdeling (ongeveer 3 bits voor BPE, <1 bit voor k-mer) vergeleken met tekstmodellen (>10 bits). Dit betekent dat DNA-modellen veel onzekerder zijn en bijna uniforme output-verdelingen genereren.
Instabiliteit bij Sampling: Wanneer nucleus sampling (top-p) wordt toegepast, neemt de Jensen-Shannon-afstand tussen DNA-modellen toe naarmate $p$ daalt. Dit toont aan dat DNA-modellen niet echt "eens" zijn over wat het juiste token is; ze geven simpelweg gelijke kansen aan veel tokens. Tekstmodellen blijven daarentegen stabiel en consistent.

B. Sessie van Statische Embeddings

De auteurs analyseerden de eerste embeddinglaag (statieke woordembeddings) om te zien of modellen betekenisvolle relaties tussen tokens leren.

Metingen: Gebruikmakend van top-k Jaccard-overlap, Spearman-correlatie en Procrustes-analyse (na uitlijning van de ruimtes).
Vindst: Tekstmodellen tonen een hoge mate van overeenkomst in hun statische embeddings (hoge correlatie, lage dispariteit). DNA-modellen tonen daarentegen aanzienlijk meer variatie en meningsverschil, zelfs al zijn ze getraind op dezelfde data.
Conclusie: Door de hoge entropie van de data convergeren onafhankelijk getrainde DNA-modellen niet naar dezelfde statische representaties. Dit impliceert een gebrek aan robustheid ten opzichte van initialisatie en een onbetrouwbare basis voor analyses die op statische embeddings zijn gebaseerd.

C. Empirische Fisher-informatie

De auteurs analyseerden waar de informatie-inhoud (Fisher-informatie) in het model wordt geconcentreerd.

Tekstmodellen: De Fisher-informatie is geconcentreerd in de transformer-lagen. Dit bevestigt dat deze modellen effectief gebruikmaken van de attention-mechanismen om relaties tussen tokens te leren.
DNA-modellen: De Fisher-informatie is verrassend geconcentreerd in de statieke embeddinglagen.
Interpretatie: DNA-modellen lijken de attention-mechanismen niet effectief te benutten om inter-token relaties te leren. In plaats daarvan lijken ze te "memoriseren" op basis van token-identiteit. Ze leren geen grammatica of contextuele relaties, maar onthouden vooral welke tokens vaak voorkomen.

4. Kernbijdragen

Entropie als fundamentele beperking: Het paper identificeert hoge entropie in DNA-sequenties (vanuit het perspectief van token-predicatie) als de primaire oorzaak van het falen van zelfsupervisie in GFMs.
Kwantificering van Instabiliteit: Het toont aan dat zelfs bij identieke training, architectuur en data, DNA-modellen fundamenteel onstabiel zijn in hun output-verdelingen en statische embeddings, in tegenstelling tot NLP-modellen.
Foutieve Informatie-locatie: Door middel van Fisher-informatie-analyse wordt aangetoond dat DNA-modellen falen om contextuele relaties te leren (attention), en in plaats daarvan informatie vasthouden in de statieke embeddings (memorizatie).
Tokenisatie is niet de oplossing: Het gebruik van verschillende tokenisatieschema's (BPE vs. k-mer) had weinig impact op de negatieve resultaten, wat suggereert dat het probleem inherent is aan de data zelf en niet aan de tokenisatiemethode.

5. Betekenis en Conclusie

De bevindingen van dit paper stellen de huidige methodologie voor het trainen van genomische foundation models ter discussie. De auteurs concluderen dat zelfsupervisie op basis van het voorspellen van onzichtbare tokens in genomische sequenties alleen mogelijk onvoldoende is om modellen te laten ontwikkelen tot echte "foundation models" met fundamentele biologische kennis.

In tegenstelling tot taal, waar contextuele relaties sterk voorspelbaar zijn, is de entropie in DNA te hoog voor deze aanpak om te werken. Dit verklaart waarom gespecialiseerde modellen vaak beter presteren dan grote GFMs. De studie pleit voor een heroverweging van de onderliggende aannames in het veld en suggereert dat toekomstig onderzoek moet kijken naar alternatieve trainingsdoelen of data-aanvullingen die de hoge entropie van DNA kunnen overwinnen.