BOTANIC-0: a series of foundation models for plant genomic data

Dit artikel introduceert Botanic0, een reeks plant-genomische foundation-modellen die vooraf zijn getraind op 43 diverse plantgenomen en prestaties leveren die concurreren met de state-of-the-art voor taken zoals regulatoire annotatie en variant-effectvoorspelling, terwijl alle modellen openbaar worden gemaakt om reproduceerbaar onderzoek te bevorderen.

De kern

Botanic-0: De Digitale Bioloog die Planten DNA "Leest"

Stel je voor dat je een enorme bibliotheek hebt, maar de boeken zijn niet geschreven in woorden, maar in een code van vier letters: A, C, G en T. Dit is het DNA van planten. Voor wetenschappers is het een enorme uitdaging om uit deze code te begrijpen waarom een plant droogte verdraagt, waarom een vrucht zoet is, of waarom een ziekte een gewas vernietigt.

Deze paper introduceert Botanic-0, een nieuwe familie van kunstmatige intelligentie (AI) die is getraind om deze "plantentaal" te begrijpen. Het is alsof we een super-intelligente, digitale bioloog hebben gecreëerd die miljoenen plantengenomen heeft gelezen om de geheimen van de natuur te ontcijferen.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. Het Idee: Van Woorden naar Genen

In de menselijke wereld hebben we "Large Language Models" (zoals de AI die dit voor je schrijft) die boeken en websites hebben gelezen om taal te begrijpen. Botanic-0 doet precies hetzelfde, maar dan met DNA.

• De Analogie: Stel je voor dat DNA een recept is voor een cake. Als je één letter in het recept verandert (bijvoorbeeld suiker in zout), kan de cake mislukken. Botanic-0 is de chef-kok die miljoenen recepten heeft gelezen. Hij weet niet alleen wat de ingrediënten zijn, maar hij begrijpt ook waarom bepaalde combinaties werken en welke veranderingen de cake (de plant) kapot maken.

2. De Drie Broers: S, M en L

De onderzoekers hebben drie versies van deze AI gebouwd, variërend in grootte:

• Botanic0-S (Small): Een slimme student.
• Botanic0-M (Medium): Een ervaren assistent.
• Botanic0-L (Large): Een meester-chef met een enorm geheugen (bijna 1 miljard parameters).
  Hoe groter de AI, hoe beter hij complexe patronen ziet. Net zoals een groter brein meer details kan onthouden, leert de grote versie van Botanic-0 subtiele regels in het DNA die de kleinere versies missen.

3. De Training: Een Taalbad voor 43 Planten

Om deze AI te trainen, hebben ze niet één plant gebruikt, maar 43 verschillende soorten, van kleine bloemetjes tot enorme graanvelden.

• De Methode: Ze gebruikten een techniek waarbij ze stukjes van het DNA "verhulden" (alsof ze een woord in een zin weglaten) en de AI moesten laten raden wat er had moeten staan.
• Het Resultaat: Door dit miljoenen keren te doen, leerde de AI niet alleen de letters, maar ook de grammatica van het leven. Hij leerde welke letters bij elkaar horen en welke combinaties zinnig zijn en welke niet.

4. Wat Kan Deze AI Nu?

De onderzoekers hebben getest of Botanic-0 echt iets nuttigs kan doen:

• Het Voorspellen van Foutjes: Als je een mutatie (een foutje) in het DNA introduceert, kan de AI zeggen: "Dit gaat waarschijnlijk slecht gaan." Het kan dus helpen om te zien welke veranderingen in een plant schadelijk zijn, zonder dat je eerst jaren in het lab hoeft te experimenteren.
• Het Herkennen van Delen: De AI kan precies zien waar in het DNA de instructies voor een eiwit beginnen en eindigen (zoals de kop en staart van een zin).
• De "Zero-Shot" Kracht: Het mooiste is dat de AI dit kan doen voor planten die hij nooit eerder heeft gezien tijdens zijn training. Het is alsof je iemand die alleen Italiaans en Frans spreekt, plotseling een tekst in het Spaans laat lezen en hij begrijpt de basisstructuur toch.

5. Waarom Is Dit Belangrijk voor de Wereld?

We staan voor grote uitdagingen: klimaatverandering, droogte en de behoefte aan meer voedsel.

• Het Probleem: Het ontwikkelen van een nieuw, sterk gewas duurt nu vaak 8 jaar. Dat is te lang.
• De Oplossing: Botanic-0 kan deze tijd verkorten. In plaats van jarenlang te gissen en te experimenteren, kunnen onderzoekers de AI vragen: "Welke kleine verandering in het DNA maakt deze tomatenplant droogtebestendig?" De AI geeft een voorspelling, en de wetenschappers kunnen dat direct testen.

Conclusie: De Eerste Stap

Botanic-0 is nog niet de eindbestemming; het is de eerste versie van een reeks. Het is als het leren van de basis van een taal voordat je poëzie gaat schrijven. De onderzoekers hebben hun modellen gratis beschikbaar gesteld voor iedereen, zodat wetenschappers over de hele wereld samen kunnen bouwen aan een toekomst waarin we sneller en slimmer gewassen kunnen kweken die bestand zijn tegen de uitdagingen van morgen.

Kortom: Botanic-0 is de vertaler die ons helpt de geheime taal van de natuur te lezen, zodat we betere gewassen kunnen kweken voor een veilige voedselvoorziening.

Technische samenvatting

Probleemstelling

De ontwikkeling van klimaatbestendige en opbrengstverhogende gewassen is cruciaal voor de wereldwijde voedselzekerheid, maar het huidige proces van kweek en variëteitsontwikkeling is te traag (tot wel 8 jaar). Hoewel moderne genomics het mogelijk maakt om genen te koppelen aan eigenschappen, blijft het vertalen van deze associaties naar mechanistisch inzicht een grote bottleneck. Het is moeilijk om te bepalen welke genetische varianten causaal zijn en hoe ze de genregulatie beïnvloeden, vooral gezien de complexiteit en evolutionaire diversiteit van plantengenomen (grote niet-coderende gebieden, structurele variatie). Bestaande methoden vereisen vaak uitgebreide experimenten om duizenden kandidaat-loci te evalueren. Hoewel Genomic Language Models (gLMs) succesvol zijn gebleken in menselijke genomics, is de toepassing op planten nog in een vroeg stadium, met beperkte modellen die vaak niet schaalbaar zijn of gebrek hebben aan voldoende trainingsdata voor diverse plantensoorten.

Methodologie

De auteurs introduceren Botanic0, een familie van foundation modellen voor plantengenomics, bestaande uit drie varianten: Botanic0-S (114M parameters), Botanic0-M (260M parameters) en Botanic0-L (991M parameters).

• Architectuur en Training: De modellen volgen een Transformer-architectuur (geïnspireerd op ESM-2 en AgroNT) en worden getraind met Masked Language Modeling (MLM). Ze zijn voorgetraind op een dataset van 43 phylogenetisch diverse plantensoorten (ongeveer 64,2 Gb aan DNA).
• Tokenisatie: In tegenstelling tot enkele recente modellen die gebruikmaken van single-base tokenisatie, gebruikt Botanic0 6-mer tokenisatie (sequenties van 6 nucleotiden). De contextvensters zijn 6.000 bp lang, wat resulteert in sequenties van 1.024 tokens.
• Dataverwerking: De dataset is samengesteld uit nucleaire DNA-sequenties (exclusief mitochondriale en chloroplast DNA). De data is opgesplitst in 43 soorten voor training en 5 soorten (bijv. rijst, pistache, gerst) als "hold-out" validatiestandaard die tijdens het pre-training proces nooit gezien zijn.
• Pre-training Pipeline: Het pre-training proces gebruikt de lingua bibliotheek voor online tokenisatie en masking. De modellen zijn getraind op clusters met 8 GPUs (A100, H100 of B200) gedurende ongeveer 150.000 stappen.
• Evaluatie: De modellen worden geëvalueerd via:
  1. Zero-shot log-likelihood ratios (LLR): Om schadelijke mutaties te ranken.
  2. Probing: Lineaire en XGBoost-classificatoren op de ingebouwde embeddings (zonder fine-tuning van de basis) voor taken zoals het herkennen van genoomregio's (introns, exons, etc.) en splice-sites.
  3. Fine-tuning: Gebruikmakend van IA³ (een parameter-efficiënte fine-tuning methode) op 17 datasets uit het Plant Genomic Benchmark (PGB), inclusief regressie (promotorkracht) en classificatie taken.

Belangrijkste Bijdragen

1. Eerste generatie schaalbare plant-foundation modellen: Botanic0 is de eerste reeks modellen die specifiek is ontworpen voor een breed scala aan plantensoorten, variërend van 100M tot 1B parameters.
2. Open Science: Alle modellen, code en datasets zijn openbaar beschikbaar gesteld via Hugging Face om reproduceerbaarheid en community-benchmarking te bevorderen.
3. Schaalwetenschappen (Scaling Laws): Het paper demonstreert dat prestaties systematisch verbeteren naarmate het model groter wordt en langer getraind wordt, zelfs op onzichtbare soorten.
4. Validatie van 6-mer tokenisatie: Ondanks de trend naar single-base tokenisatie, toont het paper aan dat 6-mer tokenisatie effectief is voor het vangen van biologische structuren en prestaties levert die concurreren met state-of-the-art modellen.

Resultaten

• Generalisatie: De pre-training loss neemt continu af en de validatie loss op de 5 onzichtbare soorten neemt ook af, wat aantoont dat de modellen niet overfitten en goed generaliseren naar nieuwe soorten. Er is geen verzadiging van de prestaties gezien bij het vergroten van het model, wat suggereert dat nog grotere modellen mogelijk zijn.
• Biologische relevantie: De embeddings van Botanic0-L kunnen biologisch betekenisvolle structuren onderscheiden. Een XGBoost-classificator bereikte een balanced accuracy van 0.641 bij het classificeren van genoomregio's (zoals CDS, introns, UTRs), wat beter is dan het AgroNT-model (0.542). De embeddings groeperen ook codon-readingframes op een logische manier.
• Benchmark Prestaties: Op standaard benchmarks (PlantCAD en PGB) presteren Botanic0-modellen competitief met de beste bestaande modellen (zoals PlantCaduceus, GPN en AgroNT).
  • Bij zero-shot taken (zoals het ranken van schadelijke mutaties) tonen Botanic0-modellen een sterke correlatie met gespecialiseerde modellen.
  • Bij probing taken (TIS, TTS, Donor, Acceptor) behalen ze vergelijkbare of betere AUC-PR scores dan AgroNT en NTv2.
  • Bij fine-tuning op PGB-taken (zoals promotorsterkte) zijn de resultaten vergelijkbaar met AgroNT, hoewel de auteurs opmerken dat voor sommige simpele taken (waar GC-gehalte al sterk correleert) pre-training minder groot voordeel biedt dan voor complexe taken.
• Robuustheid: Botanic0-modellen zijn minder gevoelig voor L2-regulatie-strength tijdens probing dan sommige concurrenten, wat suggereert dat de relevante informatie in een goed geconditioneerde subruimte ligt.

Betekenis en Toekomstperspectief

Dit werk markeert een belangrijke stap in het vertalen van fundamenteel AI-onderzoek naar praktische tools voor gewasverbetering. Door foundation modellen te trainen op een breed scala aan plantensoorten, creëren de auteurs een basis voor snellere identificatie van genetische varianten die belangrijk zijn voor opbrengst en stressresistentie.

De auteurs benadrukken dat de volgende generaties modellen (Botanic-1 en verder) moeten evolueren naar:

1. Multimodale modellen: Integratie van transcriptomics, proteomics, epigenetica en omgevingsdata, aangezien fenotypes niet alleen door DNA worden bepaald.
2. Betere tokenisatie: Overwegen van single-base tokenisatie voor hogere resolutie, hoewel 6-mer nu goed werkt.
3. Nieuwe benchmarks: Huidige benchmarks focussen op lokale regulatoire signalen; er is behoefte aan benchmarks die geïntegreerde organismale eigenschappen en fenotypes voorspellen.

Samenvattend legt Botanic0 de fundering voor een nieuwe golf van AI-gedreven plantengenomics, met als doel de tijd van laboratorium naar veld te verkorten en de voedselzekerheid in een veranderend klimaat te waarborgen.