BOTANIC-0: a series of foundation models for plant genomic data

Cet article présente Botanic0, une série de modèles de fondation préentraînés sur 43 génomes végétaux diversifiés, conçus pour améliorer la recherche sur l'amélioration des cultures, la modélisation génotype-phénotype et l'édition de génomes en atteignant des performances compétitives sur diverses tâches de génomique.

L'essentiel

🌱 Botanic-0 : Le "Super-Professeur" qui apprend à lire le langage des plantes

Imaginez que l'ADN d'une plante est un livre de recettes de cuisine géant, écrit dans une langue très complexe avec seulement 4 lettres (A, C, G, T). Pour créer une nouvelle variété de blé résistant à la sécheresse ou de maïs qui donne plus de fruits, les scientifiques doivent comprendre cette langue. Le problème ? Ce livre est immense, et lire chaque mot prendrait des années.

C'est là qu'intervient Botanic-0.

1. L'Idée de base : Apprendre la grammaire avant de parler

Les chercheurs de l'entreprise Living Models ont créé une famille d'intelligences artificielles (appelées "modèles de fondation") qui fonctionnent un peu comme un enfant qui apprend à parler.

• L'approche : Au lieu de leur donner des réponses toutes faites (comme "ce gène fait pousser des fleurs"), on a laissé ces IA lire des millions de pages d'ADN de 43 espèces de plantes différentes (du riz à l'arbre à caoutchouc, en passant par le blé).
• Le jeu : On a caché des mots dans le texte et demandé à l'IA de les deviner. En répétant ce jeu des milliards de fois, l'IA a fini par comprendre la "grammaire" et la "syntaxe" de la vie végétale. Elle sait intuitivement quelles combinaisons de lettres sont logiques et lesquelles sont des erreurs.

2. Trois tailles pour trois besoins

Comme pour les smartphones, il existe trois versions de ce "Super-Professeur" :

• Botanic-0-S (Small) : Un modèle léger, rapide, comme un smartphone d'entrée de gamme.
• Botanic-0-M (Medium) : Un modèle équilibré, comme un smartphone standard.
• Botanic-0-L (Large) : Le modèle géant, très puissant, capable de comprendre des nuances très fines, comme un smartphone haut de gamme avec une puce ultra-rapide.

Plus le modèle est grand, mieux il comprend les subtilités de l'ADN, un peu comme un lecteur plus expérimenté comprendra mieux les nuances d'un roman complexe.

3. À quoi ça sert concrètement ?

Une fois entraîné, ce modèle devient un outil magique pour les agriculteurs et les biologistes :

• Le détective de mutations : Si un scientifique veut savoir si une petite modification dans l'ADN d'une plante va la tuer ou la rendre plus forte, il demande à Botanic-0. L'IA dit : "Attention, cette modification ressemble à une faute de grammaire grave, ça va probablement casser la plante" ou "C'est une petite correction, ça va bien fonctionner".
• Le traducteur de fonctions : L'IA peut regarder une séquence d'ADN et dire : "Ah, ici c'est un interrupteur qui allume la production de chlorophylle" ou "Là, c'est une zone qui protège contre les maladies". Elle fait cela sans avoir besoin d'avoir déjà vu cette plante spécifique auparavant.
• L'accélérateur de temps : Aujourd'hui, créer une nouvelle variété de plante prend 8 ans. Avec Botanic-0, on peut simuler des milliers de scénarios en quelques heures pour ne tester en vrai que les meilleures options. Cela pourrait réduire ce temps de plusieurs années.

4. Pourquoi c'est spécial ?

Avant, les IA étaient souvent entraînées sur des données humaines ou animales, ou sur très peu de plantes. Botanic-0 est le premier à être spécialisé uniquement dans les plantes et à avoir lu une bibliothèque aussi vaste et diverse.

C'est comme si, au lieu d'apprendre à un enfant à parler uniquement le français, on lui apprenait à parler toutes les langues du monde, mais en se concentrant spécifiquement sur le vocabulaire de la nature végétale.

5. Le but final : Nourrir le monde

Le changement climatique rend la tâche difficile : les plantes doivent résister à la chaleur, aux maladies et aux sécheresses. Botanic-0 est une clé pour accélérer l'innovation. Il permet de passer plus vite du laboratoire au champ, pour nous offrir des cultures plus résistantes et plus productives, garantissant ainsi notre sécurité alimentaire pour le futur.

En résumé : Botanic-0, c'est un cerveau artificiel qui a lu des millions de livres d'ADN pour devenir l'expert ultime de la biologie végétale, prêt à aider l'humanité à cultiver la terre de manière plus intelligente et plus rapide.

Résumé technique

1. Problématique et Contexte

L'accélération du changement climatique intensifie la nécessité de développer des cultures résilientes et à haut rendement. Cependant, le cycle de développement de nouvelles variétés végétales reste lent (jusqu'à 8 ans), tandis que les pathogènes s'adaptent rapidement. Bien que la génomique moderne permette d'identifier des régions associées à des traits, la traduction de ces associations en compréhension mécanistique (quels variants sont causaux et comment ils régulent l'expression génique) reste un goulot d'étranglement majeur.

L'interprétation des variants est rendue complexe par la diversité évolutive des génomes végétaux, leurs grandes tailles et leurs structures régulatrices spécifiques. Les modèles d'apprentissage profond auto-supervisés, inspirés des modèles de langage (LLM), offrent une approche prometteuse pour décrypter le "langage" génomique sans nécessiter de données étiquetées. Bien que des travaux antérieurs (comme GPN, AgroNT, PlantCaduceus) aient démontré l'efficacité des modèles de langage génomique (gLM) sur les plantes, il existe un besoin de modèles de base (foundation models) plus grands, entraînés sur une diversité phylogénétique plus large, pour améliorer la prédiction des traits agronomiques et l'édition de génomes.

2. Méthodologie

Architecture et Entraînement :

• Modèles : Les auteurs ont développé une famille de trois modèles fondation, Botanic0-S (114M paramètres), Botanic0-M (260M paramètres) et Botanic0-L (991M paramètres).
• Architecture : Basée sur l'architecture Transformer (similaire à ESM-2 mais adaptée à l'ADN), suivant le paradigme de l'AgroNT [1].
• Pré-entraînement : Utilisation de l'objectif de Masked Language Modeling (MLM) sur des séquences d'ADN.
• Données d'entraînement : Le modèle a été pré-entraîné sur 43 espèces végétales phylogénétiquement diverses (totalisant environ 64,2 Gb de données), incluant des cultures majeures (maïs, riz, blé, tomate) et des modèles biologiques.
  • Jeu de validation : 5 espèces maintenues de côté (hold-out) pour évaluer la généralisation (ex: Oryza sativa, Hordeum vulgare).
• Tokenisation : Utilisation d'une tokenisation par 6-mers (k-mers) avec une fenêtre de contexte de 6 000 paires de bases (bp). Les séquences sont découpées en fenêtres chevauchantes de 6 100 bp (fenêtre de tokenisation de 6 000 bp).
• Pipeline : L'entraînement suit un pipeline inspiré d'AgroNT mais avec des ajustements spécifiques (utilisation de la librairie lingua, gestion du bruit de shuffling, précision bfloat16). Les modèles ont été entraînés sur environ 150 000 étapes (global steps) sur des clusters GPU (A100, H100, B200).

Évaluation :
Les modèles ont été évalués selon trois axes :

1. Analyse de l'échelle (Scaling) : Suivi de la perte de pré-entraînement (train/validation loss) pour vérifier la généralisation aux espèces non vues.
2. Probing (Sondage) : Évaluation des représentations apprises (embeddings) via des classifieurs linéaires et XGBoost sur des tâches fixes (sans fine-tuning du modèle de base). Tâches incluant l'annotation de régions génomiques, la prédiction de sites d'initiation/terminaison de traduction, de sites d'épissage et de conservation.
3. Fine-tuning (Ajustement fin) : Adaptation des modèles sur 17 tâches du Plant Genomic Benchmark (PGB) en utilisant la méthode IA³ (Parameter-Efficient Fine-Tuning) pour réduire le coût computationnel.

3. Contributions Clés

1. Première génération de modèles fondation végétaux à grande échelle : Introduction de la série Botanic0, couvrant une gamme de tailles (de 100M à 1B de paramètres) et entraînée sur une diversité de 43 espèces, surpassant les précédents travaux en termes de diversité phylogénétique couverte.
2. Validation de la loi d'échelle (Scaling Laws) : Démonstration que l'augmentation de la capacité du modèle et la durée de l'entraînement entraînent des améliorations constantes de la puissance prédictive, même sur des espèces non vues durant l'entraînement.
3. Benchmarking complet : Comparaison rigoureuse avec l'état de l'art (AgroNT, PlantCaduceus, NTv2/3, GPN) sur des tâches de classification binaire, de régression et d'annotation de variants.
4. Ressources ouvertes : Publication de tous les modèles Botanic0 sur Hugging Face pour favoriser la recherche reproductible et le benchmarking communautaire.

4. Résultats Principaux

• Généralisation et Perte : La perte de validation diminue continuellement avec l'entraînement et ne montre pas de signe de saturation avec l'augmentation de la taille du modèle, suggérant que l'approche est évolutives vers des modèles encore plus grands. La perte de validation reste supérieure à la perte d'entraînement, confirmant la capacité de généralisation à des espèces non vues.
• Représentations Biologiques :
  • Les embeddings de Botanic0 capturent efficacement les structures génomiques élémentaires. Un classifieur XGBoost atteint une précision équilibrée de 0,641 pour la classification de régions génomiques (CDS, introns, UTR, etc.) sur Arabidopsis thaliana, surpassant les embeddings d'AgroNT (0,542).
  • Les embeddings montrent une séparation claire des phases de lecture des codons (CDS).
• Performance sur les Benchmarks :
  • Sur les tâches de sondage (probing) PlantCAD (TIS, TTS, Donor, Acceptor, Conservation), les modèles Botanic0 sont compétitifs avec les meilleurs modèles de l'état de l'art (PlantCaduceus, PlantCAD2), surpassant souvent NTv2 et AgroNT.
  • L'utilisation de l'information de brin (conversion en brin +) améliore significativement les performances des modèles non équivariants par rapport à la complémentarité inverse (RC), soulignant l'importance de cette propriété architecturale.
• Fine-tuning :
  • Le fine-tuning avec IA³ sur les tâches PGB (ex: force des promoteurs, terminateurs, régions enhanceurs) montre des performances comparables à AgroNT.
  • Les auteurs notent que pour certaines tâches simples (comme la force des promoteurs basée sur des motifs canoniques), le pré-entraînement apporte un gain limité par rapport à un entraînement from-scratch si les données sont abondantes. Cependant, les avantages du pré-entraînement devraient être plus marqués sur des tâches complexes et à données limitées (prédiction de phénotypes).
• Analyse de Robustesse : Les modèles Botanic0 sont moins sensibles à la force de régularisation L2 lors du probing que certains concurrents, suggérant que l'information pertinente pour la tâche réside dans un sous-espace bien conditionné.

5. Signification et Perspectives

Ce travail marque une étape importante vers l'utilisation pratique des modèles fondation génomiques pour l'amélioration des cultures.

• Impact sur la recherche : Il établit une base solide pour le développement de futures générations de modèles (Botanic1, etc.) et démontre la faisabilité de l'entraînement à grande échelle sur des données végétales.
• Limitations et Futur :
  • Les benchmarks actuels se concentrent sur des signaux régulateurs locaux. L'auteur souligne la nécessité de passer à des prédictions de phénotypes à l'échelle de l'organisme, intégrant des données multi-omiques (transcriptomique, épigénétique) et environnementales.
  • L'utilisation de la tokenisation par 6-mers, bien que efficace, pourrait être surpassée par une tokenisation par base unique (single-base) pour une résolution maximale, comme le suggèrent des modèles récents (PlantCAD2, NTv3).
  • L'intégration de biais inductifs spécifiques à l'ADN (comme l'équivariance RC dans l'architecture) et l'exploration de paradigmes d'entraînement alternatifs (supervisé vs auto-supervisé) sont des pistes prometteuses.

En conclusion, Botanic0 fournit des outils puissants pour décrypter le génome végétal, accélérant potentiellement le passage du laboratoire au champ pour le développement de variétés résistantes et productives.