🧬 biology

GENEB: Why Genomic Models Are Hard to Compare

Pour remédier à la difficulté de comparer les modèles de fondation génomiques en raison de l'fragmentation des bancs d'essai et de l'incompatibilité des protocoles, l'article introduit GENEB, un banc d'essai de diagnostic unifié à grande échelle qui évalue 40 modèles à travers 100 tâches afin de révéler l'instabilité des classements agrégés et de démontrer que l'alignement de l'architecture et du pré-entraînement l'emporte souvent sur l'échelle du modèle.

Auteurs originaux : Daria Ledneva, Mikhail Nuridinov, Denis Kuznetsov

Publié 2026-08-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daria Ledneva, Mikhail Nuridinov, Denis Kuznetsov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un ordinateur à lire le manuel d'instructions secret de la vie. Ce manuel est écrit dans une langue composée de seulement quatre lettres : A, C, G et T. Ces lettres forment le code de l'ADN qui explique à tout être vivant — de la minuscule bactérie au chêne géant — comment se construire et fonctionner. Au cours des dernières années, des scientifiques ont construit des « modèles de fondation », qui sont comme des étudiants super intelligents ayant lu des milliards de pages de ce manuel d'ADN. Ils sont censés apprendre les règles de cette langue si bien qu'ils peuvent prédire des choses comme le comportement d'un gène ou si une séquence spécifique provoque une maladie.

Mais voici le problème : imaginez si, dans une classe, chaque étudiant passait un examen différent, utilisait un dictionnaire différent et était évalué par un professeur différent. Un étudiant pourrait être excellent en orthographe mais très mauvais en grammaire, tandis qu'un autre serait un génie de la grammaire mais incapable d'épeler. Si vous ne regardiez que leurs notes finales, vous ne sauriez pas qui est réellement le meilleur élève globalement. Vous ne sauriez pas si le « génie de la grammaire » a échoué au test d'orthographe parce qu'il est mauvais, ou parce que le test était injuste. C'est exactement ce qui s'est passé dans le monde de l'IA génomique. Différentes équipes de recherche construisent leurs propres modèles, les testent sur leurs propres ensembles de tâches uniques, et prétendent que leur modèle est le « meilleur ». Mais comme ils ne passent pas le même test, personne ne peut vraiment les comparer équitablement. C'est comme essayer de décider qui est le meilleur athlète au monde en comparant le temps d'un nageur dans une piscine au temps d'un coureur sur une piste, sans standard unifié.

C'est là qu'une nouvelle étude appelée GENEB intervient pour réparer ce désordre. Les chercheurs, Daria Ledneva, Mikhail Nuridinov et Denis Kuznetsov, ont décidé de construire des « Olympiques » massifs et unifiés pour les modèles d'ADN. Ils ont rassemblé 40 modèles de fondation génomiques différents — certains énormes, certains petits, certains entraînés sur l'ADN humain, d'autres sur des bactéries ou des plantes — et les ont soumis aux 100 mêmes défis. Ces défis couvraient 13 types différents de tâches biologiques, comme la recherche de commutateurs spécifiques dans l'ADN (promoteurs), l'identification de la manière dont les gènes sont activés ou désactivés (modifications des histones), ou la détection de virus. Ils ont utilisé un système de notation strict et équitable pour voir comment chaque modèle se comportait lorsqu'il était « gelé » sur place, ce qui signifie qu'il ne pouvait rien apprendre de nouveau pendant le test ; il devait se reposer entièrement sur ce qu'il avait déjà appris.

Les résultats de cette grande expérience ont été surprenants et ont bouleversé quelques croyances communes. Premièrement, l'étude a montré que plus grand n'est pas toujours meilleur. Dans le monde de l'IA, il existe une idée populaire selon laquelle si l'on rend simplement le modèle plus grand (en lui donnant plus de « puissance cérébrale » ou de paramètres), il deviendra automatiquement plus intelligent. Mais GENEB a montré que ce n'est pas une solution miracle. Ils ont découvert qu'un petit modèle de seulement 86 millions de « paramètres » (une mesure de taille) pouvait en fait battre un modèle géant de 7 milliards de paramètres par une marge énorme. En fait, le modèle géant était si mauvais sur certaines tâches qu'il performait moins bien qu'un choix aléatoire, simplement parce qu'il avait été entraîné sur le mauvais type d'ADN (bactérien) alors que le test portait sur l'ADN humain. C'est comme prendre un chef expert en cuisine italienne et lui demander de cuisiner un plat japonais traditionnel ; peu importe à quel point le chef est célèbre ou coûteux, il aura des difficultés s'il ne connaît pas les ingrédients.

Deuxièmement, l'étude a découvert que ce sur quoi un modèle est entraîné importe plus que sa taille. Un modèle entraîné spécifiquement sur l'ADN humain ou sur un mélange de nombreuses espèces différentes a bien mieux performé sur les tâches humaines qu'un modèle massif entraîné uniquement sur des bactéries. Les chercheurs ont montré que si le « régime » du modèle (les données qu'il a mangées pendant l'entraînement) ne correspond pas au « repas » qu'on lui demande de manger plus tard (la tâche pour laquelle il est testé), il échoue. Par exemple, les modèles entraînés sur des données humaines étaient terribles pour identifier les gènes de plantes, et les modèles entraînés sur des bactéries ne pouvaient pas comprendre comment les gènes humains sont épissés. L'article suggère que pour que ces modèles soient réellement utiles, ils doivent être nourris avec le bon type de données pour la tâche, plutôt que d'être simplement rendus plus grands.

Enfin, l'article soutient qu'il n'existe pas de modèle « champion » unique. Tout comme dans le sport, un modèle peut être le meilleur en course mais très mauvais en natation. L'étude a révélé qu'un modèle qui était le meilleur performeur sur une tâche pouvait se retrouver presque en bas de classement sur une autre. Cela signifie qu'au lieu de chercher un seul modèle « meilleur que tous les autres », les scientifiques et les médecins doivent choisir l'outil approprié pour la tâche spécifique. Si vous avez besoin de prédire comment un gène humain est régulé, vous devriez choisir un modèle entraîné sur des données épigénétiques humaines. Si vous avez besoin d'identifier des gènes de plantes, vous avez besoin de modèles entraînés sur les plantes. L'article conclut que la façon actuelle de classer ces modèles avec un classement unique est trompeuse et que nous avons besoin d'une approche plus prudente, catégorie par catégorie, pour choisir le bon IA pour la bonne question biologique.

Résumé technique : GENEB – Pourquoi les modèles génomiques sont difficiles à comparer

1. Énoncé du problème

L'expansion rapide des modèles de fondation génomiques a dépassé le développement d'infrastructures méthodologiques pour leur comparaison. Les pratiques d'évaluation actuelles se caractérisent par des benchmarks fragmentés, des protocoles incompatibles et des rapports spécifiques aux tâches. Par conséquent, les affirmations de supériorité ou de généralité d'un modèle ne sont souvent pas directement comparables ; un modèle peut être salué comme une percée dans un contexte donné tout en étant sous-performant dans un autre en raison de l'absence d'un cadre d'évaluation unifié. Cette fragmentation occulte les véritables relations entre les modèles et entrave l'évaluation des progrès réels. De plus, le domaine manque d'une compréhension systématique de la manière dont l'échelle du modèle, l'architecture, la tokenisation et les données de préentraînement interagissent pour influencer la performance à travers diverses tâches génomiques.

2. Méthodologie

Pour relever ces défis, les auteurs introduisent GENEB, un benchmark de diagnostic à grande échelle conçu pour évaluer les représentations figées de 40 modèles de fondation génomique à travers 100 tâches réparties en 13 catégories fonctionnelles.

Protocole d'évaluation : GENEB emploie un protocole basé sur le sondage (probing) unifié. Les représentations de séquences figées sont extraites de chaque modèle et évaluées à l'aide de classifieurs de régression logistique légers. Cette approche isole la qualité de la représentation des effets de confusion du fine-tuning spécifique à la tâche.
Régimes de tir (Shot Regimes) : Les modèles sont évalués sous trois régimes : données complètes (full-data), 10-shot et 1-shot, permettant l'analyse de la robustesse en régime de peu de données (few-shot).
Métriques : La métrique principale est le coefficient de corrélation de Matthews (MCC), choisi pour sa robustesse face au déséquilibre des classes, ce qui est standard dans l'évaluation génomique.
Composition du benchmark : Les 100 tâches sont agrégées à partir de neuf benchmarks existants (ex. : Nucleotide Transformer, GUE, Genomic Benchmarks) et organisées en 13 catégories fonctionnelles, incluant les modifications des histones, les promoteurs, les enhancers, la méthylation de l'ADN, les sites d'épissage, l'ARN non codant long (lncRNA) et la classification des espèces. Notamment, 12 des 13 catégories se concentrent sur les phénomènes génomiques eucaryotes.
Comparaisons contrôlées : Pour isoler des facteurs spécifiques, les auteurs effectuent des analyses par paires appariées où les modèles sont comparés en maintenant les autres variables constantes (par exemple, comparer des architectures avec le même corpus de préentraînement et la même tokenisation, ou comparer les données de préentraînement avec la même architecture et la même tokenisation).

3. Contributions clés

Benchmark unifié : GENEB fournit la première évaluation exhaustive et contrôlée de 40 modèles de fondation génomique diversifiés sur une suite de tâches complète, servant de cadre de référence analogue à MTEB dans le traitement du langage naturel.
Cadre de diagnostic : En exposant les compromis au niveau de la tâche et l'hétérogénéité des performances, GENEB va au-delà des classements agrégés pour permettre une sélection de modèles fondée sur des principes et sensible aux catégories.
Analyse systématique : L'article propose une dissection granulaire de la manière dont l'échelle, l'architecture, la tokenisation et les données de préentraînement interagissent, remettant en question l'hypothèse selon laquelle le nombre de paramètres est le principal moteur de la performance.

4. Résultats clés

Le décalage entre échelle et performance

Bien qu'il existe une corrélation agrégée statistiquement significative entre l'échelle du modèle et la performance ( $\rho = 0,573$ ), l'échelle est un prédicteur imparfait des résultats par catégorie.

Inversions de domaine : Parmi les modèles "in-domain", il existe 25 cas où un modèle au moins 5 fois plus petit surpasse un homologue plus grand en MCC agrégé.
Décalage de domaine : La corrélation se renforce à $\rho = 0,694$ en excluant EVO-1-131K, un modèle de 7 milliards de paramètres préentraîné exclusivement sur des séquences procaryotes. Ce modèle se classe parmi les plus faibles sur les tâches eucaryotes (ex. : liaison des facteurs de transcription, sites d'épissage), illustrant qu'un décalage de domaine peut annuler les bénéfices d'une échelle massive.

Effets de l'architecture et du préentraînement

Architecture : Sous des conditions contrôlées (préentraînement et tokenisation appariés), les modèles basés sur les Transformers surpassent généralement les modèles d'espace d'état (ex. : Mamba). Cependant, ce n'est pas universel ; sur l'accessibilité de la chromatine, les modèles basés sur Mamba (ECCDNAMAMBA) surpassent les décodeurs Transformer, suggérant que l'alignement architecture-tâche est critique.
Données de préentraînement : L'alignement taxonomique est crucial.
- Multi-espèces vs Humain uniquement : Le préentraînement multi-espèces génère généralement des gains faibles mais constants par rapport au préentraînement sur l'humain uniquement, particulièrement sur l'accessibilité de la chromatine et les sites d'épissage.
- Eucaryote vs Procaryote/Microbien : Les modèles préentraînés sur des corpus procaryotes ou microbiens uniquement transfèrent mal vers les tâches eucaryotes. EVO-1-131K (procaryote) et DNABERT-S (microbien) sont nettement moins performants que les modèles focalisés sur les eucaryotes sur les tâches eucaryotes.
- Gène-centré vs Général : Le préentraînement axé sur les gènes (ex. : GENERATOR-EUKARYOTE) montre des avantages par rapport au préentraînement multi-espèces large sur des tâches spécifiques comme les sites d'épissage et les lncRNA.

Tokenisation

Aucune stratégie de tokenisation unique (BPE, k-mer, nucléotide simple) ne domine globalement. Le choix optimal dépend de l'interaction entre l'architecture et les données de préentraînement. Par exemple, la tokenisation par nucléotide simple (MUTBERT) surpasse le BPE sur les modèles préentraînés sur l'humain pour certaines tâches, tandis que le BPE montre des avantages dans les configurations de décodeur multi-espèces.

Robustesse en régime de peu de données (Few-Shot)

La performance se dégrade brutalement dans les régimes de faibles données (le macro-MCC moyen chute de 0,488 en full-shot à 0,106 en 1-shot).

Modèle inverse : Contre-intuitivement, les modèles ayant les plus faibles performances en full-shot présentent souvent les baisses absolues les plus faibles en régime few-shot. Cela est attribué à un faible plafond de performance plutôt qu'à une véritable robustesse.
Sensibilité de la catégorie : Les classements en few-shot diffèrent significativement des classements en full-shot dans 8 des 13 catégories, indiquant que le meilleur modèle pour une supervision complète n'est pas nécessairement le meilleur pour un déploiement en few-shot.

Difficulté des tâches et spécialisation

Frontières difficiles : Des tâches telles que la prédiction de la méthylation de l'ADN et l'identification des lncRNA de plantes restent largement non résolues, de nombreux modèles atteignant une performance proche du hasard. L'augmentation de l'échelle ne suffit pas à combler ces lacunes.
Spécialisation : Les tâches à haute variance révèlent que le choix du modèle a un impact disproportionné sur la performance en aval. Les modèles spécialisés (ex. : ENFORMER pour les tâches régulatrices, PLANTCADUCEUS pour les lncRNA de plantes) surpassent souvent les généralistes sur leurs domaines spécifiques, même avec moins de paramètres.

5. Signification et revendications

L'article soutient que les classements agrégés sont instables et souvent trompeurs pour la sélection de modèles génomiques. La principale importance de GENEB réside dans sa capacité à :

Exposer les compromis : Révéler que l'alignement architectural et de préentraînement l'emporte fréquemment sur le nombre de paramètres, et qu'aucun modèle unique ne domine tous les contextes biologiques.
Permettre une comparaison fondée sur des principes : Fournir un point de référence commun pour évaluer les progrès, faisant passer le domaine d'évaluations fragmentées et liées à des articles uniques vers des comparaisons contrôlées et reproductibles.
Guider la sélection de modèles : Encourager un passage vers une sélection de modèles sensible aux catégories. Les praticiens sont encouragés à choisir des modèles basés sur des exigences de tâches spécifiques (ex. : régulation vs structure) et l'alignement de domaine (ex. : eucaryote vs procaryote) plutôt que de se fier à un classement mondial unique.

Les auteurs concluent que si l'augmentation de l'échelle reste un prédicteur substantiel de la performance agrégée, elle est insuffisante pour résoudre les tâches génomiques complexes ou surmonter les décalages de domaine. Les progrès futurs nécessiteront des avancées complémentaires dans la conception des corpus de préentraînement, les biais inductifs et la supervision spécifique aux tâches, guidées par les enseignements diagnostiques fournis par GENEB.