🧬 biology

JEPA-DNA: Grounding Genomic Foundation Models through Joint-Embedding Predictive Architectures

JEPA-DNA introduit un cadre d'entraînement continu agnostique au modèle qui intègre des architectures prédictives à plongement conjoint avec des objectifs génératifs traditionnels pour faire passer les modèles de fondation génomiques de la reconstruction au niveau du jeton vers l'alignement sémantique, atteignant ainsi des performances de pointe sur divers benchmarks génomiques.

Auteurs originaux : Ariel Larey, Elay Dahan, Amit Bleiweiss, Raizy Kellerman, Guy Leib, Omri Nayshool, Dan Ofer, Tal Zinger, Dan Dominissini, Gideon Rechavi, Nicole Bussola, Simon Lee, Shane O'Connell, Dung Hoang, Mariss

Publié 2026-08-12

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ariel Larey, Elay Dahan, Amit Bleiweiss, Raizy Kellerman, Guy Leib, Omri Nayshool, Dan Ofer, Tal Zinger, Dan Dominissini, Gideon Rechavi, Nicole Bussola, Simon Lee, Shane O'Connell, Dung Hoang, Marissa Wirth, Alexander W. Charney, Nati Daniel, Yoli Shavit

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez le corps humain comme une immense bibliothèque ancienne. À l'intérieur de cette bibliothèque, chaque instruction pour construire et faire fonctionner un être humain est écrite dans un code composé de seulement quatre lettres : A, C, G et T. Ce code est l'ADN. Pendant longtemps, les scientifiques ont tenté d'apprendre aux ordinateurs à lire cette bibliothèque, espérant que si un ordinateur comprend la « grammaire » de l'ADN, il pourra prédire comment nos corps fonctionnent, pourquoi nous tombons malades ou comment réparer des dysfonctionnements génétiques.

Pour ce faire, les chercheurs utilisent ce qu'on appelle des « Modèles de Fondation ». Voyez ces modèles comme des étudiants super intelligents qui ont lu des millions de livres (des séquences d'ADN) et appris les règles du langage. Habituellement, ces étudiants apprennent en jouant à un jeu de « texte à trous ». Si vous cachez un mot dans une phrase, l'étudiant doit deviner quel était ce mot en se basant sur les mots qui l'entourent. Cela fonctionne très bien pour apprendre les règles locales de la phrase, comme la façon dont les mots s'assemblent. Mais voici le problème : connaître la grammaire ne signifie pas toujours que l'on comprend l'histoire. Un étudiant peut savoir que « Le chat est assis sur le... » est généralement suivi de « tapis », mais il peut ne pas comprendre que le chat est en réalité en train de se cacher d'un chien, ou que toute la scène fait partie d'un mystère plus vaste. Dans l'ADN, cela signifie que les ordinateurs sont doués pour repérer de petits motifs, mais manquent souvent la vue d'ensemble de la manière dont les différentes parties du code travaillent ensemble pour contrôler la vie.

C'est ici qu'intervient une nouvelle étude appelée JEPA-DNA. Les chercheurs, une équipe de NVIDIA et de centres médicaux en Israël et aux États-Unis, ont décidé d'améliorer ces étudiants lecteurs d'ADN. Ils ont introduit une nouvelle méthode d'entraînement qui force l'ordinateur à arrêter de simplement deviner les lettres manquantes pour commencer à deviner le sens des parties manquantes. Au lieu de demander : « Quelle lettre va ici ? », ils demandent : « Quel est le rôle de tout ce bloc d'ADN ? »

L'équipe a testé cette nouvelle méthode sur 17 tâches différentes, allant de la localisation de l'endroit où les gènes commencent (promoteurs) à la prédiction de l'impact des changements génétiques sur la santé. Ils l'ont testée sur trois types différents d'ordinateurs lecteurs d'ADN (DNABERT-2, NTv3 et HyenaDNA) pour s'assurer que cela fonctionnait pour tout le monde. Les résultats sont impressionnants : en ajoutant ce nouvel entraînement « axé sur le sens », les ordinateurs se sont améliorés dans presque toutes les tâches. Par exemple, sur une tâche appelée « Promoteur GUE », la nouvelle méthode a amélioré les performances de plus de 11 %. Sur une autre tâche impliquant des variantes de maladies, elle a boosté la capacité à repérer les problèmes de plus de 12 %.

L'article suggère que cette approche fonctionne parce qu'elle apprend à l'ordinateur à regarder la « forêt » plutôt que seulement les « arbres ». Alors que les anciennes méthodes étaient excellentes pour mémoriser la syntaxe locale (l'ordre spécifique des lettres), JEPA-DNA aide le modèle à comprendre le contexte fonctionnel global (ce que cette séquence fait réellement dans le corps). Les chercheurs ont découvert que cette nouvelle façon d'apprendre crée un « modèle du monde » de la biologie, où l'ordinateur comprend les règles de la vie, et pas seulement l'orthographe. Ils ont même démontré que cette méthode fonctionne mieux que les meilleurs modèles actuels, établissant une nouvelle barre très haute pour ce que ces systèmes d'IA peuvent accomplir. C'est comme prendre un étudiant qui était bon en orthographe et lui apprendre à devenir un critique littéraire capable de comprendre l'intrigue, les personnages et le thème, tout cela à la fois.

Résumé Technique : JEPA-DNA

Énoncé du Problème

Les Modèles de Fondations Génomiques (GFM) ont fait progresser la modélisation des séquences d'ADN en adaptant les architectures de Grands Modèles de Langage (LLM) aux données génomiques. Cependant, les GFMs actuels reposent principalement sur des objectifs d'auto-supervision génératifs, tels que le Masquage de Langage (MLM) ou la Prédiction du Prochain Token (NTP). Bien qu'efficaces pour capturer la syntaxe locale des séquences et identifier des motifs, ces paradigmes de reconstruction au niveau du token privilégient souvent le « bruit » de séquence à haute fréquence (ex: éléments répétitifs) au détriment du contexte fonctionnel global. Par conséquent, les modèles peuvent atteindre une fidélité syntaxique élevée sans pour autant intérioriser la logique régulatrice de haut niveau et les interactions à longue portée qui régissent la fonction génomique. Il existe un fossé critique entre la syntaxe génomique et la sémantique biologique que les objectifs génératifs existants ne parviennent pas à combler.

Méthodologie : Cadre JEPA-DNA

Pour remédier à cette limitation, les auteurs introduisent JEPA-DNA, un cadre d'entraînement continu agnostique vis-à-vis de l'architecture qui intègre une Architecture de Prédiction d'Espace de Latence Conjoint (JEPA) avec des objectifs génératifs traditionnels. Plutôt que de prédire des tokens bruts, JEPA-DNA force les modèles à prédire les représentations fonctionnelles latentes de segments génomiques masqués.

Composants de l'Architecture

Le cadre augmente un squelette standard de GFM ( $E_\theta$ ) avec une branche JEPA composée de :

Encodeur de Contexte ( $E_\theta$ ) : Traite une séquence d'entrée masquée $x$ pour produire des représentations latentes contextuelles $h_{ctx}$ .
Encodeur Cible ( $E_{\bar{\theta}}$ ) : Un duplicata structurel de l'encodeur de contexte dont les poids sont mis à jour via une Moyenne Mobile Exponentielle (EMA). Il traite la séquence cible non masquée $y$ pour produire des cibles latentes $z$ .
Tête de Prédiction ( $P_\phi$ ) : Cartographie les représentations de contexte vers l'espace latent cible, apprenant à aligner les caractéristiques dérivées du contexte avec les plongements de l'encodeur cible.
Aggrégateur de Séquence ( $A$ ) : Compresse les séquences latentes en représentations globales (ex: utilisant des tokens [CLS], le dernier token, ou le pooling moyen) pour faciliter l'alignement sémantique global.

Stratégie d'Entraînement

JEPA-DNA emploie une procédure d'entraînement continu multi-objectif :

Double Masquage : Utilise une stratégie de masquage basée sur des segments (span-based) avec un ordonnanceur qui augmente progressivement les ratios de masquage et la longueur des segments, mettant au défi le modèle pour inférer des dépendances à longue portée.
Re-masquage : Remplace les positions masquées dans la sortie de l'encodeur de contexte par des plongements [MASK] latents apprenables pour éviter les correspondances triviales.
Fonction de Perte Composite : Le modèle est optimisé en minimisant une perte totale ( $L_{total}$ $L_{t o t a l}$ ) qui équilibre quatre composantes :
1. Perte LLM ( $L_{llm}$ ) : Perte MLM ou NTP standard pour maintenir la précision au niveau du token.
2. Perte de Prédiction Latente ( $L_{jepa}$ ) : Une perte de similitude cosinus forçant la représentation latente globale prédite ( $\hat{z}_{glob}$ ) à s'aligner avec la représentation latente globale cible ( $z_{glob}$ ).
3. Perte de Variance ( $L_{var}$ ) : Garantit que les dimensions de l'embedding maintiennent une variance suffisante à travers le batch pour éviter l'effondrement informationnel.
4. Perte de Covariance ( $L_{cov}$ ) : Encourage la décorrélation entre les dimensions d'embedding pour éviter les représentations redondantes (basée sur VICReg).

Le cadre est conçu pour être compatible avec diverses architectures (Transformers, Modèles d'Espace d'État comme HyenaDNA) et méthodes de tokenisation, ne nécessitant qu'un opérateur d'agrégation pour compresser les séquences en représentations latentes.

Contributions Clés

Nouveau Cadre d'Entraînement : Introduction d'un cadre d'entraînement continu qui déplace l'objectif d'apprentissage de la reconstruction littérale de tokens vers l'alignement de caractéristiques latentes via JEPA.
Agnosticisme de l'Architecture : Démonstration que JEPA-DNA agit comme un mécanisme universel de « rehaussement de représentation », compatible avec les principaux GFM (DNABERT-2, NTv3, HyenaDNA) et les objectifs MLM et NTP.
Performance de l'État de l'Art : Établissement de nouveaux plafonds de performance à travers des tâches de sondage linéaire supervisées en faisant le pont entre la précision générative et l'ancrage sémantique latent.
Analyse Synergique : Caractérisation de l'interaction entre les objectifs génératifs et latents, montrant qu'une approche hybride surpasse les méthodes de pure reconstruction ou de pur contraste.

Résultats Expérimentaux

Le cadre a été évalué sur 17 tâches de référence génomiques diverses en utilisant des protocoles de sondage linéaire et zero-shot.

Sondage Linéaire (Linear Probing) : JEPA-DNA a démontré des gains constants sur les trois architectures de base testées.
- DNABERT-2 : Amélioration des performances dans 6 à 8 tâches sur 9, avec des gains d'AUROC allant jusqu'à +8,0 %.
- NTv3 : Amélioration des performances dans 8 tâches sur 9.
- HyenaDNA : Amélioration des performances dans 7 tâches sur 9, avec des gains notables dans la reconnaissance de promoteurs (+11,22 %) et la classification des sites d'épissage (+10,28 %).
- Spécificité des Tâches : Les gains ont été plus prononcés dans les tâches reposant sur un contexte régulateur plus large (promoteurs, sites d'épissage, meQTL, eQTL causaux), tandis que les tâches pilotées par des changements locaux fins (pathogénicité codante) ont montré des résultats plus variables.
Évaluation Zero-Shot : En utilisant DNABERT-2, JEPA-DNA a amélioré les performances zero-shot dans 6 des 8 benchmarks cliniques et de score de fitness, incluant un gain d'AUROC de +12,06 % sur la prédiction de variants pathogènes.
Études d'Ablation :
- Régularisation VICReg : Identifiée comme essentielle pour débloquer les bénéfices du paradigme hybride.
- Architecture du Prédicteur : Les prédicteurs basés sur l'attention (4 couches) ont surpassé les MLP et les architectures plus profondes.
- Composition de la Perte : L'alignement de l'espace latent a fourni un signal plus informatif (+3,86 % de gain) que la reconstruction de token seule (+2,06 %), mais la configuration optimale nécessitait un hybride des deux.

Signification

L'article affirme que JEPA-DNA établit un nouveau état de l'art pour les Modèles de Fondations Génomiques en réussissant à les ancrer dans la sémantique biologique. En déplaçant le signal d'apprentissage de la récupération de tokens vers l'alignement sémantique, le cadre force les modèles à apprendre des caractéristiques fonctionnelles abstraites qui sont invariantes au bruit de séquence de bas niveau. Cette approche comble le fossé entre la syntaxe génomique et la logique biologique, offrant une voie évolutive pour ancrer les modèles de fondation sans la surcharge computationnelle de l'alignement de séquences multiples ou les exigences de données du minage de négatifs contrastifs. Les auteurs positionnent JEPA-DNA non pas comme un remplacement des GFM existants, mais comme une phase d'entraînement continu polyvalente qui améliore la qualité de la représentation de tout GFM génomique existant.