🧬 biology

JEPA-DNA: Grounding Genomic Foundation Models through Joint-Embedding Predictive Architectures

JEPA-DNA führt ein modellagnostisches Framework für kontinuierliches Training ein, das Joint-Embedding Predictive Architectures mit traditionellen generativen Zielsetzungen integriert, um genomische Fundamentmodelle von der Rekonstruktion auf Token-Ebene hin zur semantischen Ausrichtung zu verschieben und so eine führende Leistung über diverse genomische Benchmarks hinweg zu erzielen.

Ursprüngliche Autoren: Ariel Larey, Elay Dahan, Amit Bleiweiss, Raizy Kellerman, Guy Leib, Omri Nayshool, Dan Ofer, Tal Zinger, Dan Dominissini, Gideon Rechavi, Nicole Bussola, Simon Lee, Shane O'Connell, Dung Hoang, Mariss

Veröffentlicht 2026-08-12

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ariel Larey, Elay Dahan, Amit Bleiweiss, Raizy Kellerman, Guy Leib, Omri Nayshool, Dan Ofer, Tal Zinger, Dan Dominissini, Gideon Rechavi, Nicole Bussola, Simon Lee, Shane O'Connell, Dung Hoang, Marissa Wirth, Alexander W. Charney, Nati Daniel, Yoli Shavit

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich den menschlichen Körper als eine riesige, antike Bibliothek vor. In dieser Bibliothek ist jede einzelne Anweisung für den Bau und den Betrieb eines Menschen in einem Code geschrieben, der aus nur vier Buchstaben besteht: A, C, G und T. Dieser Code ist die DNA. Lange Zeit haben Wissenschaftler versucht, Computern das Lesen dieser Bibliothek beizubringen, in der Hoffnung, dass ein Computer, wenn er die „Grammatik“ der DNA versteht, vorhersagen kann, wie unser Körper funktioniert, warum wir krank werden oder wie man genetische Fehler behebt.

Um dies zu erreichen, nutzen Forscher etwas, das man „Foundation Models“ nennt. Betrachten Sie diese als superintelligente Studenten, die Millionen von Büchern (DNA-Sequenzen) gelesen und die Regeln der Sprache gelernt haben. Normalenfalls lernen diese Studenten durch ein Spiel namens „Lückentext“. Wenn man ein Wort in einem Satz abdeckt, muss der Student erraten, welches es war, basierend auf den Wörtern drumherum. Das funktioniert sehr gut, um die lokalen Regeln des Satzes zu lernen, also wie Wörter zusammenpassen. Aber hier liegt das Problem: Die Grammatik zu kennen, bedeutet nicht zwangsläufig, dass man auch die Geschichte versteht. Ein Student weiß vielleicht, dass auf „Die Katze saß auf der...“ meistens das Wort „Matte“ folgt, aber er versteht vielleicht nicht, dass die Katze sich eigentlich vor einem Hund versteckt oder dass die gesamte Szene Teil eines größeren Mysteriums ist. Bei der DNA bedeutet das, dass Computer gut darin sind, kleine Muster zu erkennen, aber oft das große Ganze übersehen – also wie verschiedene Teile des Codes zusammenwirken, um das Leben zu steuern.

Hier kommt eine neue Studie namens JEPA-DNA ins Spiel. Die Forscher, ein Team von NVIDIA und medizinischen Zentren in Israel und den USA, beschlossen, diese DNA-lesenden Studenten aufzuwerten. Sie führten eine neue Trainingsmethode ein, die den Computer dazu zwingt, aufzuhören, nur die fehlenden Buchstaben zu erraten, und stattdessen damit zu beginnen, die Bedeutung der fehlenden Teile zu erraten. Anstatt zu fragen: „Welcher Buchstabe gehört hierher?“, fragen sie: „Was ist die Aufgabe dieses ganzen DNA-Abschnitts?“

Das Team testete diese neue Methode bei 17 verschiedenen Aufgaben, die von der Identifizierung des Starts von Genen (Promotoren) bis hin zur Vorhersage, wie genetische Veränderungen die Gesundheit beeinflussen, reichten. Sie probierten es bei drei verschiedenen Typen von DNA-lesenden Computern (DNABERT-2, NTv3 und HyenaDNA) aus, um sicherzustellen, dass es für alle funktioniert. Die Ergebnisse waren beeindruckend: Durch das Hinzufügen dieses neuen „bedeutungsorientierten“ Trainings wurden die Computer bei fast jeder Aufgabe besser. Beispielsweise verbesserte die neue Methode bei einer Aufgabe namens „GUE Promoter“ die Leistung um über 11 %. Bei einer anderen Aufgabe, die sich mit Krankheitsvarianten befasste, steigerte sie die Fähigkeit, Probleme zu erkennen, um mehr als 12 %.

Das Paper legt nahe, dass dieser Ansatz deshalb funktioniert, weil er den Computer lehrt, auf den „Wald“ statt nur auf die „Bäume“ zu schauen. Während die alten Methoden großartig darin waren, die lokale Syntax (die spezifische Reihenfolge der Buchstaben) auswendig zu lernen, hilft JEPA-DNA dem Modell, den globalen funktionalen Kontext (was diese Sequenz tatsächlich im Körper bewirkt) zu verstehen. Die Forscher fanden heraus, dass diese neue Art des Lernens ein „Weltmodell“ der Biologie erschafft, in dem der Computer die Regeln des Lebens versteht und nicht nur die Rechtschreibung. Sie zeigten sogar, dass diese Methode besser funktioniert als die derzeit besten verfügbaren Modelle und setzt eine neue Messlatte für das erreichbare Niveau dieser KI-Systeme. Es ist, als würde man einen Studenten, der gut im Buchstabieren war, dazu bringen, ein Literaturkritiker zu werden, der gleichzeitig den Plot, die Charaktere und das Thema versteht.

Technisches Resümee: JEPA-DNA

Problemstellung

Genomische Fundamentmodelle (Genomic Foundation Models, GFMs) haben die Modellierung von DNA-Sequenzen durch die Anpassung von Large Language Model (LLM)-Architekturen an genomische Daten vorangebracht. Aktuelle GFMs stützen sich jedoch überwiegend auf generative selbstüberwachte Zielsetzungen wie das Masked Language Modeling (MLM) oder die Next-Token-Prediction (NTP). Während diese Methoden effektiv darin sind, die lokale Sequenzsyntax und Motive zu erfassen, priorisieren diese auf Token-Ebene basierenden Rekonstruktionsparadigmen oft hochfrequentes Sequenzrauschen (z. B. repetitive Elemente) gegenüber dem globalen funktionalen Kontext. Infolgedessen können Modelle eine hohe syntaktische Treue erreichen, ohne die übergeordnete regulatorische Logik oder die weitreichenden Interaktionen zu verinnerlichen, die die genomische Funktion steuern. Es besteht eine kritische Lücke zwischen genomischer Syntax und biologischer Semantik, welche bestehende generative Zielsetzungen nicht zu schließen vermögen.

Methodik: JEPA-DNA-Framework

Um diese Einschränkung zu adressieren, führen die Autoren JEPA-DNA ein modellagnostisches Kontinuierliches Trainingsframework ein, das eine Joint-Embedding Predictive Architecture (JEPA) mit traditionellen generativen Zielsetzungen integriert. Anstatt rohe Tokens vorherzusagen, zwingt JEPA-DNA die Modelle dazu, die latenten funktionalen Repräsentationen maskierter genomischer Segmente vorherzusagen.

Architekturkomponenten

Das Framework erweitert ein Standard-GFM-Backbone ( $E_\theta$ ) um einen JEPA-Zweig, der aus besteht:

Kontext-Encoder ( $E_\theta$ ): Verarbeitet eine maskierte Eingabesequenz $x$ , um kontextuelle latente Repräsentationen $h_{ctx}$ zu erzeugen.
Target-Encoder ( $E_{\bar{\theta}}$ ): Ein strukturelles Duplikat des Kontext-Encoders mit Gewichten, die mittels Exponential Moving Average (EMA) aktualisiert werden. Er verarbeitet die unmaskierte Zielsequenz $y$ , um latente Targets $z$ zu erzeugen.
Predictor Head ( $P_\phi$ ): Bildet Kontextrepräsentationen auf den latenten Zielraum ab und lernt, kontextbasierte Merkmale mit den Embeddings des Target-Encoders abzugleichen.
Sequenz-Aggregator ( $A$ ): Komprimiert latente Sequenzen in globale Repräsentationen (z. B. durch Verwendung von [CLS]-Tokens, dem letzten Token oder Mean-Pooling), um eine globale semantische Ausrichtung zu ermöglichen.

Trainingsstrategie

JEPA-DNA verwendet ein Multi-Objective-Kontinuierliches-Trainingsverfahren:

Dual-Masking: Nutzt eine Span-basierte Maskierungsstrategie mit einem Scheduler, der die Maskierungsraten und Span-Längen schrittweise erhöht, um das Modell herauszufordern, weitreichende Abhängigkeiten abzuleiten.
Re-Masking: Ersetzt maskierte Positionen im Output des Kontext-Encoders durch lernbare latente [MASK]-Embeddings, um triviale Abbildungen zu verhindern.
Kompositiver Verlust (Composite Loss Function): Das Modell wird durch Minimierung eines Gesamtschadens ( $L_{total}$ $L_{t o t a l}$ ) optimiert, der vier Komponenten ausbalanciert:
1. LLM Loss ( $L_{llm}$ ): Standardmäßiger MLM- oder NTP-Verlust zur Aufrechterhaltung der Token-Präzision.
2. Latenter Prädiktionsverlust ( $L_{jepa}$ ): Ein Cosinus-Ähnlichkeitsverlust, der erzwingt, dass die vorhergesagte globale latente Repräsentation ( $\hat{z}_{glob}$ ) mit der Ziel-globalen Repräsentation ( $z_{glob}$ ) übereinstimmt.
3. Varianzverlust ( $L_{var}$ ): Stellt sicher, dass die Embedding-Dimensionen über den Batch hinweg eine ausreichende Varianz beibehalten, um einen Informationskollaps zu verhindern.
4. Kovarianzverlust ( $L_{cov}$ ): Fördert die Dekorrelation zwischen den Embedding-Dimensionen, um redundante Repräsentationen zu vermeiden (basierend auf VICReg).

Das Framework ist mit diversen Architekturen (Transformer, State Space Models wie HyenaDNA) und Tokenisierungsmethoden kompatibel und erfordert lediglich einen Aggregationsoperator, um Sequenzen in latente Repräsentationen zu komprimieren.

Zentrale Beiträge

Neuartiges Trainingsframework: Einführung eines Frameworks für kontinuierliches Training, das das Lernziel von der wörtlichen Token-Rekonstruktion zur latenten Merkmalsausrichtung via JEPA verschiebt.
Architekturagnostik: Demonstration, dass JEPA-DNA als universeller Mechanismus zur „Repräsentationssteigerung“ fungiert, der mit führenden GFMs (DNABERT-2, NTv3, HyenaDNA) sowie sowohl MLM- als auch NTP-Zielsetzungen kompatibel ist.
State-of-the-Art-Leistung: Etablierung neuer Leistungsmaxima über verschiedene überwachte Linear-Probing-Aufgaben hinweg, indem generative Präzision mit latenter semantischer Fundierung kombiniert wird.
Synergetische Analyse: Charakterisierung des Zusammenspiels zwischen generativen und latenten Zielsetzungen, wobei gezeigt wird, dass ein hybrider Ansatz reine Rekonstruktions- oder reine kontrastive Methoden übertrifft.

Experimentelle Ergebnisse

Das Framework wurde auf 17 diversen genomischen Benchmark-Aufgaben mittels Linear Probing und Zero-Shot-Protokollen evaluiert.

Linear Probing: JEPA-DNA zeigte konsistente Gewinne über alle drei getesteten Backbone-Architekturen hinweg.
- DNABERT-2: Verbesserte Leistung in 6–8 von 9 Aufgaben, mit AUROC-Gewinnen von bis zu +8,0 %.
- NTv3: Verbesserte Leistung in 8 von 9 Aufgaben.
- HyenaDNA: Verbesserte Leistung in 7 von 9 Aufgaben, mit bemerkenswerten Gewinnen bei der Promotor-Erkennung (+11,22 %) und der Splice-Site-Klassifizierung (+10,28 %).
- Aufgabenspezifität: Die Gewinne waren am ausgeprägtesten bei Aufgaben, die auf einem breiteren regulatorischen Kontext beruhen (Promotoren, Splice Sites, meQTL, kausale eQTL), während Aufgaben, die durch feingliedrige lokale Änderungen getrieben werden (kodierende Pathogenität), variablere Ergebnisse zeigten.
Zero-Shot-Evaluierung: Unter Verwendung von DNABERT-2 verbesserte JEPA-DNA die Zero-Shot-Leistung in 6 von 8 klinischen und Fitness-Scoring-Benchmarks, einschließlich eines +12,06 % AUROC-Gewinns bei der Vorhersage von Krankheitsvarianten.
Ablationsstudien:
- VICReg-Regularisierung: Wurde als essenziell identifiziert, um die Vorteile des hybriden Paradigmas freizusetzen.
- Predictor-Architektur: Attention-basierte Predictor (4 Layer) übertrafen MLPs und tiefere Architekturen.
- Verlustzusammensetzung: Die Ausrichtung im latenten Raum lieferte ein informativeres Signal (+3,86 % Gewinn) als die reine Token-Rekonstruktion (+2,06 %), wobei die optimale Konfiguration jedoch ein Hybrid aus beiden erforderte.

Bedeutung

Das Paper behauptet, dass JEPA-DNA einen neuen Stand der Technik für genomische Fundamentmodelle etabliert, indem es diese erfolgreich in biologischen Semantiken fundiert. Durch die Verschiebung des Lernsignals von der Token-Wiederherstellung zur semantischen Ausrichtung zwingt das Framework die Modelle, abstrakte, funktionale Merkmale zu lernen, die gegenüber niedrigschwelligem Sequenzrauschen invariant sind. Dieser Ansatz schließt die Lücke zwischen genomischer Syntax und biologischer Logik und bietet einen skalierbaren Weg zur Fundierung von Fundamentmodellen, ohne den Rechenaufwand von Multi-Sequenz-Alignment oder die Datenanforderungen von kontrastivem Negative Mining. Die Autoren positionieren JEPA-DNA nicht als Ersatz für bestehende GFMs, sondern als vielseitige Phase des kontinuierlichen Trainings, die die Qualität der Repräsentation jeder bestehenden genomischen Fundamentmodell verbessert.