Entropy, Disagreement, and the Limits of Foundation Models in Genomics

Problemstellung

Genomische Foundation Models (GFMs) haben im Vergleich zu ihren Gegenstücken im Bereich der natürlichen Sprachverarbeitung (NLP) gemischte Erfolge erzielt. Obwohl sie auf großen DNA-Datensätzen mit Techniken wie autoregressiver Modellierung oder Masked Language Modeling (MLM) trainiert werden, um versteckte Beziehungen oder eine „Grammatik" der DNA zu lernen, bleibt ihre begrenzte Effektivität oft unerklärt. Während spezialisierte, kleinere Modelle für bestimmte Aufgaben oft besser abschneiden als GFMs, fehlt es bisher an einer theoretischen Erklärung für das Scheitern der selbstüberwachten Lernansätze auf Sequenzdaten allein. Die Autoren argumentieren, dass der Unterschied in der Entropie zwischen menschlicher Sprache und DNA-Sequenzen der Schlüssel zum Verständnis dieses Problems ist.

Methodik

Die Studie vergleicht systematisch das Verhalten von Transformer-Modellen (BERT-Architektur) unter kontrollierten Bedingungen:

• Ensemble-Training: Es wurden drei Ensembles von je $N=5$ BERT-Modellen trainiert (insgesamt 15 Modelle).
  1. Trainiert auf englischen Texten (Byte-Pair-Encoding, BPE).
  2. Trainiert auf DNA-Sequenzen (BPE-Tokenisierung).
  3. Trainiert auf DNA-Sequenzen (k-mer, nicht-überlappende Tokenisierung).
• Kontrollierte Variablen: Alle Modelle haben exakt die gleiche Architektur (90M Parameter), die gleiche Vokabulargröße (4096), werden auf der gleichen Anzahl von Tokens (5 Milliarden) trainiert und durchlaufen die Daten in derselben deterministischen Reihenfolge. Der einzige Unterschied liegt in den zufällig initialisierten Gewichten und den Trainingsdaten.
• Analysemethoden:
  • Output-Verteilungen: Berechnung der Kullback-Leibler-Divergenz (KL) zur Uniformverteilung und des Jensen-Shannon-Abstands (JSD) zwischen Modellen des Ensembles, um Unsicherheit und Einigkeit zu messen.
  • Statische Embeddings: Analyse der ersten Embedding-Schicht (Word Embeddings) mittels Jaccard-Überlappung, Spearman-Korrelation und Procrustes-Analyse (nach Ausrichtung der Räume), um die Stabilität der gelernten Repräsentationen zu bewerten.
  • Empirische Fisher-Information: Berechnung der diagonalen Elemente der Fisher-Information-Matrix (FIM), um zu bestimmen, in welchen Schichten (Embeddings vs. Transformer-Layer vs. Head) die Daten die Modellparameter am stärksten einschränken.

Hauptergebnisse

1. Hohe Entropie und Unsicherheit:

   • DNA-Modelle zeigen eine signifikant höhere Entropie in ihren Vorhersageverteilungen als Textmodelle. Die KL-Divergenz zur Uniformverteilung liegt bei DNA-Modellen (BPE) bei ca. 3 Bit und bei k-mer-Modellen unter 1 Bit, während Textmodelle über 10 Bit erreichen.
   • Dies bedeutet, dass DNA-Modelle keine konfidenten Vorhersagen treffen, sondern fast gleichmäßige Wahrscheinlichkeitsverteilungen über das Vokabular ausgeben.

2. Ensemble-Diskrepanz (Disagreement):

   • Im Gegensatz zu Textmodellen, die stabile und einvernehmliche Vorhersagen treffen, zeigen DNA-Modelle eine hohe Diskrepanz.
   • Bei der Analyse der Jensen-Shannon-Distanz zeigt sich, dass DNA-Modelle nur dann scheinbar übereinstimmen, wenn die gesamte Verteilung betrachtet wird (hohe Top-p-Masse). Sobald die Verteilung eingeschränkt wird (Nucleus Sampling), bricht die Einigkeit zusammen.
   • Dies deutet darauf hin, dass die Modelle nicht über das richtige Token einig sind, sondern einfach allen Tokens eine ähnliche Wahrscheinlichkeit zuweisen.

3. Instabile statische Embeddings:

   • Die statischen Embeddings (erste Schicht) von DNA-Modellen sind extrem instabil. Selbst bei identischem Training und Daten führen unterschiedliche Initialisierungen zu stark divergierenden Embedding-Räumen (niedrigere Procrustes-Kosinus-Ähnlichkeit, höhere Disparität).
   • Textmodelle hingegen lernen konsistente statische Beziehungen zwischen Tokens, was auf eine robuste Lernfähigkeit hindeutet.

4. Verteilung der Fisher-Information:

   • Bei Textmodellen konzentriert sich die Fisher-Information (der Informationsgehalt der Daten bezüglich der Parameter) erwartungsgemäß in den Transformer-Layern. Dies zeigt, dass das Modell lernt, Beziehungen zwischen Tokens (Attention-Mechanismus) zu nutzen.
   • Bei DNA-Modellen konzentriert sich die Fisher-Information fast ausschließlich in den statischen Embedding-Layern. Die Transformer-Layer tragen kaum zur Informationsaufnahme bei.
   • Interpretation: DNA-Modelle scheinen Token-Identitäten auswendig zu lernen (Memorization), anstatt kontextuelle Beziehungen zwischen Tokens zu erfassen. Der Attention-Mechanismus wird effektiv nicht genutzt.

Schlüsselerkenntnisse und Beiträge

• Entropie als fundamentale Grenze: Die hohe Entropie von DNA-Sequenzen aus der Perspektive der Vorhersage unsichtbarer Tokens verhindert, dass Modelle eine konfidente und interpretierbare Verteilung lernen.
• Fehlende Nutzung von Inter-Token-Beziehungen: Die Analyse der Fisher-Information liefert den Beweis, dass selbstüberwachtes Training auf DNA-Sequenzen allein dazu führt, dass Modelle in den Embedding-Schichten stecken bleiben und die komplexen Beziehungen, die durch Transformer-Architekturen ermöglicht werden, nicht lernen.
• Tokenisierung ist nicht der Hauptfaktor: Der Wechsel zwischen BPE- und k-mer-Tokenisierung hatte keinen signifikanten Einfluss auf die negativen Ergebnisse, was darauf hindeutet, dass das Problem in den fundamentalen Eigenschaften der DNA-Daten selbst liegt und nicht im Tokenisierungsverfahren.

Bedeutung und Implikationen

Die Arbeit stellt die aktuellen Annahmen hinter der Entwicklung genomischer Foundation Models in Frage. Die Ergebnisse legen nahe, dass selbstüberwachtes Training allein auf Basis der Vorhersage unsichtbarer Tokens aus genomischen Sequenzen möglicherweise nicht ausreicht, um grundlegende biologische Fähigkeiten zu entwickeln.

• Reproduzierbarkeit: Die hohe Varianz zwischen Modellen mit denselben Daten untergräbt die Reproduzierbarkeit von Studien, die auf statischen DNA-Embeddings basieren.
• Zukünftige Richtungen: Es wird gefordert, neue Trainingsziele oder Architekturen zu entwickeln, die über die reine Sequenzvorhersage hinausgehen, um die inhärente hohe Entropie der DNA zu überwinden und Modelle zu zwingen, kontextuelle biologische Zusammenhänge zu lernen.

Zusammenfassend zeigt das Papier, dass die Übertragung von NLP-Erfolgen auf die Genomik nicht trivial ist, da die informationstheoretischen Eigenschaften der Daten (hohe Entropie) die Lernfähigkeit moderner Transformer-Architekturen fundamental einschränken.