Entropy, Disagreement, and the Limits of Foundation Models in Genomics

1. Problématique

Les modèles de fondation génomiques (Genomic Foundation Models - GFMs), entraînés de manière auto-supervisée sur de vastes collections de séquences d'ADN (via des tâches de type masked language modeling), montrent des résultats mitigés par rapport à leurs homologues en traitement du langage naturel (NLP). Bien que des études antérieures aient rapporté des performances correctes sur certaines tâches en aval, leur utilité réelle est remise en question : des modèles spécialisés plus petits surpassent souvent les embeddings des GFMs, tout en étant plus rapides et moins coûteux.

Le problème central identifié par les auteurs est l'absence d'explication théorique sur pourquoi ces modèles échouent à développer des capacités fondamentales robustes à partir des séquences d'ADN seules. L'hypothèse de l'article est que la haute entropie des séquences génomiques, du point de vue de la prédiction de tokens non vus, empêche l'apprentissage de distributions confidentielles et interprétables, limitant ainsi la capacité du modèle à capturer la « grammaire » biologique.

2. Méthodologie

Pour isoler l'impact de la nature des données (texte vs ADN) tout en contrôlant les variables expérimentales, les auteurs ont conçu une expérience rigoureuse :

• Architectures : Ils ont entraîné trois ensembles (ensembles de modèles) de 5 modèles BERT (encodeurs transformeurs) identiques, chacun contenant 90 millions de paramètres.
• Données et Tokenisation :
  1. Ensemble Texte : Entraîné sur du texte anglais avec un tokeniseur byte-pair encoding (BPE).
  2. Ensemble ADN (BPE) : Entraîné sur des séquences d'ADN avec un tokeniseur BPE (pour une comparaison directe avec le texte).
  3. Ensemble ADN (k-mer) : Entraîné sur des séquences d'ADN avec un tokeniseur k-mer non chevauchant (schéma standard en génomique).
• Contrôles expérimentaux : Tous les modèles utilisent le même nombre de tokens d'entraînement (5 milliards), la même taille de vocabulaire (4096 tokens, correspondant à un schéma de 6-mers), et parcourent les données dans le même ordre déterministe. Seules les initialisations des poids sont aléatoires.
• Mesures d'analyse :
  • Divergence de sortie : Calcul de la divergence KL par rapport à une distribution uniforme et de la distance Jensen-Shannon (JSD) entre les prédictions de paires de modèles.
  • Espace d'embedding : Analyse de l'accord entre les embeddings statiques (première couche) via des métriques locales (recouvrement Jaccard, corrélation de Spearman) et globales (alignement Procruste, similarité cosinus, disparité).
  • Information de Fisher : Analyse de la matrice d'information de Fisher empirique (FIM) pour déterminer où l'information est concentrée dans le modèle (couche d'embedding vs couches transformeurs vs tête de prédiction).

3. Contributions Clés

L'article apporte trois contributions majeures à la compréhension des limites des GFMs :

1. Lien Entropie-Incertitude : Démonstration que la haute entropie des séquences d'ADN conduit à des distributions de sortie quasi-uniformes, reflétant une incertitude intrinsèque élevée lors de la prédiction de tokens masqués.
2. Instabilité des Modèles (Disagreement) : Preuve que, contrairement aux modèles de texte, les modèles entraînés sur l'ADN divergent fortement dans leurs prédictions et leurs représentations internes, même lorsqu'ils sont entraînés sur les mêmes données avec la même architecture.
3. Échec de l'Apprentissage des Relations Inter-Tokens : Révélation via l'information de Fisher que les modèles ADN concentrent l'information dans les couches d'embedding statiques plutôt que dans les couches d'attention, suggérant un échec à apprendre les relations contextuelles complexes.

4. Résultats Principaux

A. Distributions de Sortie et Accord Inter-Modèles

• Entropie et KL-Divergence : Les modèles ADN (BPE) présentent une divergence KL d'environ 3 bits par rapport à la distribution uniforme, contre plus de 10 bits pour les modèles de texte. Cela indique que les modèles ADN attribuent des probabilités presque égales à tous les tokens, manquant de confiance.
• Instabilité sous échantillonnage : Bien que les distances Jensen-Shannon semblent faibles à première vue, elles augmentent drastiquement lorsque l'on applique un échantillonnage par noyau (nucleus sampling, réduction de la masse de probabilité). Cela signifie que les modèles ADN ne sont pas d'accord sur quel token est le plus probable, mais attribuent simplement la même probabilité à tous.
• Comparaison : Les modèles de texte convergent vers des distributions stables et cohérentes, tandis que les modèles ADN montrent une forte variance.

B. Embeddings Statiques

• Désaccord structurel : Les métriques d'accord (recouvrement Jaccard, corrélation de Spearman, similarité cosinus Procruste) sont systématiquement plus faibles pour les modèles ADN que pour les modèles de texte (Tableau 1).
• Implication : Même avec les mêmes données et le même ordre d'itération, les initialisations aléatoires conduisent à des espaces d'embedding radicalement différents pour l'ADN. Cela suggère une faible robustesse à l'initialisation et une mauvaise reproductibilité des analyses basées sur des embeddings statiques en génomique.

C. Information de Fisher Empirique

• Concentration de l'information :
  • Texte : L'information de Fisher est concentrée dans les couches transformeurs, indiquant que le modèle apprend activement les relations asymétriques entre les tokens via le mécanisme d'attention.
  • ADN : L'information est massivement concentrée dans les couches d'embedding statiques.
• Interprétation : Les modèles ADN semblent « mémoriser » l'identité des tokens plutôt que d'apprendre leurs relations contextuelles. Le mécanisme d'attention, pourtant central à l'architecture, n'est pas efficacement exploité.

5. Signification et Conclusion

Les résultats de cette étude remettent en question les hypothèses fondamentales sous-jacentes à l'entraînement actuel des modèles de fondation génomiques.

• Limites de l'apprentissage auto-supervisé : L'entraînement sur la seule prédiction de tokens non vus à partir de séquences d'ADN pourrait être insuffisant pour développer des capacités fondamentales, en raison de la nature informationnelle de l'ADN (haute entropie, faible prévisibilité contextuelle stricte par rapport au langage naturel).
• Impact sur la recherche : L'instabilité des embeddings et la concentration de l'information dans les couches d'entrée suggèrent que les analyses basées sur les embeddings statiques des GFMs actuels peuvent être peu fiables.
• Perspectives : Les auteurs concluent que des approches alternatives sont nécessaires, car la simple transposition des méthodologies NLP (comme BERT) aux données génomiques ne fonctionne pas sans une compréhension profonde des propriétés informationnelles spécifiques à la biologie.

En résumé, l'article démontre que la haute entropie des données génomiques crée un « plafond de verre » pour les modèles de fondation, les empêchant de développer une compréhension contextuelle robuste et stable, contrairement à ce qui est observé en traitement du langage naturel.