🧬 biology

TadA-Bench: A Million-Variant Benchmark for Future-Round Discovery Toward Agentic Protein Engineering

L'article présente TadA-Bench, un banc d'essai d'un million de variants dérivé de 31 cycles d'évolution dirigée de TadA qui évalue la capacité des modèles d'IA à prioriser les futures expériences en laboratoire humide en classant des variants inédits sur la base de données historiques, révélant que les systèmes actuels éprouvent des difficultés avec la découverte de cycles futurs malgré de fortes capacités d'interpolation.

Auteurs originaux : Jin Gao, Juntu Zhao, Zirui Zeng, Jiaqi Shen, Junhao Shi, Dukun Zhao, Yuming Lu, Dequan Wang

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jin Gao, Juntu Zhao, Zirui Zeng, Jiaqi Shen, Junhao Shi, Dukun Zhao, Yuming Lu, Dequan Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment devenir un chef étoilé. Vous avez un carnet contenant 31 cycles d'expériences culinaires. Dans chaque cycle, le chef a testé des milliers de recettes légèrement différentes, les a goûtées et a noté lesquelles étaient les meilleures.

TadA-Bench est un immense livre de cuisine d'un million de recettes, construit à partir de ces expériences réelles, conçu pour tester si l'IA peut réellement apprendre à prédire la prochaine grande recette avant même qu'elle ne soit cuisinée.

Voici la décomposition de ce que fait l'article, en utilisant des analogies simples :

1. Le Problème : Le test du "Voyage dans le temps"

La plupart des benchmarks d'IA sont comme un QCM où les réponses sont mélangées dans le même tas que les questions. Si vous étudiez dur, vous pouvez mémoriser les réponses et obtenir un score parfait. C'est ce qu'on appelle l'« interpolation ».

Mais la vraie science n'est pas un QCM ; c'est un voyage. Vous devez savoir ce qui a fonctionné dans le passé pour deviner ce qui fonctionnera dans le futur.

La configuration de l'article : TadA-Bench force l'IA à regarder uniquement les 27 premiers cycles d'expériences culinaires. Elle lui demande ensuite de classer les recettes des cycles 28, 29, 30 et 31 (qu'elle n'a jamais vues auparavant).
L'objectif : Voir si l'IA peut agir comme un « agent scientifique » capable de planifier l'étape suivante, plutôt que comme un simple étudiant qui a mémorisé son manuel.

2. Les Données Désordonnées : Nettoyer la Cuisine

Les données réelles de laboratoire sont désordonnées. Imaginez qu'un cycle d'expériences a été réalisé un mardi matin, et un autre un vendredi après-midi. Les scores de « goût » peuvent être légèrement différents simplement à cause du jour, et non à cause du changement de recette. De plus, certaines recettes apparaissent dans plusieurs cycles avec des scores légèrement différents.

Seq2Graph (Le "Agent de circulation") : Les auteurs ont construit un outil spécial appelé Seq2Graph pour nettoyer ce désordre. Considérez cela comme un agent de circulation qui organise une intersection chaotique. Il regarde comment les recettes se chevauchent entre les différents cycles et corrige les contradictions. Il crée un « bulletin de notes » unique et cohérent afin que la valeur d'une recette soit équitable, quel que soit le cycle dans lequel elle est apparue.

3. La Grande Surprise : L'IA est restée bloquée

Les chercheurs ont testé de nombreux modèles d'IA puissants (les « chefs ») sur ce benchmark.

Le "Test Facile" : Lorsqu'ils mélangeaient les données de manière aléatoire (comme un examen standard), l'IA réussissait très bien. Elle pouvait facilement deviner la qualité d'une recette si elle en avait déjà vu des similaires auparavant.
Le "Test Difficile" (Cycle Futur) : Lorsqu'ils ont forcé l'IA à prédire les cycles futurs en se basant uniquement sur les cycles passés, l'IA a lamentablement échoué.
- L'analogie : C'est comme une IA qui peut vous dire qu'un gâteau est délicieux si vous lui montrez une photo du gâteau, mais si vous lui demandez : « En vous basant sur les 27 fournées de cookies que nous avons préparées, laquelle de ces nouvelles recettes de cookies de demain sera la meilleure ? », elle répond au hasard.
- Même en ajustant les paramètres de l'IA ou en lui apprenant davantage, elle ne parvenait toujours pas à combler le fossé entre « ce que nous savons » et « ce qui vient après ».

4. La Leçon : La Largeur plutôt que la Profondeur

Les chercheurs ont tenté de comprendre pourquoi l'IA a échoué. Ils ont testé deux façons de nourrir l'IA avec des données :

Densité Locale : Donner à l'IA une énorme pile de données provenant d'un seul ou de deux cycles seulement (très détaillé, mais étroit).
Couverture Évolutive : Donner à l'IA une quantité de données plus faible, mais répartie sur l'ensemble des 31 cycles (moins détaillé par cycle, mais couvre tout le parcours).

Le Résultat : L'IA a bien mieux performé avec la Couverture.

L'analogie : Il vaut mieux avoir une carte qui montre toute la route du début à la fin, même si les détails sont un peu flous, que d'avoir une photo haute définition du premier kilomètre. Pour prédire le futur, l'IA a besoin de voir le voyage, pas seulement un instantané de la ligne de départ.

5. Pourquoi cela compte

L'article conclut que nous avons besoin d'une nouvelle façon de tester l'IA pour la science.

L'IA actuelle : Bonne pour mémoriser des motifs dans des données statiques.
L'IA du futur (Agentique) : Doit être capable de naviguer dans une chronologie, de comprendre comment de petits changements s'accumulent au fil du temps et de prendre des décisions sur ce qu'il faut tester ensuite.

TadA-Bench est une « rediffusion » d'une véritable campagne scientifique. Il ne demande pas à l'IA d'inventer de nouvelles protéines à partir de rien (ce qui est trop difficile pour l'instant) ; il lui demande simplement de regarder l'histoire et de dire : « Si nous continuons ainsi, voici les directions les plus prometteuses. » Actuellement, même les modèles d'IA les plus intelligents peinent à faire cela, ce qui suggère que la prochaine génération d'IA scientifique devra apprendre à penser en termes de « temps », et pas seulement en termes de « motifs ».

En bref : L'article a construit une piste d'essai réelle pour voir si l'IA peut conduire une voiture vers le futur. Il s'avère que l'IA est excellente pour se garer dans un endroit connu, mais elle est très mauvaise pour prédire où la route va mener.

Résumé technique : TadA-Bench

Énoncé du problème

Le domaine de l'IA pour la découverte scientifique est en pleine transition vers des flux de travail « agentiques », où les modèles participent activement à une prise de décision itérative plutôt que de se contenter d'ajuster passivement des ensembles de données statiques. En ingénierie des protéines, cela implique des systèmes capables de lire les historiques de laboratoire humide, d'analyser les données et de prioriser les candidats pour de futures expériences. Cependant, les benchmarks existants échouent souvent à évaluer la capacité d'un modèle à généraliser à partir de cycles expérimentaux passés vers des cycles futurs. Les benchmarks standards reposent généralement sur des divisions de données aléatoires, qui testent l'interpolation (prédire au sein de distributions connues) plutôt que la tâche critique de la découverte de cycles futurs (classer des variants qui n'apparaissent que dans des cycles expérimentaux ultérieurs). Il y a un manque de benchmarks reproductibles et à grande échelle qui préservent la structure chronologique des véritables campagnes d'évolution dirigée pour tester si les modèles peuvent prioriser les résultats futurs du laboratoire humide sur la base des preuves expérimentales enregistrées par le passé.

Méthodologie

1. Construction du benchmark : TadA-Bench

Les auteurs introduisent TadA-Bench, un benchmark de rejeu de laboratoire humide à données fixes, dérivé de 31 cycles d'évolution dirigée de TadA (adénosine désaminase).

Échelle : Le jeu de données couvre environ un million de variants observés via le séquençage de nouvelle génération (NGS).
Vues : Il fournit des vues alignées des séquences d'ADN, d'ARN et de protéines, permettant l'évaluation de modèles de langage génomiques, de transcrits et de protéines sur une même campagne sous-jacente.
Protocole : Le benchmark définit une tâche de « rejeu de cycle futur ». Les modèles sont entraînés sur les variants et les mesures des cycles antérieurs ( $D_{\le k}$ ) et évalués sur leur capacité à classer les variants qui n'apparaissent que dans les cycles ultérieurs ( $D_{> k}$ ). Dans l'instance principale, les modèles s'entraînent sur les cycles 1 à 27, valident sur le cycle 28 et testent sur les cycles 29 à 31. Les divisions sont disjointes au niveau des séquences pour empêcher la mémorisation.

2. Intégration des données : Seq2Graph

Une contribution méthodologique centrale est Seq2Graph, un pipeline basé sur les graphes conçu pour unifier les mesures d'enrichissement multi-cycles bruitées en étiquettes d'activité cohérentes.

Défi : Les données brutes de sélection contiennent des effets de lot, des estimations d'enrichissement bruitées et des incohérences locales par paires à travers les 31 cycles.
Mécanisme :
- Construction du graphe : Au sein de chaque cycle, les variants sont classés par enrichissement du nombre de lectures. Un graphe dirigé est construit où les arêtes connectent les variants adjacents dans la liste triée, pondérées par des ratios d'enrichissement locaux.
- Ancrage : Les variants apparaissant dans plusieurs cycles (chevauchements de séquences) agissent comme des « ancres » pour connecter les graphes de classement locaux à travers la campagne.
- Élimination des incohérences : Le pipeline formule l'élimination des cycles contradictoires (ex: $A > B > C > A$ ) comme un problème de Ensemble d'Arêtes de Retour Pondéré (Weighted Feedback Arc Set). Une heuristique gloutonne est utilisée pour supprimer les arêtes à faible confiance, transformant le graphe en un graphe acyclique dirigé (DAG).
- Assignation de l'activité : Une échelle d'activité est ancrée sur un variant de référence (TadA8e = 1.0). Les scores sont propagés dans le domaine logarithmique (ratios multiplicatifs) de la référence vers tous les autres nœuds via le chemin de l'arête la plus courte.
Sortie : Cela produit des étiquettes d'activité relative définies par séquence pour les vues ADN, ARN et protéine sans inférer d'ascendance biologique ou d'arbres de lignée.

3. Cadre d'évaluation

L'évaluation traite les modèles de langage biologique comme un « module de classement » pour une boucle agentique.

Modèles : L'étude évalue des modèles d'ADN (Evo 2, Nucleotide Transformer), d'ARN (OmniGenome) et de protéines (ESM2, ProtTrans, ESMC).
Protocoles :
- Encodeur gelé : L'évaluation principale gèle l'encodeur pré-entraîné et entraîne une tête de régression en aval.
- Vérifications d'adaptation : Inclut le fine-tuning complet et le prompt tuning pour exclure les artefacts de protocole.
- Métriques : Corrélation de rang de Spearman ( $\rho$ ), Rappel@10% et nDCG@10.
- Mode Découverte : Évalue la priorisation des candidats sous des budgets finis (96 et 384 variants, simulant des tailles de plaques standard).

Résultats Clés

1. L'écart de cycle futur

Les modèles de langage biologique représentatifs présentent un écart de performance marqué entre l'interpolation et la découverte de cycle futur :

Interpolation (Division Aléatoire) : Sous une division aléatoire 8:1:1, les modèles de protéines atteignent de fortes corrélations de Spearman ( $\rho \approx 0,8$ ), indiquant que l'espace des étiquettes est apprenable.
Découverte de Cycle Futur : Sous la division chronologique fixe, la performance se dégrade brutalement. Les corrélations de Spearman chutent à $\rho \approx 0,03$ –$0,05$ pour les vues ADN, ARN et protéine.
Adaptation : Le fine-tuning complet et le prompt tuning ne parviennent pas à combler cet écart (meilleur $\rho \approx 0,06$ observé), suggérant que la difficulté réside dans la capacité des représentations à prioriser les preuves futures, et non simplement dans la tête de régression.

2. Priorisation en mode Découverte

Dans un réglage de « mode découverte » où seul un nombre limité de candidats (ex: 96) peut être testé :

Les modèles ne parviennent pas à enrichir les vrais variants de haute activité.
Les taux de succès (hit rates) pour les meilleurs 5 % des candidats sont proches du hasard (environ 3–5 % contre 5 % attendus), indiquant que les modèles actuels ne peuvent pas identifier efficacement les variants prometteurs pour le cycle expérimental suivant.

3. Couverture Évolutive vs Densité Locale

Les auteurs ont étudié si la composition des données d'entraînement affecte la performance de cycle futur :

Densité : Simplement augmenter le nombre d'échantillons provenant des mêmes cycles évolutifs (sous-échantillonnage aléatoire) produit des rendements décroissants.
Couverture : Les sous-ensembles qui privilégient la couverture évolutive (sélectionnant des variants de cycles divers ou maximisant la similitude avec l'ensemble de validation cible) surpassent les sous-ensembles plus larges et plus denses issus de cycles limités.
Conclusion : Sur TadA-Bench, couvrir de larges régions évolutives ou fonctionnelles est plus informatif pour la découverte de cycle futur que d'augmenter la densité locale des données.

4. Robustesse

Validation Biologique : Des essais orthogonaux à faible débit avec des reporters GFP sur des variants clés ont montré une forte concordance ( $\rho > 0,99$ ) avec les étiquettes dérivées de la haute performance NGS.
Robustesse Computationnelle : Des analyses de bootstrapping (sous-échantillonnage de cycles ou de séquences) ont confirmé que le pipeline Seq2Graph produit des scores stables ( $\rho > 0,90$ ), validant la cohérence des étiquettes.

Signification et Revendications

Le papier positionne TadA-Bench comme un substrat reproductible pour tester le composant de « classement » des futurs systèmes d'ingénierie des protéines agentiques avant leur déploiement dans des campagnes de laboratoire humide en boucle fermée coûteuses.

Exposer un goulot d'étranglement : Le benchmark révèle que les modèles de fond biologiques actuels, bien que performants pour l'interpolation, peinent considérablement pour la tâche spécifique de classer les variants qui émergent dans les cycles expérimentaux futurs. Ceci est identifié comme un goulot d'étranglement concret pour les flux de travail d'ingénierie des protéines itératifs.
Conception du Benchmark : Il soutient que les benchmarks pour la découverte de protéines doivent préserver la structure de la campagne (chronologie et cohérence entre les cycles) plutôt que de traiter tous les variants comme des points de données indépendants. La distinction entre « densité locale » et « couverture évolutive » est mise en évidence comme un principe de conception critique.
Portée : Les auteurs déclarent explicitement que TadA-Bench isole le problème de classement. Il n'évalue pas les politiques de planification, l'utilisation d'outils ou l'exécution autonome, mais fournit un test stable à données fixes pour déterminer si les représentations peuvent utiliser l'historique expérimental enregistré pour prioriser les candidats futurs.

Les auteurs publient les données, le code et les protocoles de base sur Hugging Face et GitHub pour permettre des comparaisons reproductibles des modèles sur cette trajectoire expérimentale spécifique et enregistrée.