CRC-Screen: Certified DNA-Synthesis Hazard Screening Under Taxonomic Shift

1. Énoncé du problème

Les fournisseurs de synthèse d'ADN agissent comme le dernier point de contrôle contre la création d'agents biologiques dangereux. Le dépistage actuel repose sur des recherches de similarité de séquence (par exemple, BLAST, DIAMOND) par rapport à des listes curatées de toxines connues. Cette approche suppose que les ordres dangereux ressembleront à des séquences dangereuses déjà observées.

Cependant, cette base échoue face au décalage taxonomique (le scénario « hors-famille »), qui devient de plus en plus prévalent en raison de :

• Conception générative de protéines : Les modèles d'IA créent des variants fonctionnels dont les séquences primaires sont dérivées.
• Bases de données fragmentées : Les protéines dangereuses issues de familles taxonomiques peu étudiées sont faiblement représentées dans les listes de référence.

Le mode de défaillance : Lorsqu'une séquence dangereuse appartient à une famille taxonomique absente de l'ensemble de référence, les scores de similarité de séquence chutent considérablement. Pour satisfaire une contrainte de sécurité (Taux de Faux Négatifs Certifié), le Contrôle des Risques Conformes (CRC) est contraint d'abaisser le seuil de détection si drastiquement qu'il signale chaque ordre bénin, entraînant un taux de faux positifs (TFP) de 100 %.

2. Méthodologie : CRC-Screen

Les auteurs proposent CRC-Screen, un système qui va au-delà de la simple correspondance de séquence en fusionnant plusieurs signaux dérivés de l'annotation publique de l'ordre de synthèse (nom de la protéine, organisme, mots-clés, description de la fonction) et en calibrant le seuil de décision à l'aide du Contrôle des Risques Conformes (CRC).

A. Trois signaux d'entrée

Le système dérive trois signaux distincts pour chaque ordre :

1. Signal d'homologie ($s_{hom}$) : Une similarité Jaccard de k-mers (k=5) entre la séquence requise et les dangers connus. Cela sert de base, mais est reconnu comme faible sous décalage taxonomique.
2. Score du panel LLM ($s_{LLM}$) : Un panel de cinq grands modèles de langage (Claude, GPT, Llama, Qwen, GLM) lit le texte d'annotation et renvoie une probabilité de danger. Les scores sont agrégés par une moyenne tronquée (éliminant le plus haut et le plus bas) pour atténuer les biais individuels des modèles.
3. Distance d'embedding ($s_{emb}$) : Le texte d'annotation est encodé à l'aide d'un grand modèle d'embedding de texte. Le score correspond à la similarité cosinus maximale entre l'embedding de la requête et les centroïdes des clusters formés par les embeddings de dangers connus.

B. Agrégateur logistique monotone

Les trois signaux sont fusionnés à l'aide d'un modèle de régression logistique avec une contrainte de non-négativité sur les poids ($w_k \geq 0$).

• Raison d'être : Cela garantit que l'agrégateur est monotone ; l'augmentation d'un seul score de signal ne peut qu'augmenter (ou maintenir) la probabilité finale de danger, jamais la diminuer. Cela empêche le système d'« annuler » un signal de danger fort avec un signal bénin faible.
• Entraînement : Les poids sont appris sur le pli d'entraînement ; si un poids est négatif, ce signal est écarté et le modèle est réajusté.

C. Calibration par Contrôle des Risques Conformes (CRC)

Au lieu d'un seuil fixe, le système utilise le CRC pour définir un seuil ($\hat{\tau}$) qui garantit une borne supérieure sur le Taux de Faux Négatifs (TFN) attendu.

• Contrainte : $E[TFN] \leq \alpha$.
• Mécanisme : Le seuil est choisi en fonction de la distribution des pertes empiriques d'un ensemble de calibration.
• Gestion du décalage de distribution : Puisque la distribution de test (famille taxonomique retenue) diffère de la distribution de calibration, les auteurs intègrent un terme de distance de Variation Totale (TV) dans la borne pour tenir compte de la non-exchangeabilité :
  $$E[TFN] \leq \alpha + TV(\text{cal}, \text{test})$$
• Contrôle des fuites : Pour prévenir les fuites de données, les ensembles de référence d'homologie et d'embedding sont recalculés pour chaque pli en utilisant uniquement les dangers d'entraînement, garantissant ainsi que la famille de test n'influence pas son propre score.

3. Contributions clés

1. Démonstration de l'effondrement de la base : L'article prouve empiriquement que le dépistage basé uniquement sur la similarité de séquence entraîne un taux de faux positifs de 100 % lors d'un maintien de famille taxonomique, lorsqu'on tente de maintenir une garantie de sécurité non triviale.
2. Protocole à contrôle de fuite : Un protocole d'évaluation rigoureux où les ensembles de référence sont reconstruits par pli pour empêcher les dangers de la famille de test de contaminer le score de leur propre pli.
3. Stratégie de composition de signaux : Démontre que la fusion de l'analyse par LLM et de la proximité d'embedding textuel (sans dépendre de l'homologie de séquence) permet d'atteindre un taux de faux négatifs de 0 % et un taux de faux positifs proche de 0 %.
4. Insight Données vs Algorithme : Identifie que le principal goulot d'étranglement pour atteindre une sécurité de niveau d'approvisionnement (par exemple, $\alpha = 10^{-3}$) n'est pas l'algorithme, mais la taille de l'ensemble de données de calibration.

4. Résultats expérimentaux

Le système a été évalué sur UniProt KW-0800 (Toxine) en utilisant une validation croisée Leave-One-Taxonomic-Family-Out (LOTO) sur 10 familles (par exemple, Crotalinae, Conus, Lycosidae).

• Performance à $\alpha = 0,05$ :

  • Taux de Faux Négatifs (TFN) : 0 % sur les 10 plis (aucun danger manqué).
  • Taux de Faux Positifs (TFP) : 0 % sur 9 plis sur 10 ; 5 % (1 ordre bénin signalé) sur le pli Actiniidae.
  • Validité de la borne : Le TFN empirique est resté bien dans la borne certifiée ($\alpha + TV$), qui variait de 24,3 % à 49,4 % en raison du décalage de distribution.

• Études d'ablation :

  • Homologie uniquement : 100 % TFP (échec total).
  • LLM uniquement : 0 % TFN, mais 1,75 % TFP.
  • Embedding uniquement : 0,45 % TFN, 6,85 % TFP.
  • LLM + Embedding : 0 % TFN, 0 % TFP (Le point de fonctionnement optimal).
  • LLM + Embedding + Homologie : L'ajout de l'homologie a légèrement augmenté le TFP (à 0,5 %) sans améliorer le rappel, car le signal d'homologie a agi comme du bruit sous décalage taxonomique.

• Analyse de l'évolutivité :

  • L'échantillon actuel ($N_{cal} \approx 55$) limite le $\alpha$ certifiable à 1,77 % en raison du terme d'assouplissement de l'échantillon fini $1/(N_{cal} + 1)$.
  • Pour atteindre un $\alpha = 10^{-3}$ de niveau d'approvisionnement, un ensemble de calibration d'environ 999 dangers est requis (une augmentation de 18 fois). Le corpus complet UniProt KW-0800 (~6 000 toxines) suffit à combler cet écart.

5. Importance et implications

• Changement de paradigme : L'article soutient que le dépistage de la synthèse d'ADN doit évoluer d'un problème de « correspondance de séquence » vers un problème de « décision calibrée ». La similarité de séquence seule est insuffisante face à des menaces nouvelles ou dérivées.
• Recommandation opérationnelle : Les fournisseurs devraient intégrer des signaux dérivés d'annotations (juges LLM et embeddings sémantiques) dans leurs piles de dépistage, parallèlement à l'homologie de séquence.
• Allocation des ressources : La voie vers des taux de manque ultra-faibles (par exemple, 0,1 %) réside dans la curatation d'ensembles de données de calibration plus vastes et de haute qualité, et non dans le développement d'algorithmes plus complexes. Les outils mathématiques (CRC) existent déjà pour certifier ces taux ; le facteur limitant est le volume de données.
• Sécurité : Le système est conçu exclusivement pour le dépistage défensif (signalisation des ordres pour examen humain) et ne génère ni n'améliore de séquences biologiques.

En conclusion, CRC-Screen fournit un cadre mathématiquement certifié pour le dépistage de la biosécurité qui reste robuste même face à l'apparition de familles de toxines entièrement nouvelles, à condition que des données de calibration suffisantes soient disponibles.