CRC-Screen: Certified DNA-Synthesis Hazard Screening Under Taxonomic Shift

1. Probleemstelling

DNA-syntheseproviders fungeren als het laatste handhavingspunt tegen de creatie van gevaarlijke biologische agentia. Huidige screening is gebaseerd op zoekopdrachten op sequentie-ähnelijkheid (bijv. BLAST, DIAMOND) tegen verzamelde lijsten van bekende toxines. Deze aanpak gaat ervan uit dat gevaarlijke orders zullen lijken op eerder waargenomen gevaarlijke sequenties.

Deze basislijn faalt echter onder taxonomische verschuiving (het "buiten-de-familie"-scenario), wat steeds vaker voorkomt als gevolg van:

• Generatief Proteïneontwerp: AI-modellen creëren functionele varianten met verschoven primaire sequenties.
• Gefragmenteerde Databases: Gevaarlijke eiwitten uit onderzochte taxonomische families zijn schaars vertegenwoordigd in referentielijsten.

Het Falingsmechanisme: Wanneer een gevaarlijke sequentie behoort tot een taxonomische familie die ontbreekt in de referentieset, dalen de scores voor sequentie-ähnelijkheid aanzienlijk. Om aan een veiligheidsbeperking te voldoen (Gecertificeerde Gemiste Rate), wordt Conformal Risk Control (CRC) gedwongen de detectiedrempel zo drastisch te verlagen dat het elke onschadelijke order markeert, wat resulteert in een 100% Valse-Positieve Rate (FPR).

2. Methodologie: CRC-Screen

De auteurs stellen CRC-Screen voor, een systeem dat verder gaat dan pure sequentie-overeenkomst door meerdere signalen te fuseren die zijn afgeleid van de publieke annotatie van de synthesorder (proteïnenamen, organisme, trefwoorden, functiedeskriptie) en de beslissingsdrempel te kalibreren met Conformal Risk Control (CRC).

A. Drie Invoersignalen

Het systeem leidt drie verschillende signalen af voor elke order:

1. Homologie-signaal ($s_{hom}$): Een k-mer Jaccard-ähnelijkheid (k=5) tussen de query-sequentie en bekende gevaren. Dit dient als basislijn, maar wordt erkend als zwak onder taxonomische verschuiving.
2. LLM-panel Score ($s_{LLM}$): Een panel van vijf Grootte Taalmodellen (Claude, GPT, Llama, Qwen, GLM) leest de annotatietekst en geeft een gevaarswaarschijnlijkheid. Scores worden geaggregeerd via een getrimd gemiddelde (waarbij de hoogste en laagste worden weggelaten) om individuele modelbias te mitigeren.
3. Embedding-afstand ($s_{emb}$): De tekstannotatie wordt gecodeerd met een groot tekst-embeddingmodel. De score is de maximale cosinus-ähnelijkheid tussen de query-embedding en de centroiden van clusters die zijn gevormd door bekende gevaars-embeddings.

B. Monotone Logistische Aggregator

De drie signalen worden gefuseerd met een logistische regressiemodel met een niet-negativiteitsbeperking op de gewichten ($w_k \geq 0$).

• Redenering: Dit zorgt ervoor dat de aggregator monotoon is; het verhogen van een enkel signaalscore kan de uiteindelijke gevaarswaarschijnlijkheid alleen verhogen (of handhaven), nooit verlagen. Dit voorkomt dat het systeem een sterk gevaarsignaal "opheft" met een zwak onschadelijk signaal.
• Training: Gewichten worden geleerd op de trainingsfold; als een gewicht negatief is, wordt dat signaal verwijderd en wordt het model opnieuw aangepast.

C. Kalibratie via Conformal Risk Control (CRC)

In plaats van een vaste drempel, gebruikt het systeem CRC om een drempel ($\hat{\tau}$) in te stellen die een bovengrens garandeert voor de Verwachte Valse-Negatieve Rate (FNR).

• Beperking: $E[FNR] \leq \alpha$.
• Mechanisme: De drempel wordt gekozen op basis van de empirische verliesverdeling van een kalibratieset.
• Omgaan met Verdelingsverschuiving: Aangezien de testverdeling (terughoudende taxonomische familie) verschilt van de kalibratieverdeling, voegen de auteurs een Totale Variatie (TV)-afstandsterm toe aan de grens om rekening te houden met niet-uitwisselbaarheid:
  $$E[FNR] \leq \alpha + TV(\text{kal}, \text{test})$$
• Leakage-Controle: Om dataleakage te voorkomen, worden de homologie- en embedding-referentiesets voor elke fold opnieuw berekend met uitsluitend de trainingsgevaren, zodat de testfamilie de scoring van hun eigen fold niet beïnvloedt.

3. Belangrijkste Bijdragen

1. Demonstratie van Basislijncollapse: Het paper bewijst empirisch dat screening die uitsluitend op sequentie-ähnelijkheid is gebaseerd, een 100% Valse-Positieve Rate oplevert onder terughouding van taxonomische families wanneer men probeert een niet-triviale veiligheidsgarantie te handhaven.
2. Leakage-gecontroleerd Protocol: Een rigoureus evaluatieprotocol waarbij referentiesets per fold worden herbouwd om te voorkomen dat gevaren van de testfamilie de scoring van hun eigen fold vervuilen.
3. Signaalcompositiestrategie: Demonstreert dat het fuseren van LLM-analyse en tekst-embedding-proximaliteit (zonder afhankelijkheid van sequentie-homologie) een 0% Valse-Negatieve Rate en een bijna 0% Valse-Positieve Rate bereikt.
4. Data versus Algorithmisch Inzicht: Identificeert dat de primaire bottleneck voor het bereiken van inkoop-grade veiligheid (bijv. $\alpha = 10^{-3}$) niet het algoritme is, maar de grootte van de kalibratieset.

4. Experimentele Resultaten

Het systeem werd geëvalueerd op UniProt KW-0800 (Toxine) met een Leave-One-Taxonomic-Family-Out (LOTO) cross-validatie over 10 families (bijv. Crotalinae, Conus, Lycosidae).

• Prestaties bij $\alpha = 0.05$:

  • Valse-Negatieve Rate (FNR): 0% op alle 10 folds (0 gemiste gevaren).
  • Valse-Positieve Rate (FPR): 0% op 9 van de 10 folds; 5% (1 onschadelijk gemarkeerd) op de Actiniidae-fold.
  • Geldigheid van de Grens: De empirische FNR bleef ruim binnen de gecertificeerde grens ($\alpha + TV$), die varieerde van 24,3% tot 49,4% als gevolg van verdelingsverschuiving.

• Ablatiestudies:

  • Alleen Homologie: 100% FPR (faalt volledig).
  • Alleen LLM: 0% FNR, maar 1,75% FPR.
  • Alleen Embedding: 0,45% FNR, 6,85% FPR.
  • LLM + Embedding: 0% FNR, 0% FPR (Het optimale werkingspunt).
  • LLM + Embedding + Homologie: Het toevoegen van homologie verhoogde de FPR lichtjes (naar 0,5%) zonder de recall te verbeteren, aangezien het homologie-signaal als ruis fungeerde onder taxonomische verschuiving.

• Schalingsanalyse:

  • De huidige steekproef ($N_{kal} \approx 55$) beperkt de certificeerbare $\alpha$ tot 1,77% vanwege de eindige-steekproef-slakterm $1/(N_{kal} + 1)$.
  • Om inkoop-grade $\alpha = 10^{-3}$ te bereiken, is een kalibratieset van ongeveer 999 gevaren vereist (een 18-voudige toename). Het volledige UniProt KW-0800-corpus (~6.000 toxines) is voldoende om deze kloof te dichten.

5. Betekenis en Implicaties

• Paradigmaverschuiving: Het paper betoogt dat DNA-synthesesc screening moet evolueren van een "sequentiematching"-probleem naar een "gekalibreerd beslissings"-probleem. Sequentie-ähnelijkheid alleen is onvoldoende voor nieuwe of verschoven bedreigingen.
• Operationele Aanbeveling: Providers moeten van annotatie afgeleide signalen (LLM-rechters en semantische embeddings) integreren in hun screeningstapels naast sequentie-homologie.
• Ressourcenallocatie: De weg naar ultra-lage gemiste rates (bijv. 0,1%) ligt in het cureren van grotere, hoogwaardige kalibratiesets, niet in het ontwikkelen van complexere algoritmen. De wiskundige hulpmiddelen (CRC) bestaan al om deze rates te certifiëren; de beperkende factor is datavolume.
• Veiligheid: Het systeem is uitsluitend ontworpen voor defensieve screening (markeren van orders voor menselijke beoordeling) en genereert of verbetert geen biologische sequenties.

Concluderend biedt CRC-Screen een wiskundig gecertificeerd kader voor bioveiligheidsscreening dat robuust blijft, zelfs bij het tegenkomen van volledig nieuwe families van toxines, mits voldoende kalibratiedata beschikbaar is.