CRC-Screen: Certified DNA-Synthesis Hazard Screening Under Taxonomic Shift

1. Enunciato del Problema

I fornitori di sintesi del DNA agiscono come punto di applicazione finale contro la creazione di agenti biologici pericolosi. Lo screening attuale si basa su ricerche di similarità di sequenza (ad es. BLAST, DIAMOND) rispetto a liste curate di tossine note. Questo approccio presuppone che gli ordini pericolosi assomiglino a sequenze pericolose già osservate in precedenza.

Tuttavia, questa linea di base fallisce in caso di spostamento tassonomico (lo scenario "fuori famiglia"), che sta diventando più prevalente a causa di:

• Progettazione Generativa di Proteine: I modelli di intelligenza artificiale creano varianti funzionali con sequenze primarie derivate.
• Database Frammentati: Le proteine pericolose provenienti da famiglie tassonomiche poco studiate sono scarsamente rappresentate nelle liste di riferimento.

Il Modo di Fallimento: Quando una sequenza pericolosa appartiene a una famiglia tassonomica assente dal set di riferimento, i punteggi di similarità di sequenza diminuiscono significativamente. Per soddisfare un vincolo di sicurezza (Tasso di Falsi Negativi Certificato), il Controllo del Rischio Conformale (CRC) è costretto ad abbassare la soglia di rilevamento così drasticamente da segnalare ogni ordine benigno, risultando in un Tasso di Falsi Positivi (FPR) del 100%.

2. Metodologia: CRC-Screen

Gli autori propongono CRC-Screen, un sistema che va oltre la semplice corrispondenza di sequenza fondendo segnali multipli derivati dall'annotazione pubblica dell'ordine di sintesi (nome della proteina, organismo, parole chiave, descrizione della funzione) e calibrando la soglia decisionale utilizzando il Controllo del Rischio Conformale (CRC).

A. Tre Segnali di Input

Il sistema deriva tre segnali distinti per ogni ordine:

1. Segnale di Omologia ($s_{hom}$): Una similarità Jaccard dei k-mer (k=5) tra la sequenza di query e le pericolosità note. Questo funge da linea di base ma è riconosciuto come debole in caso di spostamento tassonomico.
2. Punteggio del Panel LLM ($s_{LLM}$): Un panel di cinque Modelli Linguistici di grandi dimensioni (Claude, GPT, Llama, Qwen, GLM) legge il testo di annotazione e restituisce una probabilità di pericolo. I punteggi sono aggregati tramite una media troncata (rimuovendo il più alto e il più basso) per mitigare i bias dei singoli modelli.
3. Distanza di Incapsulamento ($s_{emb}$): Il testo di annotazione viene codificato utilizzando un grande modello di incapsulamento del testo. Il punteggio è la massima similarità del coseno tra l'incapsulamento della query e i centroidi dei cluster formati dagli incapsulamenti delle pericolosità note.

B. Aggregatore Logistico Monotono

I tre segnali sono fusi utilizzando un modello di regressione logistica con un vincolo di non negatività sui pesi ($w_k \geq 0$).

• Razionale: Questo garantisce che l'aggregatore sia monotono; aumentare un singolo punteggio di segnale può solo aumentare (o mantenere) la probabilità finale di pericolo, mai diminuirla. Ciò impedisce al sistema di "annullare" un forte segnale di pericolo con un debole segnale benigno.
• Addestramento: I pesi sono appresi sul fold di addestramento; se un peso è negativo, quel segnale viene scartato e il modello viene ricalibrato.

C. Calibrazione tramite Controllo del Rischio Conformale (CRC)

Invece di una soglia fissa, il sistema utilizza il CRC per impostare una soglia ($\hat{\tau}$) che garantisce un limite superiore sul Tasso di Falsi Negativi Atteso (FNR).

• Vincolo: $E[FNR] \leq \alpha$.
• Meccanismo: La soglia è scelta in base alla distribuzione empirica delle perdite di un set di calibrazione.
• Gestione dello Spostamento di Distribuzione: Poiché la distribuzione di test (famiglia tassonomica trattenuta) differisce dalla distribuzione di calibrazione, gli autori incorporano un termine di distanza Variazione Totale (TV) nel limite per tenere conto della non scambiabilità:
  $$E[FNR] \leq \alpha + TV(\text{cal}, \text{test})$$
• Controllo delle Perdite di Dati: Per prevenire la perdita di dati, i set di riferimento di omologia e incapsulamento vengono ricalcolati per ogni fold utilizzando solo le pericolosità di addestramento, assicurando che la famiglia di test non influenzi la propria valutazione.

3. Contributi Chiave

1. Dimostrazione del Crollo della Linea di Base: Il documento dimostra empiricamente che lo screening basato solo sulla similarità di sequenza comporta un Tasso di Falsi Positivi del 100% in caso di trattenuta di una famiglia tassonomica quando si cerca di mantenere una garanzia di sicurezza non banale.
2. Protocollo di Controllo delle Perdite: Un protocollo di valutazione rigoroso in cui i set di riferimento vengono ricostruiti per ogni fold per impedire che le pericolosità della famiglia di test contaminino la valutazione del proprio fold.
3. Strategia di Composizione dei Segnali: Dimostra che fondere l'analisi LLM e la prossimità di incapsulamento testuale (senza fare affidamento sull'omologia di sequenza) raggiunge un Tasso di Falsi Negativi dello 0% e un Tasso di Falsi Positivi vicino allo 0%.
4. Insight su Dati vs Algoritmo: Identifica che il collo di bottiglia principale per raggiungere una sicurezza di livello approvvigionamento (ad es. $\alpha = 10^{-3}$) non è l'algoritmo, ma la dimensione del set di dati di calibrazione.

4. Risultati Sperimentali

Il sistema è stato valutato su UniProt KW-0800 (Tossina) utilizzando una validazione incrociata Leave-One-Taxonomic-Family-Out (LOTO) su 10 famiglie (ad es. Crotalinae, Conus, Lycosidae).

• Prestazioni a $\alpha = 0.05$:

  • Tasso di Falsi Negativi (FNR): 0% su tutti i 10 fold (0 pericolosità mancate).
  • Tasso di Falsi Positivi (FPR): 0% su 9 fold su 10; 5% (1 benigno segnalato) sul fold Actiniidae.
  • Validità del Limite: L'FNR empirico è rimasto ben al di sotto del limite certificato ($\alpha + TV$), che variava dal 24,3% al 49,4% a causa dello spostamento di distribuzione.

• Studi di Ablazione:

  • Solo Omologia: 100% FPR (fallisce completamente).
  • Solo LLM: 0% FNR, ma 1,75% FPR.
  • Solo Incapsulamento: 0,45% FNR, 6,85% FPR.
  • LLM + Incapsulamento: 0% FNR, 0% FPR (Il punto operativo ottimale).
  • LLM + Incapsulamento + Omologia: Aggiungere l'omologia ha leggermente aumentato l'FPR (allo 0,5%) senza migliorare il richiamo, poiché il segnale di omologia ha agito come rumore in caso di spostamento tassonomico.

• Analisi di Scalabilità:

  • Il sottocampione attuale ($N_{cal} \approx 55$) limita l'$\alpha$ certificabile all'1,77% a causa del termine di slack del campione finito $1/(N_{cal} + 1)$.
  • Per raggiungere un $\alpha$ di livello approvvigionamento = $10^{-3}$, è richiesto un set di calibrazione di circa 999 pericolosità (un aumento di 18 volte). L'intero corpus UniProt KW-0800 (~6.000 tossine) è sufficiente a colmare questo divario.

5. Significato e Implicazioni

• Cambio di Paradigma: Il documento sostiene che lo screening della sintesi del DNA deve evolvere da un problema di "corrispondenza di sequenza" a un problema di "decisione calibrata". La similarità di sequenza da sola è insufficiente per minacce nuove o derivate.
• Raccomandazione Operativa: I fornitori dovrebbero integrare segnali derivati dall'annotazione (giudici LLM e incapsulamenti semantici) nelle loro pile di screening insieme all'omologia di sequenza.
• Allocazione delle Risorse: La strada verso tassi di mancato rilevamento ultra-bassi (ad es. 0,1%) risiede nella curatela di set di dati di calibrazione più grandi e di alta qualità, non nello sviluppo di algoritmi più complessi. Gli strumenti matematici (CRC) esistono già per certificare questi tassi; il fattore limitante è il volume dei dati.
• Sicurezza: Il sistema è progettato puramente per lo screening difensivo (segnalazione degli ordini per la revisione umana) e non genera o potenzia sequenze biologiche.

In conclusione, CRC-Screen fornisce un framework matematicamente certificato per lo screening della biosicurezza che rimane robusto anche quando si incontrano intere nuove famiglie di tossine, a condizione che siano disponibili dati di calibrazione sufficienti.