CRC-Screen: Certified DNA-Synthesis Hazard Screening Under Taxonomic Shift

1. Declaração do Problema

Os provedores de síntese de DNA atuam como o ponto final de aplicação contra a criação de agentes biológicos perigosos. A triagem atual depende de buscas por similaridade de sequência (por exemplo, BLAST, DIAMOND) contra listas curadas de toxinas conhecidas. Essa abordagem assume que ordens perigosas se assemelharão a sequências perigosas previamente observadas.

No entanto, essa linha de base falha sob deslocamento taxonômico (o cenário "fora da família"), que está se tornando mais prevalente devido a:

• Design de Proteínas Generativo: Modelos de IA criam variantes funcionais com sequências primárias desviadas.
• Bancos de Dados Fragmentados: Proteínas perigosas de famílias taxonômicas pouco estudadas são representadas de forma esparsa nas listas de referência.

O Modo de Falha: Quando uma sequência perigosa pertence a uma família taxonômica ausente no conjunto de referência, as pontuações de similaridade de sequência caem significativamente. Para satisfazer uma restrição de segurança (Taxa de Falsos Negativos Certificada), o Controle de Risco Conformal (CRC) é forçado a reduzir o limiar de detecção tão drasticamente que ele sinaliza todas as ordens benignas, resultando em uma Taxa de Falsos Positivos (TFP) de 100%.

2. Metodologia: CRC-Screen

Os autores propõem o CRC-Screen, um sistema que vai além do mero casamento de sequências, fundindo múltiplos sinais derivados da anotação pública da ordem de síntese (nome da proteína, organismo, palavras-chave, descrição da função) e calibrando o limiar de decisão usando Controle de Risco Conformal (CRC).

A. Três Sinais de Entrada

O sistema deriva três sinais distintos para cada ordem:

1. Sinal de Homologia ($s_{hom}$): Uma similaridade Jaccard de k-mer (k=5) entre a sequência de consulta e os perigos conhecidos. Isso serve como linha de base, mas é reconhecido como fraco sob deslocamento taxonômico.
2. Pontuação do Painel de LLM ($s_{LLM}$): Um painel de cinco Grandes Modelos de Linguagem (Claude, GPT, Llama, Qwen, GLM) lê o texto da anotação e gera uma probabilidade de perigo. As pontuações são agregadas via média aparada (removendo a mais alta e a mais baixa) para mitigar vieses individuais dos modelos.
3. Distância de Embedding ($s_{emb}$): A anotação de texto é codificada usando um grande modelo de embedding de texto. A pontuação é a máxima similaridade de cosseno entre o embedding da consulta e os centróides dos clusters formados por embeddings de perigos conhecidos.

B. Agregador Logístico Monótono

Os três sinais são fundidos usando um modelo de regressão logística com uma restrição de não negatividade nos pesos ($w_k \geq 0$).

• Racional: Isso garante que o agregador seja monótono; aumentar qualquer pontuação de sinal individual só pode aumentar (ou manter) a probabilidade final de perigo, nunca diminuí-la. Isso impede que o sistema "cancele" um sinal forte de perigo com um sinal fraco de benignidade.
• Treinamento: Os pesos são aprendidos na dobra de treinamento; se um peso for negativo, esse sinal é descartado e o modelo é reajustado.

C. Calibração via Controle de Risco Conformal (CRC)

Em vez de um limiar fixo, o sistema usa CRC para definir um limiar ($\hat{\tau}$) que garante um limite superior na Taxa Esperada de Falsos Negativos (TFN).

• Restrição: $E[TFN] \leq \alpha$.
• Mecanismo: O limiar é escolhido com base na distribuição empírica de perdas de um conjunto de calibração.
• Tratamento de Deslocamento de Distribuição: Como a distribuição de teste (família taxonômica retida) difere da distribuição de calibração, os autores incorporam um termo de distância de Variação Total (TV) no limite para lidar com a não-exchangeabilidade:
  $$E[TFN] \leq \alpha + TV(\text{cal}, \text{test})$$
• Controle de Vazamento: Para prevenir vazamento de dados, os conjuntos de referência de homologia e embedding são recalculados para cada dobra usando apenas os perigos de treinamento, garantindo que a família de teste não influencie sua própria pontuação.

3. Principais Contribuições

1. Demonstração do Colapso da Linha de Base: O artigo prova empiricamente que a triagem baseada apenas em similaridade de sequência incorre em uma Taxa de Falsos Positivos de 100% sob retenção de família taxonômica ao tentar manter uma garantia de segurança não trivial.
2. Protocolo Controlado contra Vazamento: Um protocolo de avaliação rigoroso onde os conjuntos de referência são reconstruídos por dobra para evitar que os perigos da família de teste contaminem a pontuação de sua própria dobra.
3. Estratégia de Composição de Sinais: Demonstra que fundir análise de LLM e proximidade de embedding de texto (sem depender de homologia de sequência) alcança uma Taxa de Falsos Negativos de 0% e uma Taxa de Falsos Positivos próxima de 0%.
4. Insight Dados vs. Algoritmo: Identifica que o principal gargalo para alcançar segurança de nível de aquisição (por exemplo, $\alpha = 10^{-3}$) não é o algoritmo, mas o tamanho do conjunto de dados de calibração.

4. Resultados Experimentais

O sistema foi avaliado no UniProt KW-0800 (Toxina) usando uma validação cruzada Leave-One-Taxonomic-Family-Out (LOTO) em 10 famílias (por exemplo, Crotalinae, Conus, Lycosidae).

• Desempenho em $\alpha = 0.05$:

  • Taxa de Falsos Negativos (TFN): 0% em todas as 10 dobras (0 perigos perdidos).
  • Taxa de Falsos Positivos (TFP): 0% em 9 das 10 dobras; 5% (1 benigno sinalizado) na dobra Actiniidae.
  • Validade do Limite: A TFN empírica permaneceu bem dentro do limite certificado ($\alpha + TV$), que variou de 24,3% a 49,4% devido ao deslocamento de distribuição.

• Estudos de Ablação:

  • Apenas Homologia: 100% TFP (falha completamente).
  • Apenas LLM: 0% TFN, mas 1,75% TFP.
  • Apenas Embedding: 0,45% TFN, 6,85% TFP.
  • LLM + Embedding: 0% TFN, 0% TFP (O ponto operacional ótimo).
  • LLM + Embedding + Homologia: Adicionar homologia aumentou ligeiramente a TFP (para 0,5%) sem melhorar o recall, pois o sinal de homologia atuou como ruído sob deslocamento taxonômico.

• Análise de Escalabilidade:

  • A subamostra atual ($N_{cal} \approx 55$) limita o $\alpha$ certificável a 1,77% devido ao termo de folga de amostra finita $1/(N_{cal} + 1)$.
  • Para alcançar $\alpha = 10^{-3}$ de nível de aquisição, é necessário um conjunto de calibração de $\approx 999$ perigos (um aumento de 18x). O corpus completo do UniProt KW-0800 (~6.000 toxinas) é suficiente para fechar essa lacuna.

5. Significado e Implicações

• Mudança de Paradigma: O artigo argumenta que a triagem de síntese de DNA deve evoluir de um problema de "casamento de sequência" para um problema de "decisão calibrada". A similaridade de sequência sozinha é insuficiente para ameaças novas ou desviadas.
• Recomendação Operacional: Os provedores devem integrar sinais derivados de anotação (juízes de LLM e embeddings semânticos) em suas pilhas de triagem, juntamente com a homologia de sequência.
• Alocação de Recursos: O caminho para taxas de perda ultra-baixas (por exemplo, 0,1%) reside em curar conjuntos de dados de calibração maiores e de alta qualidade, não em desenvolver algoritmos mais complexos. As ferramentas matemáticas (CRC) já existem para certificar essas taxas; o fator limitante é o volume de dados.
• Segurança: O sistema é projetado puramente para triagem defensiva (sinalizar ordens para revisão humana) e não gera ou aprimora sequências biológicas.

Em conclusão, o CRC-Screen fornece uma estrutura matematicamente certificada para triagem de biossegurança que permanece robusta mesmo ao encontrar famílias inteiramente novas de toxinas, desde que dados de calibração suficientes estejam disponíveis.