A Threshold Exceedance Framework for CBRN Uplift Evaluation in Frontier Language Models

Resumo Técnico: Um Framework de Excedência de Limiar para Avaliação de Uplift de CBRN em Modelos de Linguagem de Fronteira

Definição do Problema

À medida que os modelos de linguagem (LMs) de fronteira avançam, um desafio crítico de segurança é determinar se o acesso ao modelo aumenta materialmente a capacidade de um ator não especialista em planejar usos indevidos de alto impacto envolvendo Agentes Químicos, Biológicos, Radiológicos ou Nucleares (CBRN) em comparação com ferramentas públicas isoladas. Esse aumento contrafactual de capacidade é denominado uplift de CBRN.

Os métodos de avaliação existentes sofrem de heterogeneidade significativa, dificultando as comparações entre estudos. Existem variações em:

• Definições de participantes "não especialistas".
• Escopo das ameaças CBRN e cadeias de ataque testadas.
• Baselines (linhas de base) utilizadas para comparação.
• Rubricas de pontuação e regras de decisão para determinar o risco.

As abordagens atuais frequentemente dependem de red teaming qualitativo (valioso para provas de existência, mas carente de rigor estatístico) ou estudos humanos controlados que carecem de limiares predefinidos, tornando difícil interpretar se os efeitos observados constituem um "uplift material".

Metodologia: O Framework de Critérios de Excedência de Limiar (TEC)

Os autores introduzem o framework Threshold Exceedance Criteria (TEC) para decompor a questão ampla de "este modelo fornece uplift de CBRN?" em componentes mensuráveis e executáveis de forma independente. O framework operacionaliza três categorias primárias:

1. TEC A: Elegibilidade do Participante (Definindo o Não Especialista no Assunto)
O estudo define uma coorte específica de "baixa habilidade" para simular um ator não especialista com educação técnica mínima. Os participantes devem atender a "pisos" (conhecimento mínimo, ex: um curso de nível universitário concluído) e "tetos" (conhecimento máximo, ex: nenhum bacharelado ou especialização concluída na área) específicos do domínio. Isso exclui tanto leigos sem treinamento quanto verdadeiros especialistas no assunto (SMEs).

2. Escopo da Ameaça

• TEC B1 (Cadeia de Ameaça): O estudo delimita planos de ataque através de elementos específicos da cadeia de ameaça: aquisição de recursos, produção, armamentização, entrega, segurança operacional (OPSEC) e evasão de defesas.
• TEC B2 (Escopo da Arma): Os cenários são estritamente definidos para visar vítimas em massa (≥100) através dos domínios Químico, Biológico, Radiológico e Nuclear.

3. Avaliação de Capacidade do Modelo
O framework distingue dois tipos de uplift e estabelece limiares estatísticos para uplift "material":

• Uplift Generativo: O modelo auxilia na criação de um plano do zero.
• Uplift Revisionista: O modelo auxilia no refinamento de um plano existente.

Design Experimental:
O estudo emprega um design de três grupos com não-especialistas (non-SMEs):

• Grupo A (Crossover): Elaboram planos sem o modelo no Dia 1; revisam o plano com assistência do modelo no Dia de 2.
• Grupo B (Controle): Elaboram planos sem o modelo no Dia 1; não participam no Dia 2.
• Grupo C (Tratamento): Elaboram planos com assistência do modelo desde o início (Dia 1).

Métricas de Avaliação:
Os planos são avaliados por especialistas cegos (técnicos e operacionais) usando uma rubrica estruturada cobrindo:

• Métricas Técnicas: Precisão, completude e probabilidade de sucesso para cada elemento da cadeia de ameaça.
• Métricas Operacionais: Probabilidade de evasão e probabilidade de sucesso das etapas operacionais.

Regras de Decisão para Uplift Material (TEC C0):
O uplift material é confirmado apenas se ambos os critérios forem atendidos para uma métrica específica:

1. Significância Estatística: A diferença entre os grupos de tratamento e controle é significativa ao nível de 5% (usando testes de Wilcoxon rank-sum ou de pares correspondidos com correção de Bonferroni).
2. Significância Prática: A magnitude do aumento iguala ou excede 10% da amplitude da métrica.

Critérios Auxiliares:

• TEC C1 (Instruções de Nível de Especialista): ≥10% das conversas assistidas pelo modelo são classificadas como "Equivalente ao Nível de Especialista" ou superior pelos especialistas.
• TEC C2 (Qualidade Instrucional): ≥70% dos planos de ataque contêm instruções científicas/técnicas interativas (identificadas via vetorização de palavras-chave).
• TEC C3 (Confiabilidade): A probabilidade de entrega de arma e vítimas em massa excede os limiares calculados empiricamente com base em dados históricos de ataques.

Principais Resultados

O estudo foi conduzido utilizando um modelo de fronteira pré-lançamento em todos os quatro domínios CBRN com 527 participantes não-especialistas utilizáveis e 78 especialistas.

• Heterogeneidade de Domínio: Os resultados variaram significamente por domínio.
  • Radiológico (R): Confirmou uplift material (o TEC C0 foi excedido). Planos assistidos pelo modelo mostraram melhorias estatisticamente e praticamente significativas nas métricas técnicas e operacionais em comparação com ferramentas públicas.
  • Químico (C), Biológico (B) e Nuclear (N): Não atenderam aos critérios para uplift material (TEC C0 não foi excedido). Embora algumas métricas auxiliares (como qualidade instrucional) tenham sido altas, a capacidade geral de produzir um plano de ataque viável não superou estatisticamente a baseline das ferramentas públicas.
• Classificações de Nível de Especialista: Sob uma métrica (TEC C1), saídas instrucionais de nível de especialista apareceram em todos os domínios, porém isso não se traduziu em uplift material confirmado nos domínios C, B e N.
• Generativo vs. Revisionista: O framework separou com sucesso esses dois estimandos, revelando que os padrões de uplift diferem entre criar um plano do zero versus refinar um existente.

Significância e Alegações

O artigo posiciona-se primariamente como uma contribuição metodológica e de design de medição, em vez de uma caracterização do comportamento de modelos implantados. Sua significância reside em:

1. Operacionalização da Governança: Fornece um framework concreto e padronizado (TEC) que formuladores de políticas e desenvolvedores podem usar para avaliar limiares de risco de forma consistente, abordando o "dilema da evidência" enfrentado pelos reguladores.
2. Padronização: Resolve a lacuna de comparabilidade na literatura existente ao definir elegibilidade de participantes, escopos de ameaça e regras de decisão estatística explícitas.
3. Avaliação de Risco Nuanceada: O estudo demonstra que o risco não é uniforme entre os domínios CBRN; um modelo pode representar um risco material em um domínio (Radiológico), enquanto não representa em outros, necessitando de governança específica por domínio em vez de restrições genéricas.
4. Distinção de Sinais: Enfatiza a diferença crítica entre sinais preliminares de triagem (ex: alta qualidade instrucional) e determinações de risco confirmadas (uplift material estatisticamente significativo).

Os autores concluem que esses achados informaram decisões de mitigação e governança de implantação para o modelo específico testado, servindo como um blueprint para futuras avaliações de grande escala de uplift de CBRN.