Resumo Técnico: BioRefusalAudit

Declaração do Problema

As atuais benchmarks de biossegurança para Modelos de Linguagem de Grande Escala (LLMs) avaliam principalmente se um modelo produz saída perigosa. No entanto, essa avaliação superficial é insuficiente para a segurança de implantação. Existe uma lacuna crítica na compreensão da estabilidade estrutural das recusas: quando um modelo recusa uma solicitação, essa recusa é uma supressão profunda e interna de capacidades perigosas, ou é um comportamento superficial que colapsa sob pequenas mudanças no enquadramento do prompt, formatação ou limites de tokens?

As benchmarks existentes (por exemplo, WMDP-Bio, VCT, ABC-Bench) medem a conclusão da tarefa ou a geração de saída, mas não conseguem distinguir entre uma "recusa profunda" (onde a circuitaria interna de perigo é suprimida) e uma "recusa superficial" (onde o modelo diz "não" enquanto as características internas relacionadas ao perigo permanecem ativas). Além disso, o treinamento de segurança pode afetar apenas os primeiros tokens gerados, deixando capacidades perigosas intactas abaixo da superfície.

Metodologia

O artigo apresenta o BioRefusalAudit, uma ferramenta de medição projetada para auditar a profundidade das recusas do modelo, comparando o comportamento superficial contra padrões de ativação internos. A metodologia consiste em dois componentes principais:

1. A Métrica de Divergência ($D$)

A inovação central é uma pontuação de divergência $D$ que quantifica o alinhamento entre a resposta superficial de um modelo e suas ativações internas de características de um Sparse Autoencoder (SAE).

• Vetor Superficial ($s$): Um vetor de rótulo suave (recusar, cumprir, hesitar, parcial, evadir) gerado por um conjunto de juízes (regex, Gemini CLI, Claude Haiku).
• Vetor Interno ($f$): Um vetor normalizado de ativações de características internas comprimido em cinco categorias: conteúdo biológico, vocabulário de perigo, circuitaria de recusa, hesitação e correlatos de engano.
• Matriz de Alinhamento ($T$): Uma matriz que mapeia estados internos esperados para estados superficiais, ajustada via mínimos quadrados regularizados por ridge.
• Cálculo: $D(s, f) = 1 - \cos(f, T^T \cdot s)$.
  • $D \approx 0$: Alinhamento perfeito (recusa profunda ou cumprimento genuíno).
  • $D \approx 2$: Alta divergência (por exemplo, o modelo diz "Eu recuso" enquanto características de perigo estão disparando).

2. Configuração Experimental

• Modelos Avaliados: Cinco arquiteturas foram testadas comportamentalmente (Gemma 2 2B-IT, Gemma 4 E2B-IT, Llama 3.2 1B, Qwen 2.5 1.5B, Phi-3-mini). A análise mecânica completa usando a métrica $D$ foi realizada no Gemma 2 e Gemma 4.
• Conjunto de Avaliação: 75 prompts estratificados por nível (biologia benigna, uso duplo, adjacente a perigo) e enquadramento (direto, educacional, roleplay, ofuscado).
• Treinamento de SAE: O estudo utilizou o Gemma Scope 1 (de propósito geral) e treinou SAEs personalizados específicos de domínio (Gemma 2 WMDP, Gemma 2 Pairwise, Gemma 4 Bio-SAE) em hardware de consumidor (GTX 1650 Ti) e Colab T4.
• Sondas Especiais: Os experimentos incluíram um limite de geração de 80 tokens, controle de formato (presença/ausência de modelo de chat) e um teste de "confundidor de legalidade" usando compostos da Lista I, mas biologicamente não tóxicos (por exemplo, cultivo de psilocibina).

Principais Resultados

Descobertas Comportamentais (Entre Arquiteturas)

• Gemma 2 2B-IT: Nunca recusou genuinamente nenhum dos 75 prompts. Ele "hesitou" em todas as consultas adjacentes a perigo (taxa de hesitação de 100% em prompts de perigo), efetivamente adiando enquanto se envolvia com conteúdo perigoso.
• Gemma 4 E2B-IT: O comportamento de recusa foi inteiramente dependente da formatação do modelo de chat. Ele recusou 65/75 prompts com formatação canônica, mas 0/75 sem ela. Ambos os modelos Gemma colapsaram para 0% de recusa sob um limite de 80 tokens.
• Llama 3.2 1B: Mostrou o único gradiente de recusa significativo (diferença de 61 pontos entre biologia benigna e perigo), embora tenha recusado em excesso em biologia benigna.
• Qwen 2.5 1.5B & Phi-3-mini: Apresentaram altas taxas de falsos positivos, recusando 83-87% dos prompts de biologia benigna, indicando discriminação pobre entre conteúdo seguro e perigoso.

Descobertas Mecânicas (Família Gemma)

• Recusas Superficiais: No Gemma 4, as respostas "cumprir" e "recusar" separaram-se por uma diferença de 0,647 pontos em $D$ com sobreposição zero, sugerindo que a métrica pode distinguir posturas na camada de ativação.
• Má Alinhamento de Características: No Gemma 2, características relacionadas à "circuitaria de recusa" estavam ativas durante respostas de cumprimento a biologia benigna (82% dos prompts), enquanto "características de perigo" permaneceram ativas mesmo quando o modelo alegou recusar. Isso sugere que o mecanismo de recusa pode estar controlando a saída com base na presença de palavras-chave de biologia, em vez de uma supressão genuína de perigo.
• Confundidor de Legalidade vs. Perigo: Testes com psilocibina (Lista I, biologicamente não tóxica) revelaram que as taxas de recusa rastrearam a saliência cultural e a legalidade, em vez do perigo CBRN. O Gemma 2 recusou o cultivo de psilocibina (25-50%), mas recusou biologia genuinamente perigosa em 0%. Por outro lado, o Llama 3.2 discutiu livremente a psilocibina enquanto recusava biologia perigosa.

Sensibilidade a Formato e Tokens

• Orçamento de Tokens: A articulação de segurança requer orçamento de tokens; restringir a geração a 80 tokens fez com que as taxas de recusa caíssem para 0% nos modelos testados.
• Enquadramento: O enquadramento educacional produziu a maior divergência ($D=0,733$), indicando cumprimento parcial com características de perigo ativas. O enquadramento ofuscado produziu a menor divergência, sugerindo que formulações opacas desencadeiam um alinhamento interno mais coerente (embora potencialmente inseguro).

Principais Contribuições

1. Auditoria de Profundidade de Recusa: Um novo framework (métrica $D$) que audita a consistência interna das recusas do modelo, indo além das avaliações superficiais binárias "seguro/inseguro".
2. Modos de Falha Específicos de Arquitetura: Evidência de que os comportamentos de recusa não são uniformes entre famílias; o Gemma 2 hesita, o Gemma 4 é sensível ao formato, e o Qwen/Phi recusam em excesso.
3. SAEs Específicos de Domínio: Lançamento de três SAEs personalizados treinados para auditoria de biossegurança em modelos Gemma, incluindo um SAE Gemma 4 treinado do zero.
4. Demonstração de Confundidor de Legalidade: Evidência empírica de que circuitos de recusa em alguns modelos respondem ao status legal e tabu cultural (por exemplo, drogas da Lista I) em vez de perigo biológico.
5. Monitoramento sem Divulgação de Conteúdo: A métrica $D$ é calculada a partir de vetores de características internas, permitindo auditoria em tempo real da profundidade da recusa sem que o auditor precise ler prompts do usuário ou transcrições.

Significado e Alegações

O artigo afirma que a auditoria em nível de ativação pode trazer à tona modos de falha invisíveis à avaliação comportamental. Especificamente:

• Instabilidade Estrutural: A recusa de um modelo pode ser estruturalmente insustentável, desaparecendo sob mudanças modestas na formatação ou limites de tokens.
• Sinais Desalinhados: Circuitos de recusa podem ser calibrados para saliência cultural ou status legal, em vez do potencial real de biohazard.
• Utilidade de Governança: A métrica $D$ fornece um sinal que poderia informar frameworks de acesso em camadas (por exemplo, Carter e Butchello, 2026), distinguindo recusas profundas de superficiais, potencialmente permitindo sistemas de monitoramento que não exigem a leitura do conteúdo da interação.

Os autores afirmam explicitamente que as descobertas mecânicas (a métrica $D$) são atualmente limitadas à família Gemma e requerem replicação nas arquiteturas Llama e Qwen. Os resultados são apresentados como evidência preliminar de um experimento na escala de um hackathon, notando limitações na validação semântica do catálogo de características e na calibração intra-amostra. O trabalho é lançado sob a Licença Hipocrática 3.0 para prevenir o uso a jusante em armas autônomas ou para evadir controles de segurança.