SAGE: Safety-First Defense-in-Depth Guardrails for Verified Lifecycle Control of High-Impact Generative AI

Resumo Técnico: SAGE – Salvaguardas de Defesa em Profundidade com Prioridade em Segurança para o Controle de Ciclo de Vida Verificado de IA Generativa de Alto Impacto

Declaração do Problema
O artigo aborda o desafio crítico de prevenir o uso indevido catastrófico de IA generativa de alto impacto (ex: terrorismo, ataques cibernéticos, ameaças biológicas). Argumenta-se que a segurança não é meramente uma questão de filtragem de prompts, mas um problema de controle de ciclo de vida. As abordagens atuais frequentemente tratam a segurança como um trade-off contra utilidade ou latência. Os autores postulam que, para aplicações de alto risco, a prevenção da "capacitação catastrófica" deve ser uma restrição rígida que precede todos os outros objetivos. Além disso, os mecanismos de segurança devem evitar a confusão entre risco de conteúdo e intenção do usuário, garantindo que controles de resposta conservadores não acionem automaticamente vigilância ou relatórios externos sem autorização humana independente.

Metodologia: A Arquitetura SAGE
O artigo propõe o SAGE, uma arquitetura de prioridade em segurança e separação de autorização, projetada para restringir a admissibilidade com base em riscos credíveis de capacitação catastrófica. O framework integra verificação formal, monitoramento em tempo de execução e um manifesto de liberação assinado.

1. Framework Formal e Modelagem de Risco:

   • Espaço de Ação: O sistema define um conjunto de ações lexicográficas $A = \{G_0, G_1, G_2, G_3, G_4\}$, variando de respostas normais a revisão interna e processos de incidentes autorizados.
   • Risco Robusto ($K$): O sistema calcula um risco primário robusto $K(g|e)$ usando um conjunto de ambiguidade $\Pi(e)$ de posteriors. Isso leva em conta evidências calibradas e tolerâncias de desvio de distribuição declaradas ($\epsilon_e$). A política seleciona a ação que minimiza a perda secundária (utilidade, privacidade, atraso) apenas dentro do conjunto de ações onde $K(g|e)$ está abaixo de um teto de segurança $\kappa(e)$.
   • Limites de Defesa em Profundidade: O artigo deriva limites formais para taxas de erro de detecção (miss rates). Estabelece que, sob detectores independentes, a probabilidade de falha é o produto das falhas individuais. Crucialmente, introduz um limite de dependência de causa comum (Proposição 4), mostrando que, se existir um evento de degradação de causa comum com probabilidade $\gamma$, a probabilidade conjunta de falha não pode ser certificada abaixo de $\gamma$, independentemente do número de camadas. Isso exige diversidade em detectores, dados de treinamento e dependências de política.
   • Corte de Autorização: Um teorema formal (Teorema 4) prova que componentes não privilegiados (ex: classificadores) não podem alcançar estados autorizados (ex: divulgação externa) se o grafo de transição de estado for estruturalmente restrito, impedindo que classificadores "cunhem" autoridade excepcional.

2. Controle de Ciclo de Vida e Manifestos de Liberação:

   • Manifestos Assinados: Cada candidato à liberação é vinculado a um manifesto assinado contendo hashes do modelo, limiares de risco, bits de prontidão e datas de expiração.
   • Gating Monótono: O predicado de liberação é monótono; o endurecimento dos tetos de risco ou a adição de achados de bloqueio só podem tornar uma liberação inelegível, nunca elegível.
   • Aplicação em Tempo de Execução: Em tempo de execução, o sistema utiliza ingresso autenticado, detectores diversos e verificação de saída. Se um limiar de risco for violado, o sistema pode restringir o serviço, desabilitar ferramentas, invocar fallbacks seguros ou realizar o rollback para um artefato aprovado anterior.
   • Monitoramento de Três Valores: Um monitor de tempo de execução avalia propriedades temporais como Verdadeiro, Falso ou Desconhecido (?), garantindo que as decisões sejam tomadas apenas quando as continuações infinitas de um traço sejam definitivamente seguras ou inseguras.

3. Protocolo de Avaliação Empírica:

   • Protocolo Congelado: O estudo utilizou um protocolo simétrico ao fornecedor e congelado para testar 10 snapshots de modelos (série OpenAI GPT-5, série Anthropic Claude 4.5/4.6/4.7, série Google Gemini 3/3.1).
   • Dataset: Foram feitas 840 chamadas (84 por snapshot) cobrindo 375 respostas únicas após filtragem por erros de provedor ou julgamentos incompletos. O dataset incluiu solicitações inseguras diretas, prompts benignos de aparência sensível e wrappers de robustez.
   • Métricas: O estudo mediu a Pontuação de Conformidade Nociva (HCS), Utilidade Benigna (BU), Entrega de Redirecionamento (RD) e Taxa de Recusa Excessiva (ORR). Estas foram combinadas em uma Pontuação de Salvaguarda Equilibrada (BGS).
   • Julgamento: As respostas foram julgadas por modelos cego, não pertencentes à mesma família de destino, usando uma rubrica estrita. O estudo evitou explicitamente a adjudicação humana para manter a consistência do protocolo, reconhecendo isso como uma limitação.

Principais Resultados

• Conformidade Nociva: As estimativas de conformidade nociva observadas foram baixas em todos os modelos, variando de 0.0000 a 0.0333.
• Drivers de Diferenciação: A principal separação entre os modelos não foi na conformidade nociva (que foi uniformemente baixa), mas na utilidade benigna e no redirecionamento seguro.
  • Modelos de alto desempenho (ex: Claude Haiku 4.5, Claude Sonnet 4.6, Gemini 3 Flash) alcançaram redirecionamento quase perfeito e alta utilidade.
  • Modelos de menor pontuação (ex: GPT-5 mini, GPT-5 nano) mostraram redução significativa na qualidade do redirecionamento e na utilidade benigna, apesar de manterem baixa conformidade nociva.
• Significância Estatística: Após o ajuste de multiplicidade (correção de Holm), diferenças significativas foram encontradas entre certos pares (ex: Claude Haiku 4.5 vs. GPT-5 nano), mas nenhum contraste testado entre os snapshots Claude/Gemini e GPT-5 ou GPT-5.5 sobreviveu à correção.
• Problemas de Cobertura: Dois snapshots (Claude Opus 4.6 e 4.7) careceram de cobertura de domínio completa na camada de julgamento, tornando o BGS não estimável. Isso foi atribuído a falhas na camada de julgamento, não ao comportamento do modelo alvo.
• Verificação Formal: Duas abstrações PRISM verificaram a separação de autorização e os invariantes de ciclo de vida, confirmando que, sob as especificações estruturais descritas, componentes não privilegiados não podem alcançar estados de divulgação autorizada.

Significância e Alegações
O artigo afirma explicitamente que sua principal contribuição é uma arquitetura de controle precaucional, não um leaderboard definitivo ou um ranking universal de segurança de IA.

• Arquitetura de Prioridade em Segurança: O SAGE demonstra que os limites de risco catastrófico podem ser tornados restrições primárias via uma política lexicográfica, garantindo que a utilidade seja otimizada apenas entre ações de segurança viáveis.
• Limites de Defesa em Profundidade: Os resultados formais destacam que adicionar camadas de defesa é insuficiente sem diversidade medida; falhas de causa comum podem tornar múltiplas camadas ineficazes.
• Separação de Autorização: O framework separa com sucesso o controle de resposta conservador da ação organizacional excepcional, garantindo que filtros de segurança não infiram automaticamente intenção maliciosa ou acionem relatórios externos.
• Alegações Empíricas Modestas: Os autores enfatizam que a observada faixa de baixa conformidade nociva (0.0000–0.0333) é uma visão conservadora e limitada pelo protocolo de uma única geração por prompt, sem ferramentas, histórico ou jailbreaks adaptativos. Eles afirmam explicitamente que isso não é um limite superior para assistência operacional.
• Não Certificação de Implantação: O artigo conclui que nenhum benchmark certifica a implantação. Os resultados observados são específicos de cada endpoint e snapshot. Um modelo que satisfaz esses limiares ainda deve passar por testes adversariais mais amplos, auditorias de múltiplos turnos e estudos de elevação humana antes da implantação.

O artigo serve como um plano para um ciclo de vida de "defesa em profundidade" onde a segurança é imposta através de manifestos assinados, invariantes formais e cortes de autorização estritos, em vez de depender apenas da precisão do detector.