Resumo Técnico: SafePyramid

Declaração do Problema

As atuais salvaguardas (guardrails) de Grandes Modelos de Linguagem (LLMs) dependem predominantemente de taxonomias de risco predefinidas (ex.: categorias fixas como "Privacidade", "Fraude" ou "Conteúdo Sexual") para classificar interações entre usuário e modelo. Embora eficaz para a segurança geral, esse paradigma carece da flexibilidade necessária para aplicações do mundo real onde os padrões de segurança variam significantemente entre organizações, jurisdições e casos de uso específicos (ex.: uma política de segurança juvenil de uma plataforma de vídeos curtos vs. as regras anti-trapaça de um fórum de jogos).

O cenário emergente de salvaguarda de políticas em contexto (in-context policy guardrailing) aborda isso ao permitir que as salvaguardas executem políticas de segurança fornecidas explicitamente no contexto durante a inferência, em vez de depender de priors de risco estáticos e pré-treinados. No entanto, avaliar essa capacidade permanece um desafio inexplorado. Os benchmarks existentes focam ou em seguimento de instruções gerais, ou em segurança de taxonomia fixa, ou carecem da granularidade para diagnosticar falhas específicas na execução de políticas. Não existe um framework sistemático para avaliar se as salvaguardas podem:

1. Executar de forma confiável políticas de segurança arbitrárias fornecidas em contexto.
2. Resolver dependências complexas entre regras (ex.: exceções e condições).
3. Adaptar-se a novos frameworks de política que introduzem novos conceitos e terminologias.

Metodologia: SafePyramid

Para abordar essas lacunas, os autores introduzem o SafePyramid, um benchmark hierárquico projetado para avaliar sistematicamente a salvaguarda de políticas em contexto. O benchmark é construído usando um pipeline rigoroso de múltiplos estágios envolvendo LLMs de fronteira (Grok-4.1, GPT-5.4, Gemini-3.1-Pro, Claude-Opus-4.6) para geração, seguido por validação entre modelos e revisão por especialistas humanos.

Composição do Dataset

O SafePyramid compreende:

• 1.000 conversas de múltiplos turnos através de 10 domínios de segurança (Integridade Acadêmica, Moderação de Conteúdo, Infraestrutura Crítica, Difamação, Discriminação, Fraude, Propriedade Intelectual, Privacidade, Conteúdo Sexual, Conselhos Especializados).
• 3.000 políticas específicas de aplicação, totalizando 61.699 regras distintas em linguagem natural.
• Três Níveis de Dificuldade (Design Hierárquico):
  • L0 (Compreensão de Regras Individuais): Avalia a capacidade de determinar se uma única regra é violada. Inclui Regras Decisivas (claramente acionadas ou não) e Regras Distratoras (topicamente relacionadas, mas não acionadas).
  • L1 (Resolução de Dependências de Regras): Estende o L0 introduzindo Regras de Exceção (que renunciam a regras base sob condições específicas) e Regras Condicionais (que tornam as regras base mais rígidas ou criam novas violações sob condições específicas). Este nível testa a habilidade do modelo em lidar com lógica interdependente.
  • L2 (Adaptação a Novos Frameworks de Política): Estende o L1 reescrevendo a estrutura da política subjacente usando conceitos e terminologias totalmente fictícios (inspirados pelo CL-Bench). Isso força os modelos a aprender e aplicar o framework de política do zero, sem depender de priors de segurança pré-treinados ou conhecimento jurídico do mundo real.

Protocolos de Avaliação

O benchmark suporta dois modos de avaliação:

1. Avaliação Por-Política: O modelo lê a política completa e a conversa para prever o conjunto completo de regras violadas. Este é o cenário principal para LLMs de fronteira.
2. Avaliação Por-Regra: O modelo avalia uma regra alvo de cada vez, agregando decisões binárias. Isso é projetado para modelos de salvaguarda configuráveis por política com interfaces de saída fixas.

Métricas:

• Taxa de Correspondência de Regras (RMR - Rule Matching Rate): Mede a porcentagem de casos onde o conjunto de regras violadas previsto coincide com o ground truth dentro de um limiar de tolerância ($\tau$). A métrica principal é a média do RMR sobre $\tau \in \{0.7, 0.8, 0.9, 1.0\}$.
• Taxa de Desacordo de Regras (RDR - Rule Disagreement Rate): Uma métrica de média micro que quantifica o número total de erros de nível de regra (falsos positivos e falsos negativos) em relação ao total de regras envolvidas.

Resultados Principais

Os autores avaliaram 10 LLMs de fronteira e 5 modelos de salvaguarda configuráveis por política no SafePyramid. Os resultados destacam limitações significativas nos sistemas atuais:

• Desempenho Geral: Mesmo o melhor modelo, GPT-5.5, alcança uma correspondência exata (RMR@1.0) em apenas 54,0% dos casos de L0, 35,3% dos casos de L1 e 12,9% dos casos de L2.
• Progressão de Dificuldade: Há uma queda monotônica de desempenho de L0 para L2 em todos os modelos. A queda de L0 para L1 indica que lidar com dependências de regras (exceções/condições) é um grande gargalo. A queda adicional para L2 sugere que adaptar-se a novos frameworks é um desafio ainda mais severo.
• Limitações dos Modelos de Salvaguarda: Modelos de salvaguarda configuráveis por política (ex.: GPT-OSS-Safeguard) apresentam desempenho competitivo no L0, mas seu desempenho colapsa no L1 e L2, sugerindo que ainda não foram projetados para execução de política completa com dependências complexas.
• Análise de Erros:
  • Erros de L0: Dominados por Regras Decisivas, frequentemente devido ao "casamento de pistas superficiais" (surface-cue matching), onde os modelos falham em distinguir entre um chatbot endossando um comportamento versus atribuir uma visão a terceiros.
  • Erros de L1: Mudam para Regras de Exceção, onde os modelos frequentemente acionam exceções excessivamente com base em correspondências parciais de palavras-chave sem verificar todas as condições de ativação.
  • Erros de L2: Envolvem cada vez mais Regras Condicionais. Os modelos têm dificuldade em distinguir entre a própria regra condicional (um modificador) e a regra base que ela modifica, muitas vezes tratando a condicional como uma violação em si mesma quando novos frameworks são introduzidos.
• Estratégias de Mitigação:
  • Avaliação Por-Regra: Decompor a tarefa em classificação por regra melhora significativamente o desempenho para modelos de salvaguarda menores (ex.: o GPT-OSS-Safeguard-120B melhorou de 23,6% para 52,4% de RMR médio), indicando que a composição de política completa é um gargalo.
  • Harnesses Agênticos: Usar fluxos de trabalho agênticos (ex.: Codex, Claude Code) para decompor a tarefa e verificar etapas intermediárias melhora o desempenho, particularmente no L1 e L2, sugerindo que o raciocínio explícito e a verificação ajudam na resolução de dependências.
  • Esforço de Raciocínio: Aumentar o esforço de raciocínio (ex.: esforço "xhigh" no GPT-5.5) produz ganhos marginais no L0, mas melhorias substanciais no L1 e L2, confirmando que a resolução de dependências complexas requer mais orçamento computacional.

Significância e Contribuições

O artigo apresenta quatro contribuições principais:

1. Formulação do Problema: Define formalmente a salvaguarda de política em contexto como uma tarefa onde as salvaguardas devem identificar violações de segurança usando especificações de política fornecidas no contexto, indo além das taxonomias de risco fixas.
2. Identificação de Capacidades: Identifica e isola três capacidades críticas necessárias para este cenário: compreensão de regra individual, resolução de dependência de regras e adaptação a novos frameworks de política.
3. Introdução de Benchmark: Introduz o SafePyramid, um benchmark hierárquico abrangente de três níveis contendo 1.000 conversas, 3.000 políticas e 61.699 regras, construído com controle de qualidade rigoroso.
4. Evidência Empírica: Fornece uma avaliação extensa mostrando que os modelos de estado da arte atuais estão longe de serem salvaguardas de política em contexto confiáveis, particularmente quando confrontados com dependências de regras e novos frameworks.

Os autores concluem que o campo deve ir além da simples classificação de risco em direção à execução de política explícita, auditável e adaptável. Os achados sugerem que salvaguardas mais fortes provavelmente exigirão melhor decomposição de política, organização de contexto e mecanismos de verificação ao nível de regra, potencialmente alavancando fluxos de trabalho agênticos. O SafePyramid serve como uma ferramenta de diagnóstico para rastrear o progresso nessas áreas.