Resumo Técnico: OpenSafeIntent

Definição do Problema

As avaliações atuais de segurança de Grandes Modelos de Linguagem (LLMs) frequentemente dependem de prompts isolados, tratando a segurança como um tradeoff binário entre utilidade e dano. Essa abordagem falha em capturar a nuance da conclusão segura (safe completion), onde um modelo deve fornecer assistência útil enquanto retém detalhes que permitam o uso indevido. O desafio central é que muitos pedidos são de "uso duplo" (dual-use): a mesma capacidade subjacente (ex: explicar um processo químico ou analisar uma vulnerabilidade de segurança) pode apoiar objetivos legítimos ou facilitar danos, dependendo da intenção do usuário.

As métricas existentes, que pontuam prompts de forma independente, não conseguem determinar se um modelo está respondendo à intenção ou apenas reagindo a pistas superficiais como tópico, redação ou dificuldade. Consequentemente, um modelo pode parecer seguro em média, enquanto falha em calibrar sua assistência apropriadamente quando a intenção muda de benigna para ambígua (uso duplo) ou maliciosa dentro do mesmo domínio de tarefa.

Metodologia: Benchmark OpenSafeIntent

Os autores introduzem o OpenSafeIntent, um benchmark projetado para avaliar a conclusão segura calibrada pela intenção. A unidade central de avaliação não é o prompt individual, mas um conjunto de prompts controlado.

Construção do Conjunto de Dados

O conjunto de dados consiste em 115 conjuntos de prompts contendo um total de 805 prompts. Cada conjunto de prompts é construído em torno de uma tarefa subjacente, domínio de dano e tipo de tarefa fixos, variando apenas o enquadramento da intenção.

• Estrutura: Cada conjunto inclui três variantes primárias:
  1. Benigna: Um pedido legítimo para a tarefa.
  2. Uso Duplo (Dual-use): Um pedido ambíguo que pode ser legítimo ou prejudicial.
  3. Maliciosa: Um pedido que busca explicitamente possibilitar o dano.
• Parafraseamento: Cada prompt de uso duplo é acompanhado por quatro paráfrases para testar a estabilidade do comportamento do modelo sob pequenas mudanças de redação.
• Taxonomias: A geração é controlada via duas taxonomias:
  • Domínios de Dano: (ex: Comprometimento Cibernético, Evasão e Circunvenção, Uso de Agentes Perigosos).
  • Tipos de Tarefa: (ex: Planejamento, Resolução de Problemas, Recomendação).
• Pipeline: Um pipeline de geração em estágios usando um gerador (GPT-5.4) e um juiz (Claude Sonnet 4.6) garante que os prompts dentro de um conjunto compartilhem a mesma complexidade e especificidade de tarefa subjacente, diferindo apenas na intenção. A validação humana confirmou alta qualidade na separação de intenção e naturalidade.

Métricas de Avaliação

O benchmark emprega métricas tanto ao nível da resposta quanto ao nível do conjunto de prompts para capturar a consistência:

• Nível de Resposta:
  • Utilidade (Helpfulness): Pontuação de satisfação da tarefa (1–4).
  • Segurança (Safety): Severidade do dano binarizada (0 ou 1).
  • Utilidade (Utility): Utilidade com segurança filtrada ($U = S \times H$).
• Nível de Conjunto de Prompts (Prompt-Set):
  • Segurança Média (Mean Safety): Média de segurança em todos os tipos de prompts.
  • Segurança de Triplet (Triplet Safety): A fração de conjuntos de prompts onde o modelo é seguro em todas as três variantes (benigna, uso duplo, maliciosa) simultaneamente. Isso mede a consistência de intenção.
  • Utilidade de Pior Caso (Worst-Case Utility): A utilidade mínima entre as variantes benigna e de uso duplo, excluindo prompts maliciosos (que são projetados para ter baixa utilidade segura).

Resultados Principais

Os autores avaliaram um amplo conjunto de modelos, revelando lacunas significativas entre as pontuações médias de segurança e o comportamento calibrado pela intenção.

1. A Segurança Média Mascara a Inconsistência

Modelos com pontuações de Segurança Média semelhantes frequentemente exibem Segurança de Triplet vastamente diferentes. Um modelo pode ser seguro em prompts maliciosos, mas frágil em prompts de uso duplo, ou vice-versa. A Segurança de Triplet expõe essas falhas, mostrando que as pontuações médias podem esconder comportamentos inconsistentes com a intenção dentro da mesma tarefa.

2. O Comportamento de Uso Duplo é Frágil

• Instabilidade de Paráfrase: Apenas ~53% dos conjuntos de paráfrases de uso duplo resultaram em respostas uniformemente seguras em todas as variantes. Os conjuntos restantes mostraram "inversões de segurança" (algumas paráfrases seguras, outras inseguras) ou insegurança uniforme, indicando que o comportamento do modelo próximo à fronteira de segurança é altamente sensível a pequenas mudanças de redação.
• Variância de Utilidade: Mesmo entre respostas seguras, a utilidade (ajuda) variou significamente entre as paráfrases para muitos modelos, sugerindo instabilidade na forma como a assistência segura é entregue.

3. Abstração Não é uma Estratégia de Segurança Confiável

O estudo categorizou as respostas em quatro modos:

• A1: Recusa.
• A2: Respostas de alto nível sobre o tópico de risco.
• A3: Respostas concretas após o reencadeamento da solicitação para uma tarefa mais segura.
• A4: Respostas diretas à solicitação de risco original.

Os resultados mostraram que o A2 (abstração de alto nível) possui uma taxa de insegurança condicional alta (58,14%), comparável às respostas diretas (A4). Isso sugere que simplesmente remover detalhes procedimentais não elimina o risco; respostas abstratas ainda podem expor mecanismos ou informações estratégicas. Em contraste, o A3 (reencadeamento/reframing) apresentou a menor taxa de insegurança (18,65%), indicando que a conclusão segura bem-sucedida muitas vezes requer o deslocamento da tarefa para um domínio mais seguro, em vez de apenas responder à solicitação de risco em um nível mais alto.

4. Modos de Falha: Detecção vs. Execução

Respostas de uso duplo inseguras derivam de dois modos de falha distintos:

• Falha de Detecção: O modelo falha em reconhecer que o prompt exige assistência limitada.
• Falha de Execução de Política: O modelo reconhece o risco, mas falha em impor o limite durante a geração.
  A prevalência desses erros varia por modelo. Alguns modelos falham primariamente na detecção, enquanto outros (como o GPT-5.4) frequentemente detectam o risco, mas falham na execução da restrição, produzindo detalhes inseguros apesar de reconhecer a necessidade de cautela.

Significância e Alegações

O artigo argumenta que a conclusão segura deve ser avaliada como um comportamento calibrado pela intenção sobre variantes controladas de tarefas, em vez de um simples tradeoff entre segurança-utilidade sobre prompts independentes.

• Reenquadramento da Avaliação: Os autores alegam que as médias por prompt são insuficientes porque obscurecem se um modelo altera sua assistência apropriadamente conforme a intenção muda. O OpenSafeIntent fornece um framework para testar se os modelos permanecem seguros e úteis através de um "vizinhança local" de solicitações relacionadas.
• Além da Recusa: Os resultados sugerem que a conclusão segura não é meramente sobre recusar solicitações prejudiciais ou fornecer abstrações de alto nível. Em vez disso, requer uma seleção estável de modos de resposta: assistência total para intenções benignas, assistência restrita ou reencadeada para intenções de uso duplo, e recusa/redirecionamento para intenções maliciosas.
• Direção Futura: Os autores postulam que o treinamento de segurança futuro deve abordar a instabilidade do comportamento de uso duplo e a dependência da abstração, focando na capacidade do modelo de calibrar consistentemente a assistência baseada na intenção, em vez de apenas no tópico.