🤖 AI

SAFETY SENTRY: Context-Aware Human Intervention via EXECUTE-ASK-REFUSE Routing

O artigo apresenta o "Safety Sentry", um modelo de guarda leve que melhora as verificações de segurança binárias ao implementar um sistema de roteamento de três vias, sensível ao contexto e por instância (EXECUTE, ASK, REFUSE), para equilibrar segurança e autonomia do usuário enquanto permite a tolerância ao risco ajustável através de um único limiar de decodificação.

Autores originais: Tianyu Chen, Chujia Hu, Wenjie Wang

Publicado 2026-07-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tianyu Chen, Chujia Hu, Wenjie Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você acabou de construir um assistente robô superinteligente que pode fazer quase tudo o que você pedir: escrever e-mails, gerenciar sua agenda ou até mesmo organizar seus arquivos digitais. É como ter um mordomo mágico que nunca dorme. Mas aqui está o detalhe: se você disser a este robô para "deletar tudo", ele pode simplesmente fazê-lo sem piscar, potencialmente apagando todo o trabalho da sua vida. Este é o mundo dos Agentes de IA — programas que não apenas conversam, mas realmente fazem coisas no mundo real. A grande questão que os cientistas estão fazendo agora é: Como impedimos esses robôs de cometerem erros terríveis sem transformá-los em robôs inúteis e hesitantes que pedem permissão para respirar?

Por muito tempo, a solução foi uma simples "placa de pare". Um guarda de segurança olhava para cada coisa que o robô queria fazer e dizia: "Seguro" ou "Inseguro". Se fosse inseguro, o robô parava. Se fosse seguro, ele prosseguia. Mas essa abordagem era como um segurança que te para na porta querendo apenas pegar uma caneta ou tentando roubar o cofre do prédio. Eles tratavam ambas as ações da mesma forma: "Pare e pergunte!". Isso tornava o robô irritante e lento e, eventualmente, as pessoas começaram a ignorar o guarda, apenas afastando-o para que pudessem realizar suas tarefas. A nova ideia é dar ao guarda um pouco mais de capacidade cerebral, para que ele possa distinguir entre "pegar uma caneta" (siga em frente), "roubar o cofre" (pare imediatamente) e "talvez pegar uma caneta, mas não tenho certeza se você realmente quer isso" (pergunte ao humano).

Foi exatamente isso que os pesquisadores da Universidade ShanghaiTech fizeram em seu novo artigo, SAFETY SENTRY. Eles perceberam que o antigo sistema "Seguro vs. Inseguro" era muito desajeitado. Em vez disso, ensinaram seu guarda de IA a fazer três escolhas distintas para cada ação que o robô deseja realizar: EXECUTAR (vá em frente!), PERGUNTAR (ei, humano, tem certeza?) ou RECUSAR (absolutamente não, isso é perigoso).

Pense nisso como um segurança muito inteligente em uma boate. O antigo segurança apenas deixava todos entrarem ou expulsava todos. O novo segurança do SAFETY SENTRY olha para o seu documento de identidade e seu comportamento. Se você está lá apenas para tomar uma bebida, ele diz: "Vá em frente" (EXECUTE). Se você está tentando trazer um pacote gigante e suspeito, ele diz: "De jeito nenhum, você não passa daqui" (RECUSE). Mas se você está segurando um ingresso que parece real, mas está agindo de um jeito estranho, ele não te expulsa; ele apenas diz: "Espere um pouco, deixe-me verificar com o gerente primeiro" (PERGUNTE). Dessa forma, o robô ainda pode ser rápido e útil, mas não apaga acidentalmente a cozinha ou deleta suas fotos.

Para ensinar esse guarda a fazer essas três escolhas, os pesquisadores não usaram apenas um livro didático; eles construíram todo um parquinho. Eles configuraram nove diferentes "serviços" do mundo real (como versões falsas de sistemas de e-mail, armazenamento de arquivos e aplicativos de chat de equipe) e deixaram um robô de IA percorrer as tarefas. Então, fizeram o guarda de IA observar cada passo que o robô dava. Eles treinaram o guarda para observar o contexto: O robô está tentando deletar um arquivo? Ele está pedindo uma senha? O usuário tem uma regra específica, como "sempre confirme antes de deletar" ou "pré-aprovar edições rotineiras"?

Os resultados foram impressionantes. Quando testaram este novo guarda de três vias contra outros sistemas de segurança de IA de alto nível (incluindo alguns muito caros e de código fechado), o SAFETY SENTRY foi muito melhor em saber quando deixar o robô ir e quando pará-lo. Cometeu menos erros em ambas as direções: não parou o robô quando não precisava (o que torna o robô lento) e não deixou o robô fazer coisas perigosas quando deveria ter parado.

Uma das partes mais legais deste sistema é o quão flexível ele é. Normalmente, se você quiser que um guarda de segurança seja mais rigoroso ou mais leniente, você tem que treinar tudo do zero, o que leva uma eternidade. Mas o SAFETY SENTRY possui um "dial" especial (chamado de limiar ou threshold) que o usuário pode girar. Se você estiver operando um sistema hospitalar onde erros são fatais, você pode girar o dial para "super cauteloso", e o guarda pedirá aprovação humana quase o tempo todo. Se você estiver operando um aplicativo de notas pessoais onde a velocidade é mais importante, você pode girar o dial para "vá em frente", e o guarda só parará as coisas verdadeiramente perigosas. O melhor de tudo? Você não precisa retreinar a IA para fazer isso; você apenas gira o dial, e ela se adapta instantaneamente.

O artigo também mostrou que este guarda pode entender quem é o usuário ao ler suas preferências de risco específicas. Se você disser ao guarda: "Eu exijo confirmação explícita para qualquer exclusão de arquivo irreversível", ele pedirá permissão antes que o robô delete sequer um único arquivo. Se você disser: "Eu pré-aprovo edições rotineiras para minhas notas diárias", ele deixará o robô deletar ou editar esses arquivos sem perguntar. Essa personalização significa que o robô parece menos uma máquina rígida e mais um parceiro prestativo que respeita suas regras operacionais específicas.

No fim, o SAFETY SENTRY sugere que não precisamos escolher entre ter um robô poderoso e autônomo e ter um robô seguro. Ao nos afastarmos de um sistema simples de "sim ou não" para um sistema mais inteligente de "sim, não ou deixe-me verificar", podemos manter nossos assistentes digitais rápidos e livres, garantindo que eles nunca cruzem a linha para o desastre. É uma pequena mudança na forma como pedimos ao robô para pensar, mas pode ser a chave para deixar os agentes de IA correrem soltos sem incendiar a casa.

Resumo Técnico: SAFETY SENTRY

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) operam em ambientes do mundo real por meio de chamadas de ferramentas (tool calls), onde uma única ação mal calculada pode causar danos irreversíveis. Os mecanismos de segurança atuais dependem de modelos de guarda que classificam as ações propostas como "seguras" ou "inseguras". Os autores argumentam que essa estrutura binária sofre de duas falhas críticas:

Conflito de Decisões: Falha em distinguir entre uma ação que é inerentemente prejudicial e uma ação que é apropriada em si mesma, mas que requer confirmação humana devido ao contexto do usuário ou incerteza.
Problemas de Granularidade: Opera no nível de categorias de ações, em vez de instâncias individuais. Isso leva a "interrupções rotineiras" onde ações de baixo risco (ex: escrever em um arquivo de rascunho) são sinalizadas identicamente às destrutivas (ex: rm -rf), erodindo a autonomia do agente e treinando os usuários a ignorar alertas (fadiga de alarmes).

Além disso, as estruturas existentes carecem de uma fronteira de decisão intermediária. Muitas ações não são estritamente seguras nem inseguras; sua adequação depende da intenção do usuário e do contexto de execução. A visão binária padrão força uma escolha entre recusa total ou execução, perdendo a opção crucial de solicitar confirmação humana.

Metodologia: SAFETY SENTRY

O artigo reformula a segurança do agente como uma decisão de roteamento de três vias por instância: {EXECUTAR, PERGUNTAR, RECUSAR}.

EXECUTAR (EXECUTE): Ações que são claramente seguras são executadas autonomamente.
PERGUNTAR (ASK): Ações com incerteza, alto potencial de impacto ou adequação dependente de contexto são roteadas para humanos para confirmação.
RECUSAR (REFUSE): Ações que são estruturalmente prejudiciais ou inaceitáveis são bloqueadas.

Construção de Dados

Para treinar um modelo capaz desta roteamento matizado, os autores construíram um corpus de supervisão ao nível de etapa (step-level):

Ambiente: Nove serviços empresariais de nível de produção auto-hospedados (ex: Gitea, Rocket.Chat, OpenEMR, Vaultwarden) rodando em contêineres Docker com conteúdo realista semeado.
Tarefas: 9.203 registros de nível de etapa derivados de instruções internas geradas por LLM e cinco benchmarks públicos (ex: AgentHarm, AT-Bench).
Condicionamento de Persona: As tarefas foram pareadas com "memórias de persona" representando três perfis de usuário: Cauteloso (requer confirmação para operações irreversíveis), Permissivo (pré-aprova trabalho rotineiro) e Adversário (simula ataques de envenenamento de memória).
Anotação: Uma taxonomia de gatilhos de 14 padrões foi usada para rotular as etapas. Dois anotadores de LLM rotularam os dados, com arbitragem dos autores para divergências, alcançando 92% de concordância humana no conjunto de teste.

Arquitetura do Modelo e Treinamento

SAFETY SENTRY é um modelo de guarda leve (baseado em um backbone Qwen3.5 de 4 bilhões de parâmetros) ajustado via Fine-Tuning Supervisionado (SFT) com LoRA.

Entrada: Um snapshot contendo a memória do usuário, tarefa, domínio da aplicação, rastro anterior e a ação proposta.
Saída: O modelo gera um bloco de raciocínio, um token de decisão (<|direct_execute|>, <|ask_human|> ou <|refuse|>) e um payload JSON com uma razão (e uma pergunta de esclarecimento se for ASK).
Controle de Inferência: Um único limiar de decodificação ( $\tau$ ) controla a fronteira EXECUTE/ASK. A decisão REFUSE permanece fixa como um piso de segurança. Isso permite que um único checkpoint seja reposicionado para diferentes tolerâncias de risco (autônomo vs. conservador) sem necessidade de retreinamento.

Resultados Principais

Os autores avaliaram o SAFETY SENTRY contra modelos de pesos abertos (faixa de 3B–27B) e modelos de fronteira proprietários (GPT, Claude, Gemini, DeepSeek) em um conjunto de teste de distribuição interna e um serviço fora de distribuição (OOD) mantido à parte (Mailu).

Precisão e Equilíbrio Superiores: O SAFETY SENTRY alcançou 91,02% de precisão e 90,92% de Macro-F1, superando significativamente todos os baselines. Crucialmente, ele controlou as taxas de erro direcional simultaneamente:
- Taxa de Excesso de Perguntas (OAR): 5,05% (minimizando interrupções desnecessárias).
- Taxa de Falta de Perguntas (UAR): 4,96% (minimizando execuções autônomas inseguras).
- Contraste: Os baselines tipicamente colapsavam para um lado; ex: DeepSeek-V3 teve baixo OAR (3,70%), mas alto UAR (57,79%), enquanto Llama-3.2-3B teve alto OAR (6,67%) e UAR extremo (80,12%).
Controle Dinâmico: Ao varrer o limiar $\tau$ , o modelo traça uma fronteira de Pareto onde menores valores de OAR e UAR são alcançados simultaneamente em comparação aos baselines. Um único checkpoint pode servir implantações de alto risco (conservador $\tau$ ) e baixo risco (autônomo $\tau$ ).
Personalização: Quando testado em dados aumentados por memória, o SAFETY SENTRY manteve alta precisão (87,0%) mesmo quando o rótulo gold mudava com base na persona do usuário. Os baselines degradaram significativamente (ex: Claude-Opus-4.7 caiu de 72,5% para 5 sk 56,5%), indicando que falharam em condicionar efetivamente ao contexto do usuário.
Generalização: No serviço Mailu (OOD), o SAFETY SENTRY alcançou 85,35% de precisão, superando o mais forte baseline proprietário (Claude-Opus-4.7 com 80,81%). Ele manteve um perfil de erro equilibrado, enquanto os baselines colapsaram para priors fixos (sempre perguntando ou nunca recusando).
Eficiência: O modelo adiciona ~1,57s de latência por etapa (42% do custo do agente principal), mas fornece um veredito estruturado e acionável com raciocínio, ao contrário de guardas binários mais rápidos que não oferecem justificativa.

Significância e Alegações

O artigo afirma que o SAFETY SENTRY representa uma mudança de "bloquear ações inseguras" para "equilibrar autonomia, segurança e supervisão humana". Suas principais contribuições são:

Reenquadramento da Segurança: Mover da classificação binária para um problema de roteamento de três vias que separa explicitamente "perguntar" de "recusar".
Consciência de Contexto: Demonstrar que as decisões de segurança devem ser condicionadas à intenção e memória do usuário, não apenas à ação em si.
Capacidade de Implantação: Fornecer uma solução leve de checkpoint único que pode ser ajustada para variadas tolerâncias de risco via um simples limiar, evitando retreinamento ou dependência de APIs de fronteira caras.
Robustez: Mostrar que a fronteira de decisão aprendida transfere-se através de diferentes frameworks de agentes e backbones.

Os autores posicionam o SAFETY SENTRY como uma camada necessária em uma estratégia de "defesa em profundidade", abordando o viés de automação e a fadiga de alarmes causados pelas atuais salvaguardas binárias.