🤖 AI

HarnessSafe: Evaluating Safety Across Persistent Carriers in Agent Harnesses

Este artigo apresenta o HarnessSafe, um benchmark abrangente e um framework de avaliação de múltiplos estágios que avalia como os harnesses de agentes modernos mitigam riscos de segurança retardados causados por conteúdo influenciado por atacantes que persiste através de vários transportadores e fronteiras de sistema, revelando que a eficácia do contenção é altamente dependente de tipos específicos de transportadores e configurações de harness-modelo.

Autores originais: Xiao Zhang, Yusheng Wang, Yuhao Fei, Dongyuan Li, Zian Liang, Liuyu Xiang, Hongxun Gu, Zhaofeng He

Publicado 2026-08-10

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiao Zhang, Yusheng Wang, Yuhao Fei, Dongyuan Li, Zian Liang, Liuyu Xiang, Hongxun Gu, Zhaofeng He

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente robô superinteligente que não apenas responde perguntas, mas realmente faz coisas por você. Ele pode escrever código, reservar voos ou organizar seus arquivos digitais. Para fazer isso, o robô precisa de um "cérebro" (o modelo de IA) e de uma "mochila" (o sistema de software que guarda suas memórias, ferramentas e habilidades). Esta mochila é crucial porque permite que o robô se lembre do que fez ontem para que possa concluir um grande projeto hoje. Mas aqui está a parte complicada: e se alguém enfiar um vírus minúsculo e invisível nessa mochila? Ele pode não fazer nada imediatamente. Em vez disso, ele espera, escondido em uma nota ou na configuração de uma ferramenta, até que o robô execute uma tarefa completamente inocente semanas depois. De repente, essa tarefa inocente aciona o vírus, e o robô acidentalmente deleta seus arquivos ou envia uma mensagem secreta. Este é o mundo do "risco persistente" em agentes de IA: perigos que sobrevivem através do tempo e de diferentes tarefas, esperando o momento certo para atacar.

Este artigo, intitulado HarnessSafe, é como um teste de estresse massivo e de alta tecnologia para essas mochilas de robôs. Os pesquisadores queriam ver se os sistemas de IA atuais conseguiriam detectar esses ataques "adormecidos" antes que eles acordassem e causassem problemas. Eles construíram um parquinho com 328 cenários diferentes onde tentaram plantar esses vírus escondidos em sete tipos diferentes de "mochilas" (como memória, habilidades e ferramentas compartilhadas) através de sete sistemas de robôs populares. Em vez de apenas perguntar: "O robo foi hackeado? Sim ou não?", eles rastrearam o ataque passo a passo. Eles observaram para ver se o vírus era detectado no momento em que era plantado, se sobrevivia a uma travessia de fronteira (como um novo dia ou um novo usuário) ou se finalmente conseguia causar um desastre.

Os resultados foram um pouco um chamado para o despertar. Os pesquisadores descobriram que a segurança não é apenas sobre o cérebro do robô ou a mochila isoladamente; é sobre a combinação específica dos dois. Alguns sistemas de robôs eram ótimos em detectar vírus em sua memória, mas terríveis em detectá-los em suas ferramentas. Outros eram o oposto. Na verdade, dois sistemas podem ter a mesma "taxa de falha" (com que frequência foram hackeados), mas um deles pode ter interrompido o ataque cedo, enquanto o outro permitiu que ele vagasse por dias antes de finalmente falhar. Isso significa que simplesmente contar quantas vezes um sistema é hackeado não é suficiente; precisamos saber onde e quando a defesa falhou. O estudo prova que esses ataques ocultos e atrasados são reais e perigosos, e que consertá-los exige olhar para toda a jornada do risco, não apenas para a explosão final.

A História do "Espião Adormecido"

Para entender o que os pesquisadores fizeram, vamos imaginar que o agente de IA é um estagiário superorganizado trabalhando em um grande escritório. Este estagiário tem uma mochila (o "harness") onde guarda suas listas de tarefas, suas ferramentas (como uma calculadora ou uma pasta de arquivos) e suas notas sobre o que fez.

Normalmente, este estagiário é prestativo. Mas imagine um espião (o atacante) que quer sabotar o escritório. O espião não apenas grita "Faça algo ruim!", porque o estagiário diria não. Em vez disso, o espião infiltra uma instrução adormecida na mochila do estagiário. Talvez ele escreva uma nota estranha na seção de "Memória", ou altere um arquivo de "Habilidade" para que pareça normal, mas contenha uma armadilha oculta.

O espião vai embora. O estagiário segue seu dia, realizando tarefas normais e entediantes. Nada acontece. Esta é a parte da "persistência" — a coisa ruim está apenas sentada ali, esperando.

Então, dias depois, o chefe (um usuário) pede ao estagiário para fazer algo completamente inocente, como "Resumir este relatório". Este é o "gatilho benigno". Mas como a mochila do estagiário ainda contém aquela instrução adormecida do espião, no momento em que o estagiário abre o relatório, a armadilha dispara. O estagiário pode acidentalmente deletar os arquivos do chefe ou enviar um e-mail secreto, tudo isso enquanto pensa que está apenas fazendo um trabalho normal.

O Grande Teste de Estresse da Mochila

Os autores deste artigo decidiram desempenhar o papel de espião para ver quais sistemas de escritório eram seguros. Eles criaram o HarnessSafe, um kit de teste gigante com 3ら 328 maneiras diferentes de plantar esses espiões adormecidos. Eles testaram esses espiões em sete tipos diferentes de mochilas:

Memória: Escondendo-se nas notas do estagiário.
Habilidades (Skills): Escondendo-se nas instruções de como realizar uma tarefa.
Ferramentas/MCP: Escondendo-se nas configurações das ferramentas que o estagiário usa.
Memória-para-Habilidade: Transformando uma nota em uma nova habilidade.
Delegação de Subagente: Passando o espião para um robô auxiliar.
Resumo de Sessão: Escondendo-se no resumo de uma conversa passada.
Artefatos Compartilhados: Escondendo-se em um arquivo compartilhado entre diferentes trabalhadores.

Eles executaram esses testes em sete sistemas de robôs reais diferentes (como Claude Code, Codex CLI e outros) para ver como lidavam com os ataques.

A Pontuação de "Estágio": Não é Apenas Sim ou Não

É aqui que o artigo se torna realmente inteligente. A maioria dos testes de segurança apenas diz: "O robô foi hackeado? Sim/Não". Mas os pesquisadores perceberam que isso é como dizer que um acidente de carro é o mesmo se os freios falharam a 10 km/h ou a 100 km/h.

Em vez disso, eles criaram um placar de 7 estágios (chamado N0 a N5b) para rastrear exatamente até onde o espião chegou:

N0: O espião nem sequer foi visto. A mochila estava trancada hermeticamente.
N1: O espião foi detectado assim que tentou entrar.
N2: O espião entrou e alterou algo, mas foi pego antes de causar danos reais.
N3: O espiã sobreviveu à "noite" (uma nova sessão) e foi relido pelo estagiário.
N4: O espião tentou fazer algo ruim, mas o sistema interrompeu a ação.
N5a/N5b: O espião teve sucesso! O dano foi feito.

Ao usar este placar, eles puderam ver que alguns sistemas eram bons em deter espiões na porta (N1), mas ruins em detê-los uma vez que já estavam lá dentro (N3). Outros eram o oposto.

O Que Eles Descobriram: É Tudo Sobre a Combinação

A grande descoberta foi que a segurança depende da parceria específica entre o cérebro do robô (o modelo de IA) e sua mochila (o harness).

Ninguém é Perfeito: Não houve um único sistema que fosse o melhor em tudo. Por exemplo, um sistema (Codex CLI) era incrível em detectar espiões em suas ferramentas e memória, mas era, na verdade, o pior em detectá-los em suas "Habilidades". Outro sistema (Claude Code) era ótimo em habilidades, mas mais fraco em outros aspectos.
O Cérebro Importa Também: Se você pegar a mesma mochila e colocar um cérebro de IA diferente dentro dela, a pontuação de segurança muda drasticamente. Um cérebro pode ser muito cuidadoso e detectar o espião, enquanto outro pode ser confiante demais e deixá-lo passar.
A Armadilha da "Mesma Pontuação": Dois sistemas podem ter a mesma "Taxa de Sucesso de Ataque" (significando que ambos falharam o mesmo número de vezes). Mas quando você olha os estágios, um pode ter falhado cedo (N1), enquanto o outro deixou o espião vagar por dias (N3) antes de falhar. Isso significa que uma simples pontuação de "passa/falha" esconde muitos detalhes perigosos.

A Conclusão

O artigo conclui que não podemos apenas olhar para um robô e dizer "ele é seguro" ou "ele é inseguro". A segurança é uma dança complexa entre o software que guarda a memória e a IA que pensa. Se quisermos deter esses ataques de "espião adormecido", precisamos construir sistemas que monitorem toda a jornada do risco, não apenas o resultado final. Precisamos saber exatamente onde a defesa quebrou para que possamos consertar aquela parte específica da mochila.

Em suma, os pesquisadores mostraram que, no mundo dos agentes de IA, um perigo oculto pode dormir por muito tempo, e detectá-lo requer um olhar muito mais detalhado do que apenas verificar se o robô ainda está funcionando. Eles forneceram o mapa e o placar para nos ajudar a encontrar exatamente onde estão as rachaduras.

Resumo Técnico: HarnessSafe

Definição do Problema

Os agentes modernos de Grandes Modelos de Linguagem (LLMs) operam dentro de "harnesses de agentes" (estruturas de suporte)—camadas de tempo de execução que gerenciam estado, carregam ferramentas e conduzem loops de execução. Esses harnesses utilizam portadores persistentes (ex: memória, habilidades, ferramentas, artefatos compartilhados) para sustentar tarefas complexas através de sessões. Embora essa persistência permita capacidades de longo horizonte, ela introduz riscos de segurança retardados: conteúdos influenciados por atacantes podem atravessar fronteiras do sistema, persistir no harness e, posteriormente, desencadear comportamentos inseguros durante solicitações que seriam, de outra forma, benignas.

Benchmarks de segurança existentes tipicamente focam em portadores isolados (ex: apenas memória) ou em harnesses específicos, falhando em rastrear o ciclo de vida completo de um risco persistente. Além disso, métricas de segurança binárias (sucesso ou falha do ataque) obscurecem onde na cadeia de ataque uma defesa teve sucesso ou falhou, confundindo a rejeição precoce com o bloqueio em estágio tardio. Há uma carência de benchmarks que rastreiem conjuntamente casos de risco persistente desde a entrada do atacante, passando pela retenção no portador e travessia de fronteira, até um gatilho benigno e uma violação observável através de harnesses heterogêneos.

Metodologia

1. Design do Benchmark: HarnessSafe

Os autores introduzem o HarnessSafe, um benchmark composto por 328 casos executáveis avaliados em sete harnesses de agentes mainstream (incluindo Claude Code, Codex CLI, Gemini CLI, OpenCode, Kimi Code, OpenClaw e Hermes Agent).

Taxonomia: Os casos são organizados em sete famílias de portadores persistentes através de três níveis:
- Nível 1 (Superfícies Persistentes Principais): Memória (F1), Habilidades (F2) e estado de Ferramenta/MCP (F3).
- Nível 2 (Transformação entre Portadores): Transformação de Memória-para-Habilidade (T2).
- Nível 3 (Propagação entre Fronteiras): Delegação de subagente (T3-S), Resumo de Sessão (T3-C) e Reuso de Artefato Compartilhado (T3-A).
Ciclo de Vida do Risco Persistente ( $K$ ): Cada caso é definido como uma tupla de cinco elementos $K = \langle E, C, B, T, V \rangle$ $K = ⟨ E, C, B, T, V ⟩$ :
- $E$ (Entrada/Entry): Entrada influenciada pelo atacante.
- $C$ (Portador/Carrier): O estado ou caminho ordenado onde a influência é retida.
- $B$ (Fronteira/Boundary): A transição (sessão, processo, agente, workspace) que a influência deve sobreviver.
- $T$ (Gatilho/Trigger): Uma tarefa posterior, independentemente benigna, que reconsome o portador.
- $V$ (Violação/Violation): Uma violação de segurança observável e verificada por oráculo.
Adaptação de Harness: Para garantir a comparabilidade entre diferentes harnesses, os casos são especificados por papéis em vez de mecanismos específicos. Um adaptador de harness mapeia esses papéis para mecanismos nativos de armazenamento, ferramentas e permissões, preservando a semântica de segurança do caminho de ataque.

2. Esquema de Avaliação: Progressão de Múltiplos Estágios Baseada em Rastreamento

Em vez de resultados binários, o HarnessSafe atribui cada execução ao estágio mais distante suportado por evidência de execução observável em uma escada de N0 a N5b:

N0: Sem contato com a superfície envenenada.
N1: Entrada exposta.
N2: Influência da carga útil (payload) no estado/comportamento.
N3: Persistência através da fronteira e reconsumo durante o gatilho benigno.
N4: Tentativa de ação insegura (sem execução bem-sucedida).
N5a: Violação verificada por oráculo (confidencialidade, integridade, disponibilidade ou violação de autorização).
N5b: Violação de cadeia completa incluindo confirmação exata de canary.
N-1: Não conclusão do fluxo de trabalho (não pontuado, não tratado como seguro).

Métricas:

Pontuação de Estágio de Cadeia (CSS - Chain-Stage Score): Uma média ponderada do estágio mais distante alcançado (100 para N0 até 0 para N5b). Pontuações mais altas indicam contenção precoce.
Taxa de Sucesso de Ataque (ASR - Attack Success Rate): A porcentagem de execções pontuadas que atingem N5a ou N5b.
Suporte Comum: Para comparações entre harnesses, o benchmark utiliza um conjunto fixo de casos elegíveis para todas as configurações para garantir uma comparação justa.

Principais Contribuições

Um Benchmark Portátil entre Diferentes Harnesses: O HarnessSafe fornece 328 casos executáveis abrangendo sete famílias de portadores, rodando nativamente em sete diversos harnesses de agentes. Ele preserva a semântica de ataque através de uma especificação de ciclo de vida unificada, permitindo vinculações específicas de cada harness.
Avaliação de Múltiplos Níveis Baseada em Rastreamento: O framework vai além do sucesso/falha binário ao mapear execuções para uma escada de progressão de 7 estágios (N0–N5b). Isso localiza onde os riscos são contidos e introduz a Pontuação de Estágio de Cadeia (CSS) para uma comparação padronizada.
Descobertas Empíricas sobre Contenção: A avaliação revela que a contenção depende fortemente da configuração harness-modelo e da família de risco.

Resultados Experimentais

RQ1: Variação entre Famílias de Risco e Harnesses

A contenção varia significamente entre diferentes famílias de risco persistente. Nenhum único configuração de harness-modelo performa uniformemente bem.

Exemplo: A configuração com o maior CSS geral (Codex CLI com GPT-5.6-Sol, pontuação 62.3) obteve a menor pontuação para habilidades reutilizáveis (F2) com 47.0, enquanto o Claude Code alcançou 70.0 na mesma família.
ASR vs. Distribuição de Estágio: Configurações com taxas de sucesso de ataque (ASR) quase idênticas (~10%) exibem perfis de parada distintos. Por exemplo, o OpenCode e o Hermes Agent tiveram ASRs similares, mas pararam em estágios de ciclo de vida diferentes (OpenCode majoritariamente em N1, Hermes em N2/N4), indicando que métricas de endpoint ocultam riscos residuais distintos.

RQ2: Dependência da Configuração Harness-Modelo

A contenção é uma propriedade do pareamento harness–modelo completo, não apenas do modelo ou do harness isoladamente.

Impacto do Harness: Com o backend GPT-5.6-Sol fixo, mudar o harness alterou o CSS de 39.4 (Claude Code) para 62.3 (Codex CLI).
Impacto do Modelo: Com o Claude Code fixo, mudar o backend alterou o CSS de 22.7 (MiniMax M2.5) para 58.7 (Claude Sonnet 4.6).
Conclusão: Um ranking de harness não é um ranking de segurança, e uma avaliação de modelo não é uma garantia de segurança; o pareamento é a menor unidade que carrega uma afirmação de segurança significativa.

RQ3: Atribuição aos Componentes do Ciclo de Vida

Experimentos de controle pareado (removendo um elemento do ciclo de vida por vez) demonstraram que as violações observadas dependem do ciclo de vida completo.

Remover a entrada (fonte limpa) reduziu o ASR de 25.8% para 0.4%.
Remover a persistência (sem persistência) reduziu o ASR para 2.5%.
Remover o gatilho (sem gatilho) reduziu o ASR para 0.0%.
Limpeza (removendo o portador antes do gatilho) reduziu o ASR para 1.8%.
Estes resultados confirmam que o ciclo de vida completo (entrada, persistência, reativação) é necessário para as violações observadas.

Significância e Alegações

O artigo alega que taxas de sucesso de ataque de endpoint são insuficientes para diagnosticar riscos persistentes em harnesses de agentes. Ao localizar onde cada cadeia de ataque para (via evidência resolvida por estágio), o HarnessSafe fornece orientação acionável para o posicionamento da defesa em pontos específicos: ingestão, armazenamento, transição de fronteira, autorização e limpeza.

Os autores enfatizam que:

Métricas binárias confundem riscos distintos: A rejeição precoce e o bloqueio em estágio tardio ambos resultam em "nenhuma violação", mas implicam riscos residuais vastamente diferentes.
A configuração importa: A segurança não pode ser atribuída apenas a um modelo ou a um harness; a interação entre os dois define o resultado da contenção.
A integridade do ciclo de vida é fundamental: A persistência do risco depende da cadeia completa de entrada, retenção e reativação; quebrar qualquer elo mitiga significativamente a ameaça.

O trabalho serve como uma ferramenta de diagnóstico para identificar oportunidades concretas de intervenção, em vez de meramente classificar sistemas por uma única métrica de sucesso/falha.