Resumo Técnico: SkillJack – Backdoors de Habilidades Persistentes em Agentes Autoevolutivos

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) autoevolutivos são cada vez mais projetados para converter históricos de interação em "habilidades" reutilizáveis que persistem além de tarefas individuais. Enquanto pesquisas anteriores estabeleceram riscos relativos ao envenenamento de memória e injeção de prompt indireta — onde os ataques têm sucesso apenas quando registros envenenados são recuperados como contexto — este artigo identifica um risco mais fundamental e durável. Os autores argumentam que, quando o próprio pipeline de experiência-para-habilidade de um agente processa um registro de experiência envenenado, ele pode transformar esse input transitório em um artefato comportamental durável. Diferente do envenenamento de memória tradicional, onde a remoção do registro de origem elimina a ameaça, este novo vetor de ataque permite que comportamentos maliciosos sobrevivam à remoção de sua origem, tornando-se incorporados ao repertório de habilidades reutilizáveis do agente.

Metodologia

O artigo introduz o SkillJack, um framework de ataque que explora o pipeline de transformação de experiência-para-habilidade. A metodologia é estruturada em torno de uma formulação formal do problema e uma estratégia específica de design de payload.

1. Formulação Formal do Problema

Os autores modelam o pipeline de experiência-para-habilidade como um processo de quatro estágios: Carga ($\pi_L$), Transformação ($\pi_T$), Persistência ($\pi_P$) e Roteamento ($\pi_R$). O objetivo do atacante é injetar um item de experiência envenenado $e_p$ de tal forma que a habilidade resultante $s_p$ satisfaça três condições:

1. Sigilo (Stealth): A habilidade evade a detecção por um detector de segurança $D$ ($D(s_p) = \text{benigno}$).
2. Roteabilidade (Routability): O roteador seleciona a habilidade para uma tarefa alvo ($s_p \in \pi_R(q, S)$).
3. Execução Maliciosa (Malicious Execution): A habilidade dispara um comportamento não pretendido ao ser executada ($exec(s_p, q) \in B$).

O estudo caracteriza três propriedades de segurança emergentes desta composição:

• Branqueamento de Sanitização (Sanitization Whitewashing): O processo de transformação (compressão, abstração, normalização) obscurece a intenção maliciosa, reduzindo as taxas de detecção em comparação com o input bruto.
• Promoção entre Camadas (Cross-Layer Promotion): Experiências transitórias são convertidas em artefatos persistentes e reutilizáveis que podem ser selecionados para tarefas futuras sem a necessidade de reler o registro original.
• Isolamento de Persistência (Persistence Isolation): Como a biblioteca de habilidades é desacoplada do corpus de experiências, a exclusão do registro de origem não remove necessariamente a habilidade derivada.

2. Design de Payload Resiliente à Transformação

Para realizar este ataque, os autores projetam payloads resilientes à transformação. Eles hipotetizam que os pipelines de extração são otimizados para destilar instruções úteis de traços de tarefas e são mais propensos a preservar sequências de ações emolduradas dentro de uma narrativa plausível e legítima do que aquelas descritas em linguagem abertamente adversária.

• Estratégia de Enquadramento (Framing Strategy): Em vez de palavras maliciosas diretas, os autores constroem trajetórias onde a ação relevante para a política (ex: exfiltração de dados, escalonamento de privilégios) é incorporada dentro de um quadro funcional legítimo (ex: "backup", "arquivo" ou "recuperação de erro").
• Métricas de Avaliação: O estudo mede o rendimento da extração, a detectabilidade (via correspondência de padrões e juízes LLM) e o sucesso do roteamento em tarefas subsequentes.

3. Configuração Experimental

O ataque foi avaliado em dois sistemas representativos:

• SkillX: Utiliza destilação de trajetória baseada em planos e roteamento de divulgação progressiva nativo de LLM.
• Anything2Skill (A2S): Compila documentos heterogêneos em contratos de habilidade estruturados.
• Dataset: Um conjunto compartilhado de 150 trajetórias (65 enquadradas funcionalmente envenenadas, 65 baselines diretamente maliciosas, 20 limpas) através de quatro categorias de risco de política (exfiltração de dados, escalonamento de privilégios, transferência não autorizada, backdoor persistente).
• Modelo: O DeepSeek-v4-flash foi usado para extração, roteamento e julgamento.

Principais Resultados

1. Branqueamento de Sanitização (Redução da Detectabilidade)

O processo de extração reduz significativamente a detectabilidade do conteúdo malicioso.

• SkillX: A detecção pelo juiz LLM caiu de 98,5% nas trajetórias envenenadas brutas para 11,4% nas habilidades extraídas. A detecção por padrão caiu de 44,6% para 11,0%.
• Anything2Skill (modo DOC): A detecção caiu de 100,0% nas trajetórias brutas para 44,4% nas habilidades extraídas.
• Mecanismo: O efeito de "branqueamento" é impulsionado pelos metadados de aparência benigna (nomes e documentação) anexados às habilidades extraídas. Quando apenas o conteúdo do código foi mostrado ao juiz, as taxas de detecção subiram significativamente (ex: de 10,0% para 36,7% no SkillX), indicando que os metadados superficiais impulsionam a evasão.

2. Promoção entre Camadas (Disparo Downstream)

As habilidades extraídas conseguem rotear e disparar em tarefas alvo.

• SkillX: 56,2% das tarefas orientadas ao ataque foram roteadas para uma habilidade que satisfazia o proxy de violação de política.
• Anything2Skill: 89,2% das consultas orientadas ao ataque dispararam o proxy de violação de política.
• Dano Colateral: As habilidades também dispararam em tarefas benignas não relacionadas (20,0% no SkillX, taxa de recuperação de 95,0% no A2S), indicando um raio de explosão amplo.

3. Isolamento de Persistência (Sobrevivência à Exclusão da Origem)

O ataque persiste mesmo após os registros envenenados originais serem removidos.

• Em um experimento de tarefa correspondente, 80,0% dos ataques que dispararam via o caminho da habilidade continuaram a disparar após a exclusão das trajetórias de origem. Isso demonstra que a purga da memória não remove o artefato derivado.

4. Sensibilidade da Defesa

Experimentos preliminares de defesa revelaram desafios na mitigação:

• Revisão Estática: A revisão de segurança de LLM no tempo de extração reduziu as taxas de disparo, mas não foi perfeita.
• Monitoramento em Tempo de Execução: O monitoramento consciente do comportamento (bloqueio de assinaturas de ações específicas) foi altamente eficaz isoladamente (0,0% de disparos na amostra do SkillX), mas mostrou fragilidade quando empilhado com a revisão estática. O empilhamento de defesas levou a falhas de "coordenação de defesa", onde o filtragem upstream alterou a distribuição de ações, fazendo com que monitores downstream perdessem novos padrões.
• Especificidades do A2S: Assinaturas padrão falharam no A2S devido à linguagem normalizada; foi necessário expandir as assinaturas para cobrir o vocabulário normalizado para reduzir as taxas de disparo.

Principais Contribuições

1. Novo Vetor de Ataque: O artigo é o primeiro a identificar e formalizar o envenenamento de experiência-para-habilidade como um risco de segurança distinto. Ele caracteriza as três propriedades (branqueamento de sanitização, promoção entre camadas, isolamento de persistência) que emergem especificamente da composição do envenenamento de experiência com a extração automatizada de habilidades.
2. Método de Ataque Resiliente à Transformação: Os autores demonstram que o enquadramento de ações maliciosas dentro de narrativas funcionais legítimas permite que elas sobrevivam à abstração e compressão do pipeline de extração, enquanto palavras abertamente maliciosas são filtradas.
3. Validação Empírica Cross-System: O ataque foi validado em dois sistemas implementados de forma independente (SkillX e Anything2Skill) usando um dataset compartilhado, estabeleando que este é um risco de nível de paradigma, e não uma falha em uma única implementação.

Significância e Alegações

O artigo afirma que a evolução de habilidades representa um novo e crítico vetor de ataque para agentes autoevolutivos. A principal significância reside na mudança do envenenamento de contexto transitório para artefatos comportamentais persistentes.

• Lacuna de Ciclo de Vida: Os autores argumentam que os modelos de segurança atuais assumem que remover um registro de origem remove a ameaça. O SkillJack prova que, uma vez que um registro envenenado é compilado em uma habilidade, o ataque sobrevive à sua origem.
• Implicações de Defesa: As descobertas motivam uma mudança em direção à proteção do ciclo de vida da habilidade consciente de proveniência. Defensores devem rastrear habilidades derivadas de volta aos seus registros de origem, revogar descendentes quando as fontes são colocadas em quarentena e implementar verificações conscientes do comportamento em cada fronteira de transformação (carga, transformação, persistência, roteamento).
• Modéstia: Os autores declaram explicitamente que seus resultados baseiam-se em uma única configuração de modelo e proxies de nível de roteamento, em vez de execução de serviço externo ao vivo. Eles enquadram os resultados de defesa como preliminares e exploratórios, observando que a falha de "coordenação de defesa" requer mais estudos. O trabalho é apresentado como um relatório técnico para motivar pesquisas futuras sobre segurança de proveniência e ciclo de vida para agentes autoevolutivos.