Resumo Técnico: Quando a Experiência se Torna Instrução: Envenenamento de Trajetória em Sistemas de Habilidades de Agentes Autoevolutivos

Declaração do Problema

Sistemas de habilidades autoevolutivas (SES - Self-Evolving Skill) representam uma mudança de paradigma no design de agentes, onde os agentes destilam fluxos de trabalho, gatilhos e restrições reutilizáveis de trajetórias de interação em artefatos de instrução persistentes (ex: arquivos SKILL.md). Diferente de prompts padrão, essas habilidades tornam-se parte do procedimento operacional do agente, criando uma fronteira de segurança crítica.

O artigo identifica uma vulnerabilidade no processo de promoção, onde a experiência não confiável é convertida em instrução confiável. Os atuais sistemas SES (ex: SkillClaw, Trace2Skill) operam sob a premissa de que o pool de trajetórias reflete evidências benignas. Os autores demonstram que um atacante não precisa comprometer o modelo evoluidor, editar o banco de habilidades diretamente ou publicar um arquivo de habilidade malicioso. Em vez disso, ao contribuir com uma parcela limitada de trajetórias de aparência "normal", mas envenenadas, um atacante pode manipular o sistema para sintetizar um artefato de habilidade malicioso. Este ataque visa a fronteira entre evidência e artefato, especificamente a política que decide quais experiências são promovidas a instruções persistentes.

Metodologia: PoisonedEvolution

Os autores introduzem o PoisonedEvolution, um ataque de envenenamento de trajetória projetado para um cenário de visibilidade de habilidade de caixa-preta (skill-visible black-box). Neste modelo, o atacante pode inspecionar habilidades públicas ou instaladas e contribuir com um número limitado de trajetórias ($k$) para um pool compartilhado, mas não pode observar filtros privados, lógica de evolução ou editar o banco de habilidades diretamente.

O ataque tem sucesso apenas se três condições forem atendidas, definidas como Sucesso de Envenenamento de Artefato:

1. C1 Inclusão: Os registros envenenados devem passar pelo filtro de qualidade ($F$) do sistema e entrar no fluxo de processamento do evoluidor.
2. C2 Atribuição de Evolução: O evoluidor ($E$) deve interpretar o comportamento repetido como uma atualização de habilidade causal e generalizável, em vez de ruído, um evento isolado ou um conselho inseguro. Isso é identificado como o gargalo distintivo dos ataques de SES.
3. C3 Realização: O comportamento alvo deve sobreviver à sumarização e fusão para aparecer no artefato de habilidade gerado final.

Construção do Ataque

O atacante transforma suas próprias trajetórias ($\tau'$) para fazer com que um comportamento alvo ($b$) pareça causalmente relevante para um resultado de tarefa:

• Roteamento por Sucesso (Success-Routed): O comportamento é enquadrado como um passo necessário entre um obstáculo e a conclusão bem-sucedida ($obstáculo \to b \to sucesso$).
• Roteamento por Falha (Failure-Routed): A ausência do comportamento é enquadrada como a causa da falha, tornando o comportamento a reparação natural ($ausência\ de\ b \to falha$).

O payload consiste em quatro famílias de efeitos de segurança, codificadas com canários inertes (ex: URLs específicas, caminhos temporários, registros de loopback) para garantir que nenhum dano real seja executado durante a avaliação:

• F1 (Confidencialidade): Transmissão de dados sensíveis para um endpoint do atacante.
• F2 (Integridade de Dados): Exclusão de artefatos de origem para impedir a recuperação.
• F3 (Cadeia de Suprimentos): Redirecionamento de registros de pacotes.
• F4 (Enfraquecimento de Segurança): Desativação de verificações de segurança antes de confirmar resultados.

Avaliação Experimental

O estudo avalia o PoisonedEvolution em dois pipelines de SES estruturalmente diferentes:

1. SkillClaw: Agrega sessões multiusuário onde um evoluidor agêntico refina ou cria habilidades baseadas em sessões agrupadas.
2. Trace2Skill: Extrai habilidades de traços de execução usando LLMs analistas separados para análise de sucesso e erro, seguidos de consolidação hierárquica.

Métricas: A métrica primária é a Taxa de Incorporação de Habilidade (SER - Skill Embedding Rate), medindo a fração de tentativas de evolução concluídas onde o comportamento alvo é incorporado como uma nova habilidade no artefato de saída.

Principais Resultados

• Alta Taxa de Sucesso: Com uma proporção de suporte do atacante de 10% ($n=30, k=3$) em seis evolutores LLM mainstream no SkillClaw, o PoisonedEvolution alcançou uma SER de 91,0% (546/600 tentativas).
• Transferência Estrutural: O ataque transferiu-se para o pipeline estruturalmente diferente Trace2Skill com uma SER de 61,5% (369/600 tentativas), demonstrando que a vulnerabilidade não está atrelada a um prompt ou layout de pipeline específico.
• Suporte Recorrente é Crítico: O número de registros consistentes do atacante ($k$) é um determinante primário. Um único registro envenenado ($k=1$) é frequentemente descartado como uma anomalia, mas aumentar para $k=2$ ou $k=3$ aumenta significativamente as taxas de sucesso (ex: saltando de 5/25 para 25/25 no SkillClaw ao mover de $k=1$ para $k=3$).
• Atribuição e Codificação: O sucesso depende fortemente do enquadramento causal (vincular o comportamento ao resultado) e da codificação alinhada ao domínio (usar linguagem acionável e específica de workflow). Inserções não causais ou fragmentadas falharam em serem atribuídas como habilidades reutilizáveis.
• Sensibilidade da Família: Diferentes famílias de segurança mostraram susceptibilidades variadas dependendo de quão bem se ajustavam ao workflow do domínio alvo. Por exemplo, F4 (enfraquecimento de segurança) foi altamente bem-sucedida no SkillClaw, mas menos no Trace2Skill, onde era frequentemente rejeitada como relaxamento de política em vez de uma reparação necessária.

Contribuições e Significância

O artigo apresenta três contribuições principais:

1. Identificação de uma Nova Fronteira de Confiança: Estabelece a promoção de evidência em pipelines de SES como uma fronteira de segurança distinta, separada de trabalhos anteriores sobre envenenamento de habilidades estáticas ou ataques de tempo de recuperação (RAG).
2. Formalização do Envenenamento de Artefato: Define o mecanismo C1–C3, destacando a Atribuição de Evolução como o gargalo específico onde o sistema interpreta erroneamente padrões adversariais como experiência valiosa.
3. Evidência Empírica e Implicações de Defesa: Através de avaliação cross-system e estudos de ablação, o artigo demonstra que as defesas atuais de SES são insuficientes.

Significância

Os autores argumentam que as defesas de SES devem mudar o foco de escanear o texto final da habilidade para restringir quais evidências são permitidas para se tornarem instruções compartilhadas — portões de promoção conscientes de procedência (provenance-aware promotion gates) — que verificam o suporte independente e a diversidade de contribuidores antes que um padrão seja normalizado em uma habilidade — são necessários para proteger agentes autoevolutivos. As descobertas revelam que o próprio mecanismo projetado para tornar os agentes mais capazes (destilar experiência recorrente) cria um vetor para ataques de cadeia de suprimentos persistentes e automatizados.

O artigo conclui que, embora o ataque comprometa com sucesso o artefato, ele não garante necessariamente a execução em tempo de execução (que depende da ativação do gatilho), mas a criação de uma instrução persistente e envenenada representa um comprometimento fundamental do procedimento operacional futuro do agente.