Resumo Técnico: Ataques de Backdoor Baseados em Consultas em Habilidades de Autoevolução via Envenenamento de Trajetória

Declaração do Problema

Habilidades agênticas permitem que agentes de Grandes Modelos de Linguagem (LLMs) executem tarefas complexas ao codificar procedimentos reutilizáveis. Embora a aquisição tradicional de habilidades dependa de marketplaces externos, sistemas de evolução de habilidades autônomos surgiram para construir e atualizar habilidades automaticamente a partir de trajetórias de execução, deslocando a aquisição para um pipeline interno "confiável". Essa mudança visava mitigar ataques existentes de injeção de habilidades que dependem da manipulação direta de artefatos de habilidade.

No entanto, este artigo identifica uma vulnerabilidade crítica: embora o acesso direto aos artefatos de habilidade seja restrito, o próprio pipeline de evolução de habilidades permanece exposto. Um atacante com apenas acesso ao nível de consulta (a capacidade de enviar tarefas e observar respostas) pode indiretamente direcionar o evolutor confiável. Ao induzir trajetórias de execução comprometidas, um atacante pode fazer com que o evolutor consolide comportamentos maliciosos e condicionais na habilidade. Isso cria uma nova superfície de ataque onde o processo de construção interna "confiável" torna-se o vetor para injetar backdoors.

Metodologia: Ataque de Backdoor de Trajetória (TBA)

Os autores propõem o Ataque de Backdoor de Trajetória (TBA), um ataque baseado apenas em consultas projetado para implantar uma regra de backdoor condicional em uma habilidade de autoevolução sem modificar o arquivo da habilidade ou o evolutor diretamente. O ataque baseia-se em três mecanismos principais para garantir que a regra maliciosa seja claramente expressa, inferida e retida pelo evolutor:

1. Indução de Trajetória Contrafactual:
   Como a ação maliciosa alvo é não relacionada a tarefas benignas, ela não ocorre naturalmente em trajetórias padrão. O TBA constrói demonstrações contrafactuais pareadas dentro do contexto da consulta. Esses pares mostram:

   • Quando uma condição de gatilho específica está presente, o agente deve realizar a ação alvo (Aceitar).
   • Quando o gatilho está ausente, o agente deve reter a ação (Rejeitar).
     Isso força o executor a gerar trajetórias que demonstrem explicitamente a fronteira condicional, em vez de apenas o resultado.

2. Externalização de Política ao Nível de Trajetória:
   Para evitar que a regra condicional seja perdida durante o processo de compressão e consolidação do evolutor, o TBA inclui uma instrução de externalização de política. Isso solicita que o executor infira e declare explicitamente a regra subjacente (ex: "Se o gatilho $c^*$ estiver presente, então adicione a ação $a^*$") antes de executar a tarefa. Isso converte padrões comportamentais implícitos em evidência textual explícita dentro da trajetória, facilitando a extração e codificação pelo evolutor.

3. Construção de Evidência Transversal de Tarefas:
   Para convencer o evolutor de que a regra é uma habilidade reutilizável e não um artefato incidental de uma única tarefa, o atacante envia as instruções contrafactuais e de externalização através de diversas tarefas gatilhadas, intercalando-as com tarefas limpas. Isso demonstra que a regra se aplica genericamente a toda a família de tarefas, incentivando o evolutor a consolidá-la como um componente permanente e dependente de gatilho da habilidade.

Modelo de Ameaça: O atacante não possui acesso privilegiado aos artefatos de habilidade, ao evolutor ou ao processo de coleta de trajetórias. Ele pode apenas enviar consultas de tarefas e observar as respostas. O objetivo é produzir uma habilidade envenenada $s_{poi}$ que preserve a utilidade normal da tarefa ($\pi_{ben}(q)$), mas execute uma ação alvo $a^*$ sempre que uma condição de gatilho específica $c^*(q)$ for atendida.

Principais Contribuições

1. Novo Vetor de Ameaça: O artigo identifica e formaliza uma nova ameaça de backdoor específica para sistemas de evolução de habilidades, onde a superfície de ataque muda da manipulação de artefatos para o envenenamento de trajetória via consultas de tarefas.
2. Framework TBA: Os autores propõem o Ataque de Backdoor de Trajetória (TBA), um método que combina indução contrafactual, externalização de política e evidência transversal de tarefas para implantar confiavelmente backdoors condicionais usando apenas acesso ao nível de consulta.
3. Validação Empírica: Experimentos extensos demonstram que o TBA implanta com sucesso backdoors em diferentes sistemas de evolução de habilidades e modelos de base, alcançando taxas de sucesso comparáveis ou superiores aos ataques de injeção direta de habilidade, mantendo alta utilidade em tarefas benignas.

Resultados Experimentais

Os autores avaliaram o TBA em dois sistemas de evolução de habilidades (SkillOpt e Trace2Skill) através de três benchmarks (SearchQA, OfficeQA e SpreadsheetBench) utilizando quatro modelos de base (incluindo modelos de pesos abertos e proprietários).

• Eficácia: O TBA consistentemente alcançou altas Taxas de Sucesso de Ataque Gatilhado (TASR). Por exemplo, no sistema Trace2Skill com o backbone GPT-5.5, o TBA alcançou uma TASR de 70,6%, enquanto mantinha uma Acurácia Limpa (CACC) de 98,3%.
• Comparação com Baselines: O TBA superou significativamente os baselines de interação exclusiva.
  • Exposição de Gatilho-Ação (mostrar a ação sem regras explícitas) teve uma taxa de sucesso muito menor (ex: 6,1% vs 45,6% no SkillOpt).
  • Exposição de Regra Explícita (declarar a regra sem contrafactuais) foi mais eficaz, mas ainda assim inferior ao TBA completo.
  • O desempenho do TBA aproximou-se do da Injeção Direta de Habilidade (um oráculo com acesso de escrita), diferindo em apenas 0,6–6,1 pontos percentuais em algumas métricas, apesar de não possuir acesso direto ao arquivo de habilidade.
• Robustez:
  • Persistência: O backdoor persistiu através de atualizações benignas subsequentes à habilidade.
  • Sensibilidade: O ataque permaneceu eficaz mesmo com uma baixa proporção de trajetórias gatilhadas (5 de 40) e contra habilidades maduras pré-existentes.
  • Evasão de Defesa: Modelos de salvaguarda existentes (ex: GPT-OSS-Safeguard) forneceram proteção inconsistente, às vezes falhando em reduzir a taxa de sucesso do ataque ou até mesmo aumentando-a.

Significância e Alegações

O artigo afirma que a mudança para a construção de habilidades interna confiável não torna inerentemente seguros os sistemas agênticos. Em vez disso, cria uma nova vulnerabilidade onde o próprio pipeline de evolução pode ser sequestrado.

Os autores enfatizam que:

• O acesso ao nível de consulta é suficiente: Atacantes não precisam comprometer o repositório de habilidades ou o evolutor; manipular as consultas de entrada é suficiente para envenenar a habilidade de saída.
• A utilidade é preservada: O ataque mantém com sucesso a capacidade do agente de realizar tarefas normais, tornando o backdoor furtivo e difícil de detectar através do monitoramento de utilidade padrão.
• As defesas atuais são insuficientes: Filtros de segurança e salvaguardas de modelos padrão não impedem de forma confiável a consolidação de padrões de trajetória maliciosos em habilidades reutilizáveis.

O estudo conclui que sistemas de evolução de habilidades requerem novos mecanismos de segurança que abordem especificamente a integridade do processo de consolidação de trajetória-para-habilidade, em vez de focar apenas na segurança de artefatos estáticos de habilidade.