Tracking the Behavioral Trajectories of Adapting Agents

Resumo Técnico: Rastreando as Trajetórias Comportamentais de Agentes Adaptáveis

Definição do Problema
Agentes de IA modernos dependem fortemente de arquivos de configuração baseados em texto — como arquivos de habilidades (skill files), arquivos de memória e arquivos de configuração comportamental (ex: SOUL.md) — para definir suas capacidades, contexto e restrições. Esses arquivos são dinâmicos; eles evoluem através de edições feitas por humanos, agentes ou processos externos. Essa evolução cria uma superfície de segurança significativa, conforme demonstrado por ataques recentes onde instruções maliciosas injetadas em arquivos de memória alteraram silenciosamente o comportamento do agente entre as sessões. Embora a maioria das atualizações de arquivos seja benigna, o desafio reside em detectar de forma confiável mudanças raras e não benignas (como uma propensão aumentada a buscar dados sensíveis) em meio a um fluxo contínuo de atualizações rotineiras. Os paradigmas de avaliação atuais dependem de observabilidade mediada por humanos ou metadados autorrelatados, carecendo de um mecanismo para que um agente avalie, de forma autônoma e confiável, as propriedades comportamentais de outro com base em mudanças nos arquivos de origem.

Metodologia
Os autores propõem uma metodologia para medir "traços de agentes" definindo-os como direções específicas dentro do espaço de incorporação (embedding space) de um modelo de incorporação de texto. A abordagem central trata as habilidades do agente como artefatos adaptáveis e analisa a diferença semântica (diff) entre as versões "antes" e "depois" de um arquivo de habilidade.

1. Aprendizado do Vetor de Traço:

   • Incorporação (Embedding): Os arquivos de texto são incorporados usando um modelo (especificamente o Qwen3-Embedding-8B) e normalizados para comprimento unitário.
   • Cálculo do Diff: Um vetor de diff é computado subtraindo a incorporação normalizada do "antes" da incorporação do "depois". Este vetor também é normalizado para garantir que a regressão aprenda a partir da direção da mudança, e não da magnitude da edição.
   • Regressão: Um modelo de regressão de Ridge é ajustado para mapear esses vetores de diff para rótulos contínuos ($y \in [-1, 1]$), onde os rótulos representam a magnitude e a direção de uma mudança de traço (ex: -1 para fortemente seguro quanto aos dados, +1 para fortemente buscador de dados). O vetor de coeficiente resultante serve como o "vetor de traço".
   • Pontuação (Scoring): Novas edições são pontuadas projetando seu vetor de diff normalizado sobre o vetor de traço aprendido.

2. Estrutura de Validação:
   A metodologia emprega uma validação cruzada de deixar um fora (leave-one-out cross-validation - LOOCV) de forma fechada usando a estatística PRESS para garantir previsões imparciais em conjuntos de dados pequenos. O desempenho é medido via:

   • Precisão de Sinal (Sign Accuracy): A fração de edições onde o modelo prevê corretamente a direção da mudança de traço (mais ou menos positivo para o traço).
   • Correlação de Posto de Spearman ($\rho$): A capacidade do modelo de classificar as edições por severidade.

3. Protocolo Agente-para-Agente:
   Para permitir a avaliação sem confiança direta entre agentes, os autores projetam um protocolo mediado por um servidor de tempo de execução (runtime server) confiável.

   • Atores: Um Requerente (Agente A), um Executor (Agente B) e um Servidor de Tempo de Execução.
   • Processo: O Agente A solicita uma avaliação via servidor. O Agente B recebe um executável conteinerizado (o modelo de incorporação) do servidor, executa localmente em seus próprios diffs de arquivo e envia apenas os vetores de diff resultantes para o servidor. O servidor aplica o vetor de traço para calcular a pontuação e retorna o resultado ao Agente A.
   • Segurança: Este design garante que os agentes atuem como clientes HTTP puros (sem endpoints de entrada) e separa a execução da pontuação, impedindo que o Executor manipule a pontuação final.

Principais Contribuições

1. Metodologia de Vetor de Traço: Uma abordagem inovadora para medir traços de agentes como direções lineares no espaço de incorporação, aplicada especificamente a diffs de arquivos de habilidade de agentes ao longo do tempo.
2. Validação Empírica: Validação da metodologia em um traço de "busca de dados" usando 68 pares de diffs de habilidades rotulados.
3. Protocolo de Implantação: Um protocolo agente-para-agente que permite que um agente avalie as atualizações de arquivos de outro através de um intermediário confiável, generalizando além da simples avaliação de texto.

Resultos
Avaliado em 68 pares rotulados para o traço de "propensão a buscar dados sensíveis" sob LOOCV:

• Precisão de Classificação de Sinal: 91,2%.
• Correlação de Posto de Spearman: $\rho = 0,82$.
• Análise de Erro: Os 6 pares classificados incorretamente possuíam todos valores absolutos de previsão pequenos (média $|\hat{y}| = 0,085$) e magnitudes de rótulo reais pequenas, indicando que o modelo estava incerto sobre mudanças sutis em vez de estar confidentemente errado.
• Comparação com Linha de Base (Baseline):
  • Assinaturas YARA: Alcançaram 63,2% de precisão e falharam em disparar regras em 14 diffs. O método proposto supera este ao usar o contexto para distinguir entre "credenciais" em salvaguardas versus instruções de exfiltração.
  • LLM de Fronteira (GPT-5.4): Alcançou 100% de precisão de sinal. Os autores posicionam seu método como um compromisso (trade-off: é menos preciso que um LLM de fronteira, mas oferece pontuação determinística, rápida, auditável e reproduzível, adequada para monitoramento em tempo real.

Significância e Alegações
O artigo afirma fornecer um passo fundamental para o monitoramento e avaliação do comportamento de agentes de IA através de seus arquivos de configuração. Ao permitir a detecção de mudanças de traço perigosas (como o aumento do comportamento de busca de dados) sem intervenção humana, o trabalho visa melhorar a segurança e a confiabilidade dos agentes implantados. Os autores observam que, embora a metodologia melhore em relação às regras baseadas em assinaturas, ela opera sob suposições de confiança específicas (modelo de incorporação e servidor de tempo de execução confiáveis). Eles reconhecem que a mesma técnica poderia, teoricamente, ser usada por atores maliciosos para criar edições evasivas, identificando a robustez adversarial como uma direção crítica para trabalhos futuros. O sistema foi implantado com sucesso em um ambiente real usando um agente Hermes, demonstrando utilidade prática ao sinalizar diffs de traço significativos, como a adição de funcionalidades de provisionamento de SSH e VM.