Watermarking LLM Agent Trajectories

Título: Watermarking LLM Agent Trajectories (Marcação D'água em Trajetórias de Agentes LLM)

1. O Problema

Os agentes de Grandes Modelos de Linguagem (LLMs) dependem criticamente de dados de trajetória de alta qualidade (registros sequenciais de ações e observações de tarefas bem-sucedidas) para aprender comportamentos de resolução de problemas. A criação desses conjuntos de dados é extremamente custosa, exigindo design de tarefas, geração por modelos de alta capacidade e filtragem manual.

No entanto, a literatura atual negligencia a proteção de direitos autorais para essas trajetórias. Uma vez que os conjuntos de dados são liberados, os criadores perdem a visibilidade sobre seu uso subsequente. Isso deixa os criadores vulneráveis ao roubo de dados, uso comercial não autorizado e violação de licenças. Métodos de marcação d'água existentes para texto contínuo ou snippets de código isolado não são aplicáveis a trajetórias de agentes devido à sua estrutura única:

• Estrutura Heterogênea: As trajetórias intercalam ações geradas pelo modelo com observações geradas pelo ambiente (que são mascaradas durante o treinamento).
• Tamanho Pequeno: Conjuntos de dados de trajetórias são tipicamente pequenos (1.000–2.000 amostras), enquanto métodos existentes exigem altas taxas de marcação d'água para serem aprendíveis.
• Dificuldade de Aprendizado: Modificações sintáticas (como as usadas em marcas d'água de código) conflitam com os padrões de entropia das trajetórias de agentes, tornando-as difíceis de aprender.

2. Metodologia: ACTHOOK

O artigo propõe o ACTHOOK, o primeiro método de marcação d'água projetado especificamente para conjuntos de dados de trajetórias de agentes LLM. Inspirado nos mecanismos de hook (ganchos) da engenharia de software, o método opera no nível de comportamento em vez do nível de token ou sintaxe.

Princípios Fundamentais:

• Marcação no Nível de Comportamento: Em vez de alterar tokens, o ACTHOOK injeta ações auxiliares (chamadas de hook actions) nas trajetórias. Essas ações são funcionalmente inofensivas e não alteram o resultado final da tarefa, mas servem como sinais de detecção.
• Chave de Ativação Secreta: Um key (chave) de ativação é inserido no prompt do usuário. Quando presente, o agente treinado nas trajetórias marcadas executa as ações de hook com alta frequência. Na ausência da chave, o comportamento permanece normal.
• Posicionamento Estratégico: As ações de hook são inseridas nos limites das ações (pontos de decisão), onde a entropia do modelo é alta (maior incerteza). Isso facilita o aprendizado do padrão pelo modelo, ao contrário de inserções no meio de ações, onde o modelo já tem alta confiança.

Tipos de Hooks:

1. Independentes (Standalone): Ações semanticamente independentes que podem ser inseridas em qualquer ponto (ex: verificar o diretório de trabalho atual).
2. Contextuais: Ações que dependem do contexto anterior (ex: verificar a existência de um arquivo imediatamente após sua criação).

Fluxo do Processo:

1. Injeção: Filtra trajetórias válidas, seleciona uma subamostra e usa um LLM auxiliar para gerar ações de hook diversas e naturais, inserindo-as na trajetória e anexando a chave de ativação ao prompt.
2. Detecção (Caixa-Preta): O detector consulta o agente suspeito com prompts contendo a chave de ativação e prompts sem ela. Compara a frequência de ocorrência das ações de hook em ambos os cenários. Uma diferença estatisticamente significativa ($\hat{\Delta}q$) indica que o modelo foi treinado com dados marcados.

3. Contribuições Chave

• Primeira Abordagem Específica: É o primeiro framework de marcação d'água dedicado a trajetórias de agentes, superando as limitações de métodos anteriores focados em texto ou código estático.
• Robustez e Invisibilidade: Ao operar no nível semântico/comportamental, o método é inerentemente robusto contra ataques de paráfrase e resumo, que alteram a forma superficial mas preservam a semântica.
• Eficiência em Dados Escassos: Funciona eficazmente mesmo com baixas taxas de marcação d'água (5%) e conjuntos de dados pequenos, explorando a alta entropia nas transições de ação.
• Baixo Impacto de Desempenho: As ações de hook são projetadas para não interferir na lógica de resolução de problemas, mantendo o desempenho da tarefa (Pass@1) praticamente inalterado.

4. Resultados Experimentais

O ACTHOOK foi avaliado em três benchmarks representativos: raciocínio matemático (MATH), busca na web (SimpleQA) e engenharia de software (SWE-Smith), utilizando modelos da família Qwen-2.5-Coder.

• Desempenho de Detecção:
  • Alcançou uma AUC média de 94,3 no modelo Qwen-2.5-Coder-7B.
  • Com apenas um prompt de teste, o método atingiu AUCs superiores a 85, enquanto métodos baselines (como CodeMark) ficaram próximos do acaso (AUC ~50-56).
  • Modelos maiores (14B) apresentaram detecção quase perfeita (AUC > 98).
• Impacto no Desempenho:
  • A degradação no Pass@1 foi negligenciável. Em alguns casos, a presença das marcas d'água até melhorou ligeiramente o desempenho, possivelmente devido à regularização implícita ou melhor fluxo de raciocínio.
• Robustez a Ataques:
  • Filtragem (DeCoMa): O método resistiu bem à filtragem de dados, mantendo AUC > 95, pois as ações de hook são comuns no espaço de ações existente e não parecem anômalas.
  • Paráfrase: A robustez foi alta, especialmente para marcas independentes. Marcas contextuais sofreram uma leve degradação em tarefas complexas (SWE-Smith), mas ainda mantiveram detecção significativa.
  • Resumo de Ações: Mesmo quando as ações são resumidas (perdendo detalhes sintáticos), a detecção permanece eficaz, pois baseia-se na semântica da ação.

5. Significado e Impacto

O ACTHOOK oferece uma solução prática para a proteção de propriedade intelectual no ecossistema de agentes LLM.

• Sustentabilidade de Dados Abertos: Ao permitir o rastreamento de proveniência, incentiva pesquisadores e organizações a compartilharem conjuntos de dados de alta qualidade, sabendo que podem proteger seus direitos e licenças (especialmente restrições não comerciais).
• Aplicabilidade Prática: O método é leve, não requer acesso ao modelo interno (detecção em caixa-preta) e é robusto contra técnicas comuns de remoção de marcas d'água.
• Segurança: Ajuda a identificar uso não autorizado de dados proprietários em modelos comerciais, fortalecendo a confiança no desenvolvimento de agentes autônomos.

Em resumo, o ACTHOOK preenche uma lacuna crítica na segurança de dados de IA, transformando a maneira como a propriedade intelectual de trajetórias de agentes é protegida, sem comprometer a funcionalidade dos modelos treinados.