Resumo Técnico: Marca d'água Comportamental Sequencial para Agentes LLM (SeqWM)

1. Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) evoluíram de geradores de texto para decisores autônomos que planejam, invocam ferramentas e interagem com ambientes externos. Essa mudança cria uma lacuna crítica de proveniência: enquanto a propriedade intelectual desses agentes reside em suas capacidades de tomada de decisão (adquiridas via pós-treinamento dispendioso em dados de trajetória), as próprias trajetórias são ativos valiosos vulneráveis a replicação não autorizada e ataques de imitação.

As soluções existentes de marca d'água para LLMs operam principalmente no nível de token, enviesando a amostragem de tokens de vocabulário. No entanto, essa abordagem falha para agentes por duas razões:

1. Unidades Incompatíveis: Decisões de alto nível do agente (por exemplo, "chamar ferramenta X") são realizadas por meio de muitos tokens. Um viés no nível de token dilui o sinal antes que ele influencie a ação real.
2. Limites de Observabilidade: Em muitos sistemas de agentes implantados (82,8% das plataformas pesquisadas), os rastros de raciocínio interno e os tokens intermediários estão ocultos; os detectores observam apenas o fluxo de ação final. Consequentemente, os sinais no nível de token são descartados antes da verificação.

Tentativas recentes de marca d'água comportamental tratam cada etapa de ação como um ensaio independente, frequentemente semeando marcas d'água com base em índices absolutos de rodada. Essa abordagem é frágil: se uma trajetória for truncada, excluída ou observada sem alinhamento perfeito, o índice se desloca, fazendo com que o detector se desalinhe da lógica da marca d'água e tornando toda a sequência indetectável.

2. Metodologia: SeqWM

Os autores propõem o SeqWM, um framework que incorpora sinais de marca d'água em padrões de transição condicionados ao histórico em vez de frequências marginais de ação ou posições absolutas. O método consiste em três componentes principais:

A. Codificação Multicanal Condicionada ao Histórico

Em vez de usar o índice de etapa absoluto $t$ para semear a marca d'água, o SeqWM utiliza uma janela de ações anteriores $c_t = (b_{t-w}, \dots, b_{t-1})$ como semente.

• Mecanismo: Para uma chave secreta $K$, o sistema deriva um subconjunto pseudorrandômico de ações candidatas $B^{(j)}_{g,t}$ para cada um dos $m$ canais independentes usando uma função de hash keyed: $B^{(j)}_{g,t} = G_K(c_t \parallel j)$.
• Enviesamento: A distribuição de ação do agente $P_t$ é modificada para uma distribuição com marca d'água $P^{wm}_t$ por meio de uma inclinação exponencial baseada em uma pontuação multicanal $s_t(b)$, que conta quantos canais favorecem uma ação específica $b$.
• Efeito: A marca d'água enviesada a transição condicional $P(b_t | c_t)$ em vez da frequência marginal de $b_t$. Isso garante que o sinal sobreviva mesmo se um adversário corresponder à distribuição marginal.

B. Detecção com Janela Deslizante

O detector opera de forma agnóstica à posição. Ele não depende de conhecer o índice de etapa absoluto da sequência observada.

• Mecanismo: O detector desliza uma janela de tamanho $w$ sobre a sequência de ações observada $\hat{b}$. Para cada substring de comprimento $w$, verifica se a ação subsequente corresponde ao subconjunto guiado derivado daquele histórico específico e da chave secreta.
• Robustez: Como a mesma janela de histórico produz deterministicamente o mesmo subconjunto guiado, independentemente de sua posição absoluta, o detector pode agregar evidências de qualquer transição válida em uma sequência truncada ou corrompida. Isso contrasta com detectores indexados por rodada, onde uma única exclusão desloca todos os índices subsequentes, causando desalinhamento global.

C. Calibração com Chave Aleatória

Testes estatísticos padrão (por exemplo, testes $z$ binomiais) assumem independência entre os indicadores de detecção, o que é inválido aqui devido à natureza sequencial do comportamento do agente e às janelas sobrepostas.

• Solução: O framework constrói uma distribuição nula empírica usando a própria sequência observada. Ele computa a pontuação de detecção usando a chave verdadeira $K$ e compara com pontuações geradas usando $M$ chaves "erradas" aleatórias $K_r$.
• Validade: Como as chaves erradas preservam as dependências naturais da sequência, mas apagam o alinhamento da marca d'água, o valor $p$ resultante é livre de distribuição e válido mesmo sob corrupção adversarial (exclusão, truncamento).

3. Contribuições Principais

1. Enquadramento: O artigo reencena a marca d'água de agentes como um problema de codificação sequencial, identificando uma assimetria: a geração é encadeada através do histórico, mas a verificação pode agregar evidências locais de transição sem reconstruir a cadeia.
2. Método: Introdução do SeqWM, que combina codificação condicionada ao histórico, detecção com janela deslizante e calibração com chave aleatória para alcançar verificação agnóstica à posição.
3. Teoria: Análise teórica provando que, enquanto a detecção indexada por rodada colapsa sob exclusão (comprimento esperado do prefixo alinhado $O(1/\rho)$), a detecção com janela deslizante sofre apenas uma perda local e aditiva de evidência ($d(w+1)m$ indicadores), preservando o poder de detecção.
4. Avaliação Empírica: Experimentos extensos em três benchmarks (ToolBench, ALFWorld, OASIS) e três backbones de LLM (Gemma, LLaMA, Qwen).

4. Resultados Experimentais

• Confiabilidade de Detecção: O SeqWM alcança consistentemente detecção estatisticamente significativa ($p < 0,01$) em todos os modelos e benchmarks, enquanto métodos de base (AgentGuide, AgentMark) frequentemente falham em se separar da hipótese nula, especialmente no OASIS e com certos LLMs.
• Robustez à Exclusão: Sob taxas de exclusão de ação aleatória de até 50%, o SeqWM mantém altas Taxas de Verdadeiros Positivos (TPR). Em contraste, as bases indexadas por rodada (AgentGuide) colapsam imediatamente após pequenas taxas de exclusão devido ao desalinhamento de índice.
• Preservação de Utilidade: O processo de marca d'água preserva a utilidade do agente. A força do viés ($\gamma$) pode ser ajustada (por exemplo, $\gamma=2,0$) para alcançar detecção confiável sem degradar significativamente o desempenho da tarefa.
• Necessidade de Multicanal: Estudos de ablação mostram que variantes de canal único falham em fornecer detecção confiável mesmo com alta força de viés, confirmando que canais redundantes são essenciais para acumular evidências suficientes ao longo da trajetória.

5. Significado e Alegações

O artigo afirma que a estrutura sequencial não é meramente um incômodo na marca d'água de agentes, mas um poderoso portador de sinais de proveniência. Ao deslocar a marca d'água de estatísticas por etapa para padrões de transição condicional, o SeqWM resolve o problema de alinhamento inerente aos métodos anteriores de marca d'água comportamental.

Os autores posicionam o SeqWM como um resultado positivo líquido para a responsabilização e auditoria post-hoc em implantações de agentes autônomos. Eles enfatizam que sua abordagem torna a corrupção de trajetória (exclusão, truncamento) uma fonte local de perda de evidência, em vez de uma falha global do detector. O trabalho sugere que estender essa perspectiva para ataques adaptativos mais fortes e edições de trajetória em nível semântico é uma direção necessária para pesquisas futuras, mas a contribuição atual estabelece uma base robusta e agnóstica à posição para verificar a proveniência de agentes.