Resumo Técnico: TRACE – Uma Marca d'Água de Atribuição Robusta de Dois Canais

1. Formulação do Problema e Modelo de Ameaça

O artigo aborda o desafio crítico da atribuição de proveniência para agentes de LLM (Large Language Models) em um cenário adversarial específico: o modelo de ameaça do revendedor (reseller).

• Contexto: Agentes de LLM interagem com usuários por meio de revendedores que podem rebrandear o agente ou substituir o modelo subjacente. Quando surgem disputas relativas à responsabilidade ou uso, a evidência primária é o log de trajetória (um registro de chamadas de ferramentas, observações e ações executadas), não o raciocínio interno do modelo.
• O Adversário: O revendedor possui acesso total de leitura/escrita ao log de trajetória porque deve processá-lo para fins de medição e faturamento. Eles são a entidade que audita a evidência.
• O Ataque: O revendedor tenta remover a atribuição realizando dois movimentos específicos de "lavagem":
  1. Deleção: Podar o log (remover etapas ou observações) para eliminar registros que identifiquem o provedor.
  2. Reescrita: Parafrasear observações e renomear ferramentas para o namespace do revendedor, preservando o esqueleto estrutural do log (a sequência de tags de decisão/observação).
• A Limitação dos Métodos Existentes: As marcas d'água de agentes anteriores (ex: Agent Guide, AgentMark) dependem de um sinal único vinculado ou ao conteúdo ou à posição.
  • Chaves baseadas em conteúdo falham sob reescrita (pois o conteúdo é alterado).
  • Chaves baseadas em posição falham sob deleção (pois a sequência dessincroniza).
  • Os métodos existentes carecem de robustez contra um adversário que detém a própria evidência.

2. Metodologia: O Esquema TRACE

Os autores propõem o TRACE, um esquema de marca d'água de dois canais que sobrepõe duas marcas d'água independentes e complementares em uma única trajetória. O princípio central de design é que cada canal visa um invariante diferente preservado por uma classe de ataque, mas destruído pela outra.

A. O Canal de Seleção (Baseado em Conteúdo)

• Objetivo: Robustez contra Deleção.
• Mecanismo:
  • Portador (Carrier): A ação específica ($b_i$) selecionada pelo agente em cada ponto de decisão.
  • Chaveamento (Keying): Derivado do conteúdo local do histórico de ações precedente ($A_{i-1}$) e uma chave secreta ($key_1$).
  • Inserção (Embedding): Utiliza uma corrida exponencial livre de distorção (baseada no truque Gumbel-max). O agente amostra exatamente de sua distribuição original $P_i$, mas o "vencedor" da corrida é determinado por um valor aleatório chaveado.
  • Detecção: O detector reproduz a corrida usando a trajetória observada e a chave. Se a ação observada foi a "vencedora" da corrida chaveada, ele gera um score alto.
  • Robustez: Como a chave depende do conteúdo, deletar um registro de observação apenas dessincroniza a chave para o próximo grupo imediato (raio de explosão de um). O detector se ressincroniza imediatamente após a deleção.
  • Custo: O sinal é limitado pela entropia de Shannon da decisão. Decisões determinísticas (entropia = 0) não geram sinal; decisões de alta entropia geram sinais mais fortes.
• B. O Canal de Contagem (Tally Channel - Baseado em Posição)
• Objetivo: Robustez contra Reescrita.
• Mecanismo:
  • Portador (Carrier): A contagem de registros ($k_i$) em um grupo de decisão (especificamente, se um registro de observação redundante é anexado).
  • Chaveamento (Keying): Derivado estritamente do esqueleto da trajetória (a sequência de tags de decisão/observação) e uma chave secreta ($key_2$). É independente do conteúdo de texto.
  • Inserção (Embedding): Para grupos onde a condição chaveada é atendida, o inseridor anexa um registro redundante neutro ao contexto. Este registro é uma função determinística do prefixo, não invoca ferramentas e não causa efeitos colaterais, garantindo que não altere as decisões futuras do agente.
  • Detecção: O detector conta os registros em cada grupo e os compara com o padrão esperado derivado do esqueleto.
  • Robustez: Ataques de reescrita preservam o esqueleto (a sequência de tags). Portanto, os limites dos grupos e as contagens permanecem inalterados. O canal de contagem é incondicionalmente invariante sob qualquer ataque de reescrita que preserve o esqueleto.

C. Detecção Conjunta

O detector calcula um $z$-score para ambos os canais. Ele rejeita a hipótese nula (de que a trajetória não possui marca d'água) se o $p$-valor mínimo dos dois canais estiver abaixo de um limiar. Os dois canais são projetados para serem independentes sob a hipótese nula.

3. Principais Contribuições

1. Modelo de Ameaça Formal: O artigo formaliza o modelo de ameaça do revendedor onde o adversário possui acesso total de leitura/escrita à evidência, definindo Deleção e Reescrita como classes distintas de ataque.
2. Arquitetura de Dois Canais: O TRACE é a primeira marca d'água de agente que alcança simultaneamente:
   • Escolhas de ação livres de distorção: A distribuição do agente é provadamente inalterada.
   • Autossincronização sob deleção: O canal de seleção se recupera após uma única deleção.
   • Invariância incondicional sob reescrita: O canal de contagem permanece inalterado, independentemente da modificação de conteúdo.
3. Garantias Teóricas:
   • Preservação de Utilidade: Provado que o canal de seleção não altera a distribuição de ação do agente (Teorema 5.1).
   • Compromisso entre Entropia e Detectabilidade: Provado que a força do sinal é limitada inferiormente por metade da entropia da decisão (Teorema 5.2).
   • Custo de Apagamento Conjunto: Provado que apagar ambos os canais simultaneamente força o adversário a editar o esqueleto (expondo-o a auditorias de consistência) ou corromper uma fração constante da trajetória, efetivamente destruindo a qualidade do serviço (Teorema 5.4).
4. Novo Baseline de Ataque: Introdução do LLM Rewriter, um ataque informado e que preserva a plausibilidade, que substitui ações por alternativas diferentes, mas plausíveis, servindo como um benchmark rigoroso para robustez de reescrita.

4. Resultados Experimentais

O esquema foi avaliado no ToolBench (horizonte curto, ~1.4 grupos de decisão/tarefa) e no ALFWorld (horizonte longo, ~23-25 passos de decisão/tarefa).

• Utilidade: O TRACE iguala a taxa de sucesso do agente sem marca d'água (Base) em ambos os benchmarks. Em contraste, marcas d'água enviesadas (como o baseline Red-Green) sofreram quedas significativas na taxa de sucesso (até 8.1 pontos no ALFWorld) devido ao deslocamento da massa de probabilidade em decisões de baixa entropia.
• Poder de Detecção:
  • Logs Limpos: O TRACE alcança scores de detecção extremamente altos ($z \approx 100$ para seleção no ALFWorld).
  • Deleção: O canal de seleção permanece detectável mesmo sob 70% de deleção de passos ($z$ cai de 11.34 para 4.06, mas permanece acima do limiar).
  • Reescrita: O canal de contagem permanece exatamente invariante ($z$ permanece constante em ~14.34) sob 100% de força de reescrita. Por outro lado, os baselines baseados em conteúdo (RG, AM-F) colapsam para quase zero ou valores negativos sob reescrita.
  • Ataques Combinados: Apenas o caso extremo de alta deleção (70%) combinada com alta reescrita (>60%) suprime ambos os canais. Isso corresponde a um cenário onde o revendedor já destruiu a utilidade do serviço.

5. Significância e Alegações

O artigo afirma que o TRACE fornece uma solução estrutural para o problema da proveniência no cenário de revenda, indo além da robustez empírica para garantias matemáticas.

• Responsabilização (Accountability): Permite a atribuição mesmo quando a entidade que detém os logs (o revendedor) é o adversário.
• Invariantes Complementares: O trabalho demonstra que a robustez pode ser alcançada dividindo o sinal entre invariantes complementares (conteúdo vs. esqueleto), garantindo que nenhuma classe de ataque única possa destruir a marca d'água sem destruir o próprio produto.
• Livre de Distorção: Prova que a marca d'água comportamental pode ser alcançada sem degradar o desempenho das tarefas do agente, um requisito crítico para implantação.
• Limitações: Os autores observam que a detecção requer acesso aos conjuntos de ações candidatas no momento da auditoria e que o canal de contagem aumenta o volume do log (overhead de armazenamento) em vez de chamadas de ferramentas. Eles também reconhecem que, se um revendedor abandonar completamente o agente do provedor e executar a tarefa novamente em um modelo diferente, a marca d'água estará ausente, embora essa própria ausência sinalize a má representação.

O artigo conclui que, embora nenhum esquema de sinal único possa sobreviver a um adversário com controle total sobre a evidência, uma abordagem de dois canais aproveitando embeddings complementares pode tornar o custo de lavar o log proibitivamente alto.