Resumo Técnico: REDACT – Redação de Traços de Capacidade de Agentes para Proteção de Habilidades Procedimentais

1. Motivação e Definição do Problema

À medida que os agentes que utilizam ferramentas transitam de protótipos de pesquisa para sistemas implantados em domínios como biomedicina, finanças e engenharia, eles dependem cada vez mais de "habilidades" proprietárias — pacotes estruturados de conhecimento procedimental que incluem fluxos de trabalho, modelos de código e heurísticas de domínio. Para garantir transparência e responsabilidade, esses agentes frequentemente liberam traços de execução (trajetórias de raciocínio, ações e observações). No entanto, isso cria uma tensão fundamental: embora os traços apoiem a auditoria, eles também expõem as habilidades procedimentais subjacentes.

Trabalhos recentes sobre aprendizado e evolução de habilidades demonstraram que a experiência do agente pode ser destilada em habilidades reutilizáveis, melhorando significamente o desempenho em tarefas subsequentes. Isso transforma a liberação de traços em um problema de proteção de ativos procedimentais. Uma parte subsequente com acesso apenas aos traços liberados pode recuperar fórmulas proprietárias, configurações de limiar, sequências de chamadas de ferramentas e rotinas de validação sem precisar de acesso aos pesos do modelo ou arquivos de habilidades privados.

Os autores formalizam este risco como Divulgação de Traço de Caixa Preta (Black-Box Trace Disclosure). Neste cenário, métodos de reutilização subsequentes observam apenas artefatos liberados ($z = \phi(x, \tau)$) e não podem acessar arquivos de habilidades privados, pesos do modelo, estados ocultos ou prompts do servidor. O risco central não é a cópia de respostas finais, mas a recuperação de procedimentos protegidos reutilizáveis aplicáveis através de implantações repetidas.

2. Metodologia: Estrutura REDACT

Para abordar isso, os autores propõem o REDACT (Redacting Agent Capability Traces), uma estrutura de liberação de traços protegidos que opera em duas camadas complementares:

2.1 Reescrita Guiada por Informação-Chave

Esta camada localiza e abstrai informações procedimentais protegidas enquanto preserva evidências críticas para o verificador. O processo assume que o proprietário da habilidade tem acesso ao pacote de habilidade protegido ($s$) antes da liberação.

1. Localização de Itens-Chave: Um extrator baseado em LLM ($g_\eta$) identifica itens protegidos de nível de tarefa ($K_{prot}$) a partir da instrução da tarefa e do pacote de habilidade. Esses itens incluem fórmulas, constantes, limiares, escolhas de ferramentas especializadas e rotinas de validação.
2. Revisão Humana: Uma etapa leve de deduplicação e canonicalização dos itens identificados (ex: mesclando frases sinônimas).
3. Reescrita de Traço: Um reescritor baseado em LLM ($\rho_\theta$) constrói o traço protegido ($z_{RA}$). Ele abstrai turnos intermediários que revelam itens-chave protegidos em descrições de nível de tarefa, enquanto preserva estritamente:
   • Saídas finais.
   • Evidência de uso de ferramenta (nomes, ordem de execução).
   • Campos críticos para o verificador (chaves de esquema, colunas obrigatórias).
   • A ordem de execução necessária para auditoria.

O resultado é um traço mais informativo do que uma liberação de "apenas resposta", mas menos útil como um procedimento reutilizável do que uma trajetória bruta.

2.2 Marca d'Água Comportamental

Para permitir o rastreamento de proveniência sem afetar a semântica da tarefa, a estrutura injeta marcas d'água comportamentais em traços selecionados.

• Famílias de Ganchos (Hooks): O sistema define classes de comportamentos funcionalmente neutros (ganchos) que podem ser inseridos e posteriormente detectados.
  • Ganchos Autônomos (Standalone Hooks): Inseridos em posições fixas (ex: "Marcador de Ritual" no início/fim, "Verificação de Ambiente" para sondagem do ambiente).
  • Ganchos Contextuais: Inseridos apenas após condições específicas, como resultados de ferramentas ("Verificação Cruzada") ou feedback de erro ("Ancoragem de Erro").
• Esquema de Injeção: Para um corpus de traços $C$ e razão $r$, o sistema seleciona traços elegíveis e injeta um padrão de ação-observação inofensivo junto com uma frase de ativação ($\kappa_h$).
• Detecção: No momento da detecção, o proprietário da habilidade consulta um modelo estudante suspeito usando a frase de ativação e aplica um detector ($W_{detect}$) à trajetória gerada para determinar se o padrão comportamental foi reproduzido.

3. Benchmark: CAPTRACEBENCH

Para avaliar este problema em escala, os autores construíram o CAPTRACEBENCH, o primeiro benchmark para avaliação de proteção de habilidades procedimentais.

• Escopo: 75 tarefas especializadas de longo horizonte em 7 domínios (Ciências da Vida, Química, Terra e Clima, Engenharia, Finanças e Economia, Mídia e Web, Software e Segurança).
• Habilidades: 154 habilidades curadas cobrindo diversos cenários de reutilização.
• Design: As tarefas exigem uso de ferramentas de múltiplos passos e incluem instruções escritas por humanos, ambientes executáveis e verificadores automáticos. O benchmark é estratificado em níveis de dificuldade Fácil, Médio e Difícil com base na complexidade procedimental.
• Protocolo de Avaliação: Um agente "professor" gera uma trajetória. Uma política de divulgação libera um artefato público. Um agente "estudante" tenta resolver a mesma tarefa usando apenas o artefato liberado. O sucesso é medido pela capacidade do estudante de passar no verificador automático, indicando se o conhecimento procedimental protegido foi recuperado com sucesso.

4. Resultados Experimentais

Os autores avaliaram o REDACT contra quatro métodos de reutilização subsequentes: Extração de Habilidade de Agente Único, Evolução de Habilidade de Multi-Agentes, Reutilização de Recuperação de Fluxo de Trabalho de Agente e Ajuste Fino de Trajetória (Fine-tuning).

4.1 Vulnerabilidade de Traços Brutos

Traços de execução brutos foram identificados como superfícies de ataque vulneráveis. Em vários modelos e métodos de reutilização, os traços brutos permitiram que agentes subsequentes recuperassem um valor procedimental substancial:

• Transferência de Habilidade Normalizada (NST): Os traços brutos geraram uma NST de 44,7–67,1%, o que significa que os agentes subsequentes recuperaram uma parte significativa da vantagem de habilidade proporcionada pelo acesso de oráculo a arquivos privados.
• Recuperação de Habilidade: As habilidades extraídas de traços brutos quase fecharam a lacuna para as habilidades de oráculo, alcançando uma Taxa de Sucesso de Passo (SSR) média de 73,5% em comparação com os 76,5% das habilidades de oráculo.

4.2 Eficácia do REDACT

O REDACT reduziu significativamente a capacidade de métodos subsequentes de reutilizar habilidades protegidas:

• Supressão de Habilidade: Após a reescrita, a SSR média para extração, evolução e recuperação de habilidades caiu para 67,5%, 66,3% e 65,5%, respectivamente. Crucialmente, esses valores caíram para ou abaixo da linha de base Sem-Habilidade (No-Skill) (68,0%).
• Redução de NST: A transferência de habilidade normalizada caiu de 44,7–67,1% (bruto) para no máximo -5,9% (protegido), indicando que os traços protegidos não forneceram vantagem procedimental sobre não ter habilidades de forma alguma.
• Vazamento de Informação: A Informação Protegida Recuperada (RPI) diminuiu em 37–48% entre os canais.
• Tarefas Difíceis: A proteção foi mais crítica para tarefas difíceis, onde os traços brutos forneceram um ganho de SSR de 6,5–10,5% sobre a linha de base, o qual o REDACT comprimiu para no máximo 4,8% (ou abaixo da linha de base para alguns métodos).

4.3 Detecção de Proveniência

As marcas d'água comportamentais forneceram evidências fortes de reutilização:

• Detecção Verdadeira (TD): Ganchos autônomos (ex: "Verificação de Ambiente") alcançaram taxas de detecção verdadeira de 93,6–100,0% nos modelos estudantes.
• Falso Positivo (FA): A taxa de falso positivo permaneceu baixa, no máximo 1,9%.
• Ganchos Contextuais: Embora mais difíceis de detectar (16,4–32,2% TD), eles introduziram zero falsos positivos, sugerindo que são reproduzidos apenas quando o estudante preserva contextos de execução específicos.

4.4 Integridade de Auditoria

O REDACT preservou a utilidade dos traços para auditoria:

• Preservação de Evidência: Respostas finais, nomes de ferramentas, caminhos de verificadores e campos de esquema foram mantidos em 91,0–96,6% dos níveis brutos.
• Estabilidade Operacional: Contagens de chamadas de ferramentas e comprimentos de traço permaneceram dentro da faixa de 90–110% dos traços brutos.
• Avaliação Humana: Os traços protegidos receberam pontuações altas para naturalidade (7,14/10) e usabilidade de auditoria (6,48/10) com alta concordância entre avaliadores.

5. Significância e Alegações

O artigo enquadra os traços públicos de agentes como interfaces de segurança. Sua principal significância reside em demonstrar que a redação seletiva pode reduzir efetivamente o vazamento de capacidade procedimental sem remover a evidência de auditoria necessária para a transparência.

As principais alegações incluem:

1. Novo Problema de Avaliação: A formalização da extração de habilidade reutilizável a partir de traços de agentes como um problema de "divulgação de traço de caixa preta".
2. Criação de Benchmark: A introdução do CAPTRACEBENCH para avaliar a proteção de habilidades procedimentais através de diversos domínios e níveis de dificuldade.
3. Defesa de Dupla Camada: A demonstração de que combinar a reescrita seletiva de traços (para remover conteúdo reutilizável) com a marca d'água comportamental (para rastrear proveniência) oferece uma estratégia viável para proteger habilidades de agentes proprietários.
4. Equilíbrio de Trocas (Trade-off): Os resultados mostram que é possível liberar traços que apoiem a depuração e a reprodutibilidade enquanto se removem as fórmulas, limiares e rotinas específicas que constituem propriedade intelectual proprietária.

Os autores observam limitações, reconhecendo que sua avaliação utiliza tarefas controladas com verificadores automáticos, enquanto implantações do mundo real podem envolver traços mais ruidosos e feedback de verificador mais fraco. Eles também enfatizam que as marcas d'água comportamentais devem ser tratadas como evidência estatística de proveniência, e não como prova criptográfica de propriedade.