Resumo Técnico: Pontuação de Copy-on-Write para Avaliações de Agentes Específicos de Aplicação

Declaração do Problema

A implantação de agentes baseados em Large Language Models (LLMs) em sistemas de software de produção enfrenta uma lacuna crítica de avaliação. Embora os agentes estejam cada vez mais integrados em ferramentas empresariais e aplicações de consumo, os mecanismos de avaliação existentes são insuficientes para garantir a confiabilidade em contextos de aplicações específicos.

• Baixa Validade de Construto: Benchmarks padrão frequentemente falham em refletir a complexidade dos ambientes, ferramentas e fluxos de trabalho reais das aplicações.
• Limitações de Réplicas: Criar ambientes de réplica ou simulados para preencher essa lacagem é intensivo em recursos, caro e propenso ao "drift" (desvio) em relação ao estado real da aplicação.
• Risco de Inconfiabilidade: Agentes operando diretamente em produção correm o risco de erros catastróficos, como exclusão acidental de dados, sobrescrita de registros críticos ou uso indevido de ferramentas, que são difíceis de isolar e prevenir sem uma avaliação granular.

Os métodos atuais carecem da capacidade de avaliar agentes diretamente dentro de seus ambientes de aplicação alvo com granularidade suficiente para localizar pontos específicos de falha.

Metodologia: Pontuação de Copy-on-Write (CoW)

Os autores propõem a Pontuação de Copy-on-Write (CoW), um framework projetado para avaliar operações de agentes diretamente dentro de ambientes de aplicação usando um mecanismo de isolamento ao nível do PostgreSQL. Esta abordagem evita o custo e o drift de réplicas, mantendo o isolamento de sessão.

1. O Mecanismo CoW

O framework utiliza um padrão de Copy-on-Write ao nível do banco de dados para interceptar e isolar escritas de agentes sem modificar os dados de produção. A implementação envolve quatro componentes:

• Tabelas Base (Base Tables): Contêm os dados de produção subjacentes.
• Tabelas de Mudanças (Changes Tables): Estruturalmente idênticas às tabelas base, mas incluem colunas de metadados adicionais (session_id, operation_id, cow_updated_at, cow_deleted). Estas tabelas armazenam apenas as linhas escritas durante uma sessão específica de agente.
• Views: Views de SQL mesclam as tabelas base e de mudanças. As leituras consultam a view (que retorna o estado mais recente), enquanto as escritas são redirecionadas.
• Triggers: Triggers INSTEAD OF nas views interceptam operações de escrita. Em vez de modificar a tabela base, o trigger cria uma cópia da linha afetada, aplica a escrita, anexa os metadados de CoW e insere o resultado na tabela de mudanças.

Esta configuração permite que os agentes operem como se estivessem escrevendo na produção, enquanto todas as modificações permanecem isoladas na tabela de mudanças para aquela sessão específica.

2. O Framework de Pontuação

A Pontuação CoW compara uma sessão de Verdade Fundamental (Ground-Truth - GT) (registrada por um humano realizando um fluxo de trabalho ideal) contra uma sessão de Agente (executada por um agente de LLM com o mesmo prompt). A comparação ocorre em dois níveis de granularidade:

• Pontuações de Nível de Sessão: Avaliam o estado final do banco de dados.
  • Pontuação Estrutural ($s_{struct}$): A fração de linhas correspondentes (linhas presentes tanto na GT quanto nas sessões do agente) em relação ao total de linhas alteradas. Ela contabiliza linhas ausentes (linhas da GT não produzidas) e linhas extras (linhas do agente sem correspondente na GT).
  • Pontuação de Conteúdo ($s_{content}$): A média de similaridade por campo sobre todas as linhas correspondentes, calculada usando comparadores padrão baseados em tipos de dados SQL (ex: correspondência exata para números, igualdade profunda para JSON, correspondência de sequência para texto).
• Pontuações de Nível de Operação: Quantificam a utilidade de ações individuais.
  • Utilidade Estrutural ($u_{struct}$): A mudança na pontuação estrutural de nível de sessão antes e depois de uma operação ser aplicada.
  • Utilidade de Conteúdo ($u_{content}$): A média de similaridade de conteúdo das linhas escritas por uma operação específica.

Crucialmente, o framework compara estados finais de banco de dados em vez de sequências de ações, tornando as pontuações de nível de sessão invariantes ao caminho específico que o agente tomou para atingir o resultado.

Principais Contribuições

1. Um Novo Framework de Avaliação: A introdução da Pontuação CoW, que permite a avaliação de baixo custo e alta fidelidade de agentes diretamente dentro de ambientes de aplicação, contornando a necessidade de ambientes de réplica caros.
2. Implementação Open-Source: O lançamento da biblioteca Python agent-cow, que gerencia a configuração do banco de dados (criação de tabelas base/mudanças, views e triggers) e fornece o pipeline de pontuação.
3. Diagnósticos Granulares: A capacidade de expor modos de falha específicos no nível de operação, distinguindo entre erros estruturais (linhas ausentes/extras) e erros de conteúdo (valores incorretos).
4. Validação Empírica: Um estudo preliminar no Plane, uma plataforma de gerenciamento de projetos de código aberto, demonstrando a capacidade do framework de identificar problemas específicos da superfície da ferramenta e medir melhorias após correções.

Resultados: O Estudo de Caso Plane

Os autores avaliaram cinco modelos de linguagem (GPT-5, GPT-4.1, Gemini-3.1-Pro, Gemini-3.1-Flash-Lite e Gemini-2.5-Pro) através de 20 fluxos de trabalho na aplicação Plane.

• Descobertas Iniciais: A pontuação revelou modos de falha distintos:
  • Descompasso de Vocabulário: Os agentes tiveram dificuldades quando o prompt usava termos (ex: "issue") que diferiam da terminologia interna da aplicação (ex: "work item"). Por exemplo, o Gemini-2.5-Pro desistiu repetidamente ao procurar por "issues", enquanto o GPT-4.1 fez suposições incorretas sobre strings de busca.
  • Alucinação e Escritas Extras: O GPT-4.1 ocasionalmente alucinou nomes de operações ou parâmetros, e o Gemini-3.1-Flash-Lite produziu escritas extras (ex: atualizando labels ou assignees não solicitados), o que seria difícil de detectar sem o isolamento CoW.
• Melhoria Iterativa: Com base nos scores diagnósticos, a superfície da ferramenta foi atualizada para alinhar a terminologia (garantindo que "issues" fosse reconhecido como "work items").
  • Ganhos Mensuráveis: Modelos fortemente afetados pelo descompasso de vocabulário viram melhorias significativas nas pontuações: o Gemini-2.5-Pro melhorou em 54% e o GPT-4.1 em 47%.
  • Estabilidade: Modelos com pontuações iniciais altas (ex: GPT-5, Gemini-3.1-Pro) mostraram variância mínima, confirmando a estabilidade do mecanismo de pontuação.

Significância e Alegações

O artigo posiciona a Pontuação CoW como uma ferramenta prática para um implantação de agentes mais segura. Sua principal significância reside em permitir que equipes:

• Localizem Falhas: Identifiquem exatamente onde os agentes têm sucesso ou falham em operações de escrita de banco de dados dentro de um contexto de aplicação específico.
• Iterem Eficientemente: Facilitem a iteração de baixo custo em prompts de modelos, superfícies de ferramentas e mecanismos de recuperação sem o overhead de construir e manter ambientes de réplica.
• Preencham a Lacuna de Validade de Construto: Forneçam dados de avaliação que são diretamente relevantes para a aplicação específica sendo implantada, em vez de depender de benchmarks genéricos.

Os autores observam modestamente que o framework depende de sessões de Verdade Fundamental criadas manualmente, o que requer um investimento inicial de esforço comparável à construção de datasets específicos de aplicação. Eles também reconhecem que a implementação atual foca em operações de escrita, embora padrões de leitura possam oferecer sinais diagnósticos adicionais. O framework é apresentado não como um benchmark universal, mas como um método complementar para validação específica de aplicação.