Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness

Resumo Técnico: Avaliação com Isolamento de Camadas de Agentes de LLM em Produção

Definição do Problema
Os atuais paradigmas de avaliação para agentes de Grandes Modelos de Linguagem (LLMs) baseiam-se fortemente em métricas de sucesso de tarefa de ponta a ponta. Embora esses números agregados indiquem se um agente sofreu regressão, eles falham em diagnosticar onde a falha ocorreu dentro da complexa arquitetura do agente (por exemplo, resolução de intenção, planejamento, validação de segurança ou memória). Identificar o subsistema específico quebrado exige a reexecução de episódios estocásticos e ao vivo do agente e a bisseção de mudanças, um processo que é lento, ruidoso e caro. Além disso, métricas agregadas frequentemente "mascaram" regressões localizadas; uma falha significativa em um único componente pode ser diluída pelo sucesso do restante do sistema, tornando a queda na taxa de aprovação geral indistinguível da variância normal.

Metodologia
Os autores propõem a Avaliação com Isolamento de Camadas (Layer-Isolated Evaluation), um mecanismo de teste determinístico, sem uso de LLM, projetado para um agente de produção de pedidos de alimentos e bebidas. A metodologia envolve três componentes principais:

1. Decomposição Arquitetural: O agente é decomposto em uma taxonomia fixa de 23 camadas arquiteturais (ex: pré-resolução de ontologia, sinais de intenção, roteamento, decomposição, escalonamento, segurança, memória e defesa transversal).
2. Slices de Asserção em Modo Puro: Cada camada é exercitada por um "slice de asserção" dedicado que roda em um modo "puro" determinístico e sem LLM. Em vez de invocar um modelo generativo, esses slices afirmam contratos sobre saídas determinísticas (ex: IDs canônicos de um resolvedor de ontologia, decisões de escalonamento baseadas em regras, reescritas de dicionário ou recálculos de preços no lado do servidor).
   • O conjunto completo consiste em 238 casos de linha de base (225 casos puros + 13 casos de ponta a ponta legados).
   • O tempo de execução é de aproximadamente 2,39 segundos (≈10 ms por caso), permitindo que seja executado em cada Pull Request (PR) em Integração Contínua (CI).
3. Linha de Base de Honestidade de Cobertura: O sistema emprega uma "linha de base travada por slice". Crucialmente, ele impõe um critério de honestidade de cobertura: se uma camada tiver zero casos de teste, sua taxa de aprovação é reportada como null (não coberta) em vez de 100%. Isso evita que um escore agregado "verde" esconda componentes não testados.

Validação e Resultados
Os autores validaram o método através de injeção de regressão controlada, degradando uma camada não-segurança por vez em sete camadas distintas e medindo o impacto tanto na taxa de aprovação agregada quanto nas taxas individuais de cada slice.

• Fenômeno de Mascaramento: O estudo confirmou que métricas agregadas mascaram falhas locais. Quando um único slice foi degradado, a taxa de aprovação agregada caiu apenas marginalmente (entre -1,7 e -5,9 pontos percentuais), uma mudança pequena o suficiente para ser descartada como ruído de dashboard.
• Localização: Em contraste, o slice específico correspondente à falha injetada "desabou", caindo entre -25 e -91 pontos percentuais.
• Precisão de Localização de Falhas: O próprio slice da camada injetada foi o pior slice afetado em 5 de 7 casos e classificou-se entre os 3 piores slices em todos os 7 casos (ranking médio de 1,29 de 19). O impacto "fora da diagonal" (dano a outros slices) foi quase plano, exceto para camadas fundamentais (como resolução de ontologia), onde uma queda em uma camada fundamental causou falhas em slices subsequentes, sinalizando corretamente um problema estrutural.
• Replicação entre Tenants: Os resultados de localização foram replicados em um segundo tenant, estruturalmente diferente (Starbucks SG). Todos os sete slices correspondentes desabaram sob suas respectivas injeções, confirmando que o método não é um artefato de um único catálogo.

Principais Contribuições
O artigo reivindica as seguintes contribuições específicas:

1. Um Mecanismo Determinístico: Um mecanismo por camada, sub-segundo e sem LLM, totalmente decomposto, para um agente de produção que bloqueia o CI contra uma linha de base travada.
2. Critério de Honestidade de Cobertura: Uma regra de adequação de teste que se recusa a pontuar um slice não exercitado como aprovado, garantindo que métricas agregadas "verdes" não possam lavar riscos não testados.
3. Validação Empírica de Mascaramento: Uma demonstração de injeção de regressão provando que portões baseados em linhas de base por slice podem localizar regressões que métricas agregadas ignoram completamente.
4. Operacionalização da Teoria: O trabalho fornece uma instância concreta e executável do modelo de processo de "operações de agentes orientadas por avaliação" prescrito por Xia et al. (2024), que anteriormente carecia de uma implementação completa.

Significância e Alegações
Os autores posicionam este trabalho não como uma invenção de avaliação por nível de componente, mas como uma instanciação concreta e determinística de frameworks teóricos existentes. Eles declaram explicitamente:

• O método é um detector de drift, não um oráculo de correção. Um slice verde certifica que a camada não mudou em relação ao contrato estabelecido, não que o contrato em si é "correto".
• A abordagem complementa, em vez de substituir, o teste estocástico de ponta a ponta. Enquanto o modo puro bloqueia o núcleo determinístico do agente, o teste de mutação de fluxo de trabalho completo e estocástico (ex: Bhardwaj, 2026) continua sendo necessário para comportamentos generativos.
• O principal valor é o sinal de tempo de desenvolvimento: transforma o processo lento e ruidoso de encontrar subsistemas quebrados em um portão de CI rápido, determinístico e acionável.

O artigo conclui que, embora o estudo de injeção seja limitado a falhas escolhidas pelos autores (N=7) e a um único domínio (pedidos de F&B), a capacidade demonstrada de isolar falhas que métricas agregadas escondem oferece um mecanismo robusto para manter a estabilidade do agente durante iterações rápidas.