Resumo Técnico: Agentes de IA Não Falham Sozinhos: O Contexto Falha Primeiro

Declaração do Problema

As falhas de agentes de IA raramente são eventos isolados resultantes apenas de limitações do modelo. Em vez disso, o comportamento do agente é fundamentalmente moldado pelo "contexto" no qual operam: uma montagem dinâmica de instruções do sistema, esquemas de ferramentas, conhecimento recuperado, memória, salvaguardas (guardrails) e entradas externas não confiáveis. Embora o campo tenha migrado da simples engenharia de prompts para uma engenharia de contexto mais ampla, a qualidade deste contexto montado permanece amplamente não mensurada.

As práticas de avaliação atuais frequentemente dependem de métricas comportamentais (ex: sucesso da tarefa, segurança) que revelam que um agente falhou, mas falham em isolar o porquê. Uma falha pode decorrer de um embasamento (grounding) fraco, instruções conflitantes, esquemas de ferramentas ambíguos ou uma separação precária entre conteúdo confiável e não confiável. Sem um mecanismo para medir a qualidade do próprio contexto, as equipes carecem de um indicador antecedente para a confiabilidade, criando um ponto cego operacional onde a engenharia de contexto permanece uma prática baseada na intuição, em vez de uma camada auditável de governança.

Metodologia

O artigo propõe e valida a Qualidade da Engenharia de Contexto como um constructo mensurável e independente. A metodologia centra-se em três pilares:

1. O Constructo de Medição de Sete Critérios

Os autores definem a qualidade do contexto através de sete critérios específicos, cada um pontuado em uma escala de [0, 10]:

• Clareza de Papel (Role Clarity): Explicitação do papel, escopo e objetivos do agente.
• Cobertura de Salvaguardas (Guardrail Coverage): Especificação de recusas, caminhos de escalonamento e limites de segurança.
• Consistência de Instrução (Instruction Consistency): Coerência interna e precedência de regras.
• Qualidade do Esquema de Ferramenta (Tool Schema Quality): Clareza de nomes de ferramentas, tipos de argumentos e orientação de uso.
• Suficiência de Embasamento (Grounding Sufficiency): Disponibilidade de evidências confiáveis para apoiar afirmações.
• Endurecimento contra Injeção (Injection Hardening): Separação de instruções confiáveis de entradas não confiáveis.
• Eficiência de Tokens (Token Efficiency): Evitação de material redundante em favor de informações que sustentam a confiabilidade.

2. Implementação via ProofAgent-Harness

A medição é implementada no ProofAgent-Harness, uma infraestrutura de código aberto para avaliação adversária. Principais características de design incluem:

• Consenso de Multi-Jurados (Multi-Juror Consensus): A pontuação é realizada por múltiplas perspectivas de "jurados" (LLMs) que debatem e reconciliam descobertas para reduzir o viés do avaliador.
• Isolamento Estrito: A pontuação do contexto ($Q_{CE}$) é computada independentemente das métricas comportamentais ($B$). Ela não influencia a nota comportamental final ou as decisões de lançamento. Este isolamento é crítico para evitar a validação circular e para testar se a qualidade do contexto atua como um verdadeiro indicador antecedente.
• Descobertas Vinculadas a Evidências: As pontuações são acompanhadas de descobertas específicas explicando por que um critério recebeu uma pontuação baixa (ex: "orientação de ferramenta ausente" ou "políticas conflitantes").

3. Design de Validação Experimental

Para validar a hipótese de que a qualidade do contexto prevê o comportamento subsequente, os autores conduziram um estudo controlado em três domínios regulados: atendimento ao cliente, triagem de sinistros de saúde e elaboração de contratos legais.

• Controle: O backbone do LLM de fronteira (GPT-5.5 e Claude Opus 4.8) foi mantido fixo.
• Variável: Apenas o contexto operacional foi variado entre três níveis:
  • C1 (Pobre): Papéis vagos, orientação de ferramenta fraca, embasamento limitado, sem salvaguardas.
  • C2 (Estruturado): Papéis mais claros, ferramentas tipadas, embasamento, organização eficiente.
  • C3 (Endurecido): C2 acrescido de condições de recusa explícitas, regras de escalonamento e separação de injeção.
• Escala: 300 avaliações de múltiplos turnos (100 por domínio), totalizando 7.500 turnos de agentes avaliados.
• Estudo de Artefato: Um estudo paralelo avaliou manuais de políticas gerados para testar a generalização além do diálogo.

Principais Resultados

Os resultados experimentais apoiam a hipótese de que a qualidade da engenharia de contexto é um sinal preditivo e independente de confiabilidade.

1. A Variação do Contexto Impulsiona a Mudança Comportamental

Mantendo o modelo fixo, a alteração do contexto alterou significativamente o comportamento do agente:

• Estrutura (C1 $\to$ C2): A transição de um contexto pobre para um estruturado rendeu os maiores ganhos comportamentais. A pontuação comportamental final aumentou de 3,15 para 5,49, a resistência à alucinação subiu de 3,21 para 5,61 e as falhas críticas caíram cerca de 68%.
• Endurecimento (C2 $\to$ C3): Embora as pontuações de qualidade do contexto continuassem a subir (8,1 para 8,7), as métricas comportamentais não melhoraram monotonicamente. O contexto endurecido tornou os agentes mais conservadores, reduzindo ligeiramente as pontuações de conclusão de tarefas em casos limítrofes. Isso destaca um tradeoff: salvaguardas mais estritas melhoram a segurança, mas podem reduzir a utilidade em casos de borda.

2. Pontuações de Contexto Seguem a Intenção de Design

A medição distinguiu com sucesso os três níveis de contexto:

• C1 Pobre obteve as pontuações mais baixas em todos os critérios (média 4,4).
• C2 Estruturado mostrou ganhos significativos em clareza de papel, qualidade de esquema de ferramenta e embasamento (média 8,1).
• C3 Endurecido mostrou melhorias adicionais especificamente em cobertura de salvaguarda e endurecimento contra injeção (média 8,7).

3. Critérios Predizem Sinais Comportamentais

A análise de correlação confirmou que critérios de contexto específicos predizem resultados comportamentais correspondentes:

• Suficiência de Embasamento predisse fortemente a Resistência à Alucinação ($r=0,63$).
• Cobertura de Salvaguarda predisse a Resistência à Manipulação ($r=0,60$).
• Consistência de Instrução predisse o Seguimento de Instrução ($r=0,57$).
• Qualidade do Esquema de Ferramenta predisse a Confiabilidade no Uso de Ferramentas ($r=0,47$).
• Endurecimento contra Injeção predisse a Segurança ($r=0,48$).

4. Eficiência de Tokens vs. Confiabilidade

O estudo desafiou a suposição de que "menor é melhor". O contexto "Pobre" (C1) era o mais barato por chamada (menor contagem de tokens), mas produzia o comportamento mais perigoso. O contexto "Endurecido" (C3) era mais caro, porém significativamente mais confiável. Os autores concluem que a eficiência de tokens deve ser medida como valor de confiabilidade por token, e não como comprimento bruto de contexto.

5. Generalização para Artefatos

No estudo de artefatos, o contexto embasado (C2/C3) melhorou a resistência à alucinação em manuais de políticas gerados, demonstrando que a medição se aplica a entregáveis estáticos, não apenas ao diálogo interativo.

Significância e Alegações

O artigo alega estabelecer a engenharia de contexto como uma camada mensurável e auditável de avaliação e governança de agentes. Suas principais contribuições são:

1. Definição: Define a qualidade da engenharia de contexto como um constructo de sete critérios, indo além das noções vagas de "qualidade de prompt" para métricas específicas alinhadas aos modos de falha.
2. Implementação: Operacionaliza isso via ProofAgent-Harness com um mecanismo de isolamento estrito, garantindo que a pontuação de contexto seja um preditor não circular e independente.
3. Validação: Fornece evidência empírica de que a qualidade do contexto é um indicador antecedente de confiabilidade. Ao medir o contexto antes do teste comportamental, as equipes podem identificar causas upstream de falhas (ex: embasamento fraco ou falta de salvaguardas), em vez de apenas observar sintomas downstream.

Os autores posicionam este trabalho não como um substituto para o red-teaming adversário ou revisão humana, mas como um diagnóstico de pré-voo. Ele permite que as equipes iterem sobre o "ambiente operacional" de um agente — revisando esquemas de ferramentas, adicionando embasamento ou endurecendo limites de injeção — antes de incorrer no custo de uma avaliação comportamental de escala total. Isso transforma a engenharia de contexto de uma prática baseada na intuição para uma disciplina de engenharia reproduzível.