Monitoring Agentic Systems Before They're Reliable

Resumo Técnico: Monitoramento de Sistemas Agênticos Antes de Serem Confiáveis

Definição do Problema
Sistemas de IA agêntica entrando em produção em setores regulamentados (auditoria, finanças, saúde, jurídico) operam frequentemente como montagens parcialmente integradas. Neste nível inicial de maturidade, o cenário de falhas é dominado não por erros de nível de tarefa (ex: um cálculo errado), mas por defeitos de integração estrutural (ex: incompatibilidade de esquemas, propagação de contexto ausente). As práticas atuais de monitoramento baseiam-se em métricas de desempenho agregadas (precisão média, taxas de erro) e alertas baseados em limiares. Essas abordagens falham em contextos agênticos porque:

1. Heterogeneidade de Tarefas: Agentes processam entradas diversas e complexas onde o desempenho "médio" obscurece falhas de alto risco.
2. Pontuação Incerta: A verdade fundamental (ground truth) é frequentemente parcial ou uma questão de julgamento profissional, tornando a verificação binária impossível.
3. Mascaramento de Sinal: Defeitos estruturais criam um "piso de ruído" que mascara sinais de nível de tarefa. Um sistema com um pipeline de integração quebrado pode produzir saídas consistentes, porém incorretas, tornando a detecção de erros de nível de tarefa indistinguível de bases de referência limpas.

Sem uma metodologia para diagnosticar esses problemas estruturais primeiro, o monitoramento gera confiança falsa ou sobrecarrega os analistas com ruído, falhando em priorizar os ajustes de integração necessários antes que a própria detecção de erros confiável seja possível.

Metodologia
Os autores propõem uma metodologia de monitoramento e triagem automatizada triangulada, projetada para operar efetivamente no "Estágio 1" da maturidade do sistema (diagnóstico estrutural).

1. Dimensões de Avaliação Triangulada:
   O comportamento do sistema é decomposto em três dimensões complementares:

• Qualidade: Precisão, completude e ausência de alucinações.
• Adequação: Adesão às instruções, ajuste contextual e alinhamento de fluxo de trabalho.
• Eficiência: Custo, tempo e carga de revisão humana.

2. Três Escopos de Monitoramento:
   A avaliação é conduzida através de três escopos distintos para caracterizar diferentes modos de falha:

• Intra-Execução (Within-Run): Analisa documentos processados em uma única execução.
• Inter-Execução (Cross-Run): Analisa agregados através de uma frota de execuções concluídas.
• Estrutural: Analisa a integridade do pipeline e do manifesto do sistema (ex: ingestão de documentos vs. processamento).

3. Variância como um Sinal Primário:
   Em vez de depender apenas de médias, a metodologia utiliza a variância dentro da categoria (especificamente o Coeficiente de Variação, CV) como um sinal de primeira classe.

• Baixa variância indica defeitos determinísticos e sistemáticos.
• Alta variância indica consequências de integração estocásticas.
• Isso permite que o sistema caracterize sua própria arquitetura de monitoramento e tipos de falha sem exigir rótulos de verdade fundamental.

4. Triagem Automatizada Baseada em FMEA:
   As descobertas são roteadas através de um sistema de classificação de severidade adaptado da Análise de Modos de Falha e Seus Efeitos (FMEA) e MIL-STD-882E. As falhas são classificadas em quatro níveis:

• L1 (Catastrófica): Integridade do processo comprometida; interrupção imediata.
• L2 (Crítica): Resultados materialmente incorretos; requer revisão humana.
• L3 (Marginal): Degradado, mas utilizável; amostragem periódica.
• L4 (Negligenciável): Impacto mínimo; tratamento automatizado.
  Esta classificação permite o roteamento determinístico, direcionando a atenção humana apenas para descobertas que justificam investigação (L1/L2), enquanto automatiza o restante.

Configuração Experimental
A metodologia foi validada em um ambiente de teste sintético projetado para o procedimento de auditoria de Eventos Subsequentes e Passivos Não Registrados (SURL) sob o US GAAP.

• Dados: 120 conjuntos de documentos (100 com injeção de erro controlada, 20 bases de referência limpas) processados ao longo de 220 execuções.
• Sistema Sob Teste: Um sistema agêntico de estágio inicial com dois defeitos de integração conhecidos: (1) um esquema de fatura fixo aplicado a todos os tipos de documentos, e (2) um validador entre documentos recebendo contexto zero.
• Objetivo: Determinar se a metodologia de monitoramento poderia diagnosticar esses defeitos estruturais e distingui-los de erros de nível de tarefa injetados.

Resultos Principais

1. O Escopo do Monitor determina o Tipo de Falha:

• Monitores intra-execução (ex: aplicação de esquema) produziram saída uniforme de alto volume (CV = 0,02) com baixa severidade (L3), identificando defeitos de estágio determinísticos.
• Monitores inter-execução produziram saídas esparsas e altamente variáveis (CV = 1,25), revelando consequências de integração estocásticas. 24% dessas descobertas foram L2 (Críticas).
• Monitores Estruturais identificaram lacunas de integração com consistência perfeita (CV = 0,00), produzindo descobertas L2 em cada execução.

2. Defeitos Estruturais Mascaram Erros de Nível de Tarefa:
   Erros de nível de tarefa injetados (aritmética, entre documentos, temporais) foram indistinguíveis das bases de referência limpas. O piso de ruído estrutural (ex: aplicar o esquema errado para cada documento) completamente mascarou o sinal de erros de dados específicos. Isso confirma que a detecção de erros de nível de tarefa é inviável até que os defeitos estruturais sejam resolvidos.

3. Eficiência da Triagem:
   O sistema de triagem baseado em FMEA roteou 97,7% das descobertas (10.210 de 10.453) para monitoramento automatizado (L3). Apenas 2,3% (243 descobertas, principalmente L2) foram roteadas para investigação humana. Isso representa uma redução de 43 vezes no volume de analistas, concentrando o esforço humano no subconjunto de descobertas que refletem o comportamento variável do sistema e lacunas de integração.

Significância e Alegações
O artigo argumenta que, para sistemas agênticos imaturos, o monitoramento eficaz começa com o diagnóstico estrutural antes que a detecção de erros se torne viável.

• Modelo de Estágios de Maturidade: Os autores propõem um modelo onde o monitoramento transita do caracterização estrutural (Estágio 1) para a detecção de erros (Estágio 2) e, finalmente, para o rastreamento de confiabilidade (Estágio 3) à medida que os defeitos de integração são resolvidos.
• Transferibilidade Arquitetônica: Alega-se que a taxonomia de três escopos, a caracterização baseada em CV e o modelo de severidade FMEA são transferíveis arquitetonicamente para fluxos de trabalho agênticos baseados em documentos e de múltiplos estágios em setores regulamentados, embora as calibrações específicas (avaliadores, limiares) sejam específicas de cada domínio.
• Valor Operacional: A principal contribuição é uma metodologia que produz valor de engenharia acionável imediatamente após a implantação. O artigo afirma: "Implante o monitoramento cedo: a primeira coisa que ele encontrar é a coisa mais importante para consertar."

Os autores explicitamente observam que suas descobertas baseiam-se em evidências do Estágio 1; as transições para os Estágios 2 e 3 são extrapolações teóricas que requerem validação longitudinal. O trabalho não pretende resolver a detecção de erros de nível de tarefa para sistemas maduros, mas sim fornecer a camada de diagnóstico necessária para possibilitá-la.