Beyond Task Success: An Evidence-Synthesis Framework for Evaluating, Governing, and Orchestrating Agentic AI

Resumo Técnico: Além do Sucesso da Tarefa

1. O Problema: A Lacuna de Fechamento de Governança para Ação

O artigo identifica uma mudança fundamental na natureza da Inteligência Artificial (IA) agêntica. Diferente dos sistemas generativos de turno único, os agentes de IA planejam, utilizam ferramentas, mantêm estado e executam fluxos de trabalho multi-etapa com efeitos externos.

• A Falha Atual: A avaliação tradicional foca apenas no "sucesso da tarefa" (se o resultado final foi alcançado). No entanto, para agentes, a pergunta central deve mudar para: "O sistema comportou-se de forma aceitável durante toda a execução?".
• A Lacuna (Gap): Existe uma desconexão crítica entre:
  1. Avaliação: Diz-nos se os resultados foram bons.
  2. Governança: Define o que deve ser permitido (obrigações normativas).
  3. O que falta: Não há um mecanismo claro que vincule essas obrigações a ações concretas em tempo de execução nem que prove a conformidade posteriormente. O artigo chama isso de "Lacuna de Fechamento de Governança para Ação" (Governance-to-Action Closure Gap).

2. Metodologia: Síntese de Evidências Delimitada

O trabalho não é uma meta-análise de pontuações de benchmarks, mas uma síntese de evidências delimitada (bounded evidence synthesis).

• Corpus: Foram analisados manualmente 24 fontes recentes (15 artigos de pesquisa e 9 artefatos de padrões/organizações como ISO e NIST).
• Protocolo: A seleção foi baseada em quatro perguntas de síntese: o que está sendo medido, quais obrigações são definidas, onde o controle é aplicado e que evidência prova o comportamento.
• Codificação: Cada fonte foi codificada em oito dimensões (ex: fluxo de literatura, locus de controle, tipo de evidência, modo de falha dominante).
• Objetivo: Integrar as evidências mais fortes de áreas fragmentadas (avaliação, governança, orquestração, segurança de ações) em um quadro analítico coerente, evitando a heterogeneidade dos benchmarks atuais.

3. Principais Contribuições

O artigo propõe quatro artefatos interligados para fechar a lacuna identificada:

A. O Quadro de Quatro Camadas (Four-Layer Framework)
Um modelo que separa as responsabilidades para evitar erros de categoria:

1. Avaliação: Mede o que aconteceu (sucesso, segurança, robustez, custo, trajetória).
2. Governança: Define o que deve acontecer (obrigações, limites, tratamento de risco, accountability).
3. Orquestração: É o plano de controle em tempo de execução (roteamento, identidade, permissões de ferramentas, aprovação, telemetria). É onde a governança é operacionalizada.
4. Garantia (Assurance): Valida se os controles funcionaram (reprodução de traces, injeção de falhas, evidências de auditoria).

B. O Teste ODTA de Posicionamento em Tempo de Execução
Uma ferramenta para decidir onde uma regra deve ser aplicada (Design, Runtime, Auditoria ou Humano) baseada em quatro critérios:

• Observabilidade: O evento pode ser observado antes ou no momento da ação?
• Decidibilidade: A regra é clara o suficiente para automação (determinística ou probabilística)?
• Temporalidade (Timeliness): A intervenção pode ocorrer cedo o suficiente para reduzir o risco sem destruir a tarefa?
• Atestabilidade: Se a aplicação falhar, a evidência pode ser reconstruída a partir de logs?
• Resultado: Requisitos com baixa decidibilidade ou temporalidade não devem ser regras de runtime rígidas, mas sim objetos de auditoria ou julgamento humano.

C. O Pacote Mínimo de Evidência de Ação (MAEB - Minimum Action-Evidence Bundle)
Um conjunto mínimo de dados exigido para qualquer ação que altere o estado do sistema, permitindo a auditoria e reprodução. Inclui:

• Identidade delegada e escopo de autoridade.
• Identificador de política e registro de decisão.
• Referência ao estado pré-ação (snapshot).
• Ação proposta e parâmetros resolvidos.
• Resultado da mediação e caminho de exceção.
• Identificador de efeito colateral externo (ex: ID de transação).
• Vinculação de trace e atestado opcional.

D. Cenário de Aplicação: Agente de Compras Corporativo
O artigo demonstra o quadro através de um agente de compras que solicita aprovações humanas, verifica orçamentos e emite ordens de compra. O cenário ilustra como:

• Regras de "lista branca de fornecedores" são aplicáveis em tempo de execução (Orquestração).
• Regras de "justiça" são melhor tratadas em auditoria pós-fato (Garantia).
• A falha ocorre quando a verificação de política não se vincula ao evento de envio (falha de fechamento).

4. Resultados e Descobertas Chave

• Fragmentação: A literatura atual trata avaliação, governança e orquestração como silos. Nenhuma corrente cobre toda a pilha (do objetivo normativo à execução técnica).
• Ineficácia de Prompts: Regras baseadas apenas em prompts ou permissões estáticas são insuficientes para sistemas dependentes de caminho (path-dependent) com efeitos colaterais externos.
• Segurança de Ações: A recusa em nível de texto não garante a segurança na chamada de ferramentas. Agentes podem parecer seguros em texto, mas executar ações perigosas.
• Orquestração como Camada Crítica: A orquestração não é apenas "encanamento" (middleware); é o local onde a mediação de políticas e a identidade escopada ocorrem na prática.
• Avaliação Insuficiente: Métricas de sucesso final são enganosas sem medições de trajetória, contenção e qualidade da intervenção.

5. Significado e Impacto

Este trabalho oferece uma mudança de paradigma para o desenvolvimento e governança de IA Agêntica:

• Mudança de Foco: De "o modelo respondeu corretamente?" para "o sistema seguiu um caminho controlado e verificável?".
• Praticidade para Empresas: Fornece um roteiro para implantar agentes em ambientes corporativos, exigindo que a orquestração atue como um plano de aplicação de políticas, não apenas como um agendador.
• Validação de Conformidade: O MAEB e o teste ODTA permitem que organizações provem que seus agentes operam dentro dos limites éticos e legais, transformando garantias abstratas em evidências auditáveis.
• Proposições Testáveis: O artigo estabelece hipóteses falsificáveis para pesquisas futuras, sugerindo que métricas baseadas em traces e controle de plano de execução são mais estáveis e preditivas de robustez do que apenas pontuações de benchmarks de tarefas.

Em suma, o artigo argumenta que a IA agêntica confiável não é um problema de capacidade isolada, mas um problema de controle e evidência transversal, que exige a integração disciplinada de avaliação, governança, orquestração e garantia.