Resumo Técnico: Pare de Lançar Agentes de IA Baseado na Fé: Capacidade Não é Prontidão para Produção

Declaração do Problema

Os agentes de IA estão transitando de demonstrações controladas para fluxos de trabalho de produção, onde recuperam informações, chamam ferramentas, mantêm estado e agem em nome dos usuários. No entanto, as decisões de lançamento atuais baseiam-se frequentemente em "sinais de capacidade" — como demonstrações comportamentais ou benchmarks de tarefas específicas — que falham em capturar se um agente está pronto para as restrições de produção.

O artigo argumenta que capacidade não é prontidão para produção. Um agente capaz pode ainda ser inseguro para implantação se o seu contexto operacional for fraco, o uso de suas ferramentas for mal controlado, sua evidência de conformidade for incompleta ou seus controles de governança estiverem ausentes. Em domínios regulados como saúde e finanças, essas lacunas representam falhas de conformidade, segurança e governança, e não meros defeitos de desempenho. Os métodos de avaliação existentes medem como um agente se comporta sob teste, mas não determinam se o agente possui evidências suficientes para ser implantado, monitorado e governado dentro de um escopo operacional definido.

Metodologia: O Índice ProofAgent (PAI)

Para abordar a lacuna entre o desempenho comportamental e a prontidão de implantação, os autores introduzem o Índice ProofAgent (PAI), um índice de prontidão de governança. O PAI redefine o lançamento de agentes como uma decisão auditável baseada em evidências decomponíveis, em vez de fé.

1. Quatro Dimensões de Prontidão

O PAI agrega evidências através de quatro dimensões normalizadas (escalonadas de 0 a 100):

• Avaliação (E): Mede o comportamento observado do agente sob condições adversas e esperadas (ex: sucesso na tarefa, resistência a alucinações, segurança, uso de ferramentas).
• Contexto (Q): Mede a qualidade do ambiente operacional, incluindo clareza de papel, consistência de instrução, fundamentação (grounding), esquemas de ferramentas, salvaguardas (guardrails) e endurecimento contra injeção.
• Conformidade (C): Mede se o comportamento e os artefatos observados satisfazem as obrigações legais, regulatórias e de políticas aplicáveis (ex: GDPR, HIPAA, Lei de IA da UE). A falta de evidência é tratada como não atendida.
• Governança (G): Mede os controles organizacionais, incluindo propriedade, definição de escopo, fluxos de aprovação, monitoramento, resposta a incidentes e mecanismos de reversão (rollback).

2. Agregação e Portão de Admissibilidade

O PAI é computado em duas etapas para evitar que "críticos defeitos sejam anulados pela média":

• Agregação por Média Geométrica: A pontuação bruta ($PAI_{raw}$) é uma média geométrica ponderada das quatro dimensões. Isso garante que uma pontuação baixa em uma dimensão reduza o total de forma mais acentuada do que uma média aritmética, limitando a compensação entre dimensões.
• Portão de Admissibilidade (Bloqueios Rígidos): Um "teto" é aplicado com base em regras de bloqueio rígido. Se uma configuração disparar uma condição de uso proibida, uma falha de segurança crítica, evidência de conformidade obrigatória ausente ou um achado de governança não resolvido, a pontuação final é limitada abaixo do limiar de revisão, independentemente da média geométrica bruta. Isso garante que defeitos não negociáveis bloqueiem o lançamento.

3. Bandas de Prontidão

A pontuação final é mapeada para bandas operacionais:

• Bloqueado: Condição de bloqueio rígido disparada; lançamento proibido.
• Não Pronto: Não atende ao patamar mínimo de prontidão.
• Pronto com Ressalvas: Atende ao limiar de revisão, mas requer monitoramento ou remediação.
• Pronto: Satisfaz o limiar total sem condições de bloqueio.

Validação Empírica

Os autores validaram o PAI usando o ProofAgent Harness, uma infraestrutura de código aberto para avaliação auditável. O estudo cobriu dois domínios fortemente regulados (saúde e finanças) através de uma grade de configuração de 12 unidades (3 níveis de capacidade × 2 condições de contexto × 2 domínios).

Configuração Experimental

• Capacidades: Fraca (modelo 8B), Média (modelo 70B) e Forte (modelo Mixture-of-Experts).
• Contexto: Linha de base (B0, instruções/governança fracas) vs. Engenheirado (B5, instruções/governança fortes).
• Estratégia de Validação: Uma abordagem de "amostra retida" (held-out) onde as pontuações PAI foram computadas a partir de um pacote de desenvolvimento de 25 turnos, enquanto o resultado PASS/FAIL foi medido em um pacote de exame distinto de 10 turnos para evitar validação circular.
• Escala: Uma validação de 10.000 turnos em 1.000 sessões para analisar padrões de defeitos.

Principais Resultados

1. Poder Preditivo: O PAI alcançou um AUC de 0,98 ao ordenar as configurações pelo risco de falha em armadilhas não vistas. Isso indica uma forte discriminação entre configurações prontas e não prontas.
2. Contexto vs. Capacidade:
   • Engenharia de Contexto: Teve o efeito mais forte. A transição de um contexto fraco (B0) para um engenheirado (B5) reduziu as taxas de defeito de 65,74% para 17,84% (uma redução relativa de 72,9%).
   • Saturação de Capacidade: Embora a transição de capacidade fraca para média tenha reduzido significamente os defeitos, o salto de média para forte apresentou retornos decrescentes. Crucialmente, um agente de capacidade média em um contexto forte (B5) foi muito mais confiável do que um agente de forte capacidade em um contexto fraco (B0).
3. Capacidade não é Prontidão: O estudo confirmou que alta capacidade comportamental não garante prontidão. Agentes fracos permaneceram arriscados mesmo sob condições de contexto forte, enquanto agentes fortes falharam sob governança ou contexto fracos.
4. Modos de Falha: Os defeitos abrangeram segurança, uso de ferramentas, resistência a alucinações e chamadas de ferramentas fantasmas, reforçando a necessidade de um framework de prontidão mais amplo do que a simples precisão da tarefa.

Principais Contribuições

1. Definição de Prontidão: O artigo define a prontidão de produção de agentes de IA como um problema de governança que se estende além da avaliação comportamental, exigindo evidência de operação segura dentro de um nível de risco e escopo de conformidade específicos.
2. O Framework PAI: Introdução de um índice de quatro dimensões (Avaliação, Contexto, Conformidade, Governança) que integra o comportamento técnico com controles organizacionais.
3. Implementação: Descrição da implementação do PAI no ProofAgent Harness, fornecendo uma CLI de código aberto para gerar artefatos de prontidão decomponíveis, decisões de bloqueio rígido e relatórios de lançamento.
4. Evidência Empírica: Validação mostrando que o PAI carrega um sinal de prontidão retido e que a engenharia de contexto e a evidência de governança são determinantes críticos do risco de implantação, muitas vezes superando a capacidade bruta do modelo.

Significância e Alegações

O artigo alega que o PAI transforma o lançamento de agentes de uma decisão "baseada na fé" em uma decisão de prontidão auditável. Sua significância reside em fornecer uma linguagem unificada para três partes interessadas distintas:

• Engenheiros: Recebem sinais mensuráveis e decomponíveis (não apenas uma única pontuação comportamental).
• Equipes de Risco/Conformidade: Recebem evidências auditáveis que ligam o comportamento às obrigações de política e controle.
• Líderes de Negócios: Recebem decisões de lançamento interpretáveis que levam em conta contexto, conformidade e governança, em vez de apenas o desempenho do modelo.

Os autores concluem que os agentes de IA não devem ser lançados porque parecem capazes; eles devem ser lançados apenas quando houver evidência de que estão prontos para operar dentro de um ambiente de produção governado. O PAI serve como o mecanismo para converter a avaliação de agentes de um ato de confiança em uma decisão de prontidão verificável.