Agent Behavioral Contracts II: Certifying Compositional Reliability Without Assuming Independence

Resumo Técnico: Contratos de Comportamento de Agentes II

Declaração do Problema
Os frameworks atuais para certificar a confiabilidade de sistemas multiagentes baseiam-se em uma abordagem composicional: limitar a confiabilidade de componentes individuais e multiplicar esses limites para derivar uma garantia em nível de sistema. Este passo é licenciado por uma suposição de independência condicional (C5), que postula que a satisfação do contrato de um agente a jusante é independente da execução de um agente a montante, dado um repasse (handoff) em conformidade. Os autores argumentam que essa suposição é rotineiramente declarada, mas raramente testada, e é particularmente implausível quando agentes redundantes (por exemplo, um escritor e um revisor) compartilham os mesmos pesos de modelo subjacentes. Se os componentes compartilham um modelo, eles compartilham "pontos cegos", levando a uma dependência positiva em falhas. O artigo demonstra que ignorar essa dependência resulta em um "erro assinado" que corre contra o operador: a dependência positiva infla as probabilidades de falha conjunta acima do produto de independência, fazendo com que designs redundantes sejam creditados excessivamente justamente quando são mais necessários.

Além disso, o artigo identifica que as "correções" padrão são inadequadas:

1. Abandonar a suposição inteiramente leva aos limites de Fréchet–Hoeffding, que são frequentemente vacuos (piso certificado de zero) quando a confiabilidade média do componente cai abaixo de $1 - 1/m$.
2. Ajustar um modelo de dependência paramétrico (por exemplo, uma copula gaussiana de um fator) é pior; os autores provam que, conforme o tamanho da amostra $n \to \infty$, a cobertura de um limite de bootstrap de um modelo misspecificado (mal especificado) seu funcional colapsa para zero. O hiato de identificação permanece $O(1)$ enquanto a incerteza do bootstrap encolhe como $O(n^{-1/2})$, o que significa que mais dados tornam o certificado confiantemente errado sem qualquer sintoma visível.

Metodologia
O artigo emprega um design experimental rigoroso, pré-registrado, combinado com um novo framework de certificação de amostra finita.

• Design Experimental: Os autores conduziram uma campanha de 30.820 missões em 12 braços, com um núcleo confirmatório de 18.000 missões em uma topologia de repasse de dois agentes. Eles manipularam a "condição de compartilhamento" em três níveis:

  1. Mesmo Modelo: Ambos os agentes executam mistral-small-24b.
  2. Mesmo Fornecedor: Os agentes executam modelos diferentes do mesmo fornecedor (mistral-small-24b vs. ministral-8b).
  3. Fornecedores Diferentes: Os agentes executam modelos de fornecedores diferentes.
     A pontuação foi determinística (código de ouro) sem LLM no loop de julgamento para evitar correlação induzida.

• Framework de Certificação (Abordagem em Camadas):

  • Nível 0 (Observado): Limite inferior direto de Clopper–Pearson sobre o resultado observado do grafo (requer execução end-to-end).
  • Nível 1 (Agnóstico à Copula): Um certificado de amostra finita que assume nenhuma estrutura de dependência. Ele formula um programa linear (LP) sobre a distribuição conjunta dos resultados dos agentes, limitado por um box de Bonferroni–Clopper–Pearson em torno dos momentos de coexecução medidos (marginais, pares e momentos de co-sucesso de ordem superior). Esta abordagem é sólida, nítida para a informação fornecida e monótona na família de momentos sob uma alocação específica.
  • Nível 2 (Baseado em Modelo): Um piso apenas para diagnóstico baseado em uma copula gaussiana ajustada, explicitamente não utilizado para certificação devido ao colapso de cobertura provado.

• Certificação Válida a Qualquer Momento (Anytime-Valid): Para abordar a realidade do monitoramento contínuo (parada opcional), o artigo introduz um e-process baseado em probabilidade de teoria dos jogos. Este certificado restringe apenas a média condicional do resultado do grafo, não exigindo suposição de independência entre missões ou componentes. Ele recupera exatamente o Teste de Razão de Verossimilhança Sequencial (SPRT) no fator de aposta ideal.

Resultos Principais

1. Falha Correlacionada: Na condição same_model, duas instâncias do mesmo modelo falham conjuntamente em 90,0% das missões nas quais qualquer uma delas falha ($\log OR = 6,66$, 95% CI [6,38, 7,00]). Isso confirma que o compartilhamento de modelo induz uma enorme dependência positiva.
2. Modelo vs. Fornecedor: Substituir por um modelo diferente reduz significamente a associação (6/6 contrastes através de topologias foram significativos). No entanto, substituir por um fornecedor diferente (mantendo os modelos diferentes) não reduziu significativamente a associação. A variável "fornecedor" não foi um preditor confiável de correlação de falha uma vez que a identidade do modelo diferiu.
3. Sensibilidade Marginal: Estatísticas de dependência comuns como sobreposição de Jaccard, $\phi$ e Kendall's $\tau_a$ são mostradas como limitadas pelas taxas de falha marginais. Em condições específicas, essas estatísticas inverteram a ordenação aparente das condições puramente devido às diferenças nas taxas de falha marginais, enquanto estatísticas livres de marginais (log odds ratio, Yule's Q) permaneceram consistentes.
4. Melhoria da Certificação: Enriquecer o conjunto de momentos de 10 funcionais (marginais + pares) para 14 (adicionando trios) em dados reais estreitou o intervalo identificado em 85,7% e elevou o piso certificado de 0,2455 para 0,4116.
5. Colapso Baseado em Modelo: Em um experimento controlado, a cobertura de um piso baseado em modelo caiu de 0,36 para 0,01 conforme o tamanho da amostra aumentou de 250 para 2000 sob uma misspecificação indistinguível de momento, enquanto o piso agnóstico à copula do Nível 1 manteve 100% de cobertura.
6. Validade a Qualquer Momento: A implementação do e-process manteve uma taxa de erro do Tipo-I empírica de 0,0471 ou abaixo em todas as frações de aposta testadas, mesmo sob parada arbitrária.

Significância e Alegações
O artigo afirma fornecer o primeiro certificado de confiabilidade de amostra finita e agnóstico à copula para pipelines de agentes compostos que não assume independência. Sua principal contribuição não é meramente medir que as falhas se correlacionam (como trabalhos concorrentes fizeram), mas fornecer um limite sólido, nítido e acionável que degrada honestamente quando a dependência não é medida, em vez de produzir silenciosamente um número confiantemente errado.

Os autores explicitamente declaram o que não alegam:

• Eles não alegam ter descoberto pela primeira vez que modelos compartilhados falham juntos.
• Eles não alegam uma ordenação de três níveis de compartilhamento (mesmo modelo > mesmo fornecedor > fornecedor diferente), pois o contraste de nível de fornecedor não replicou.
• Eles não alegam que o certificado escala para um grande número de agentes ($m$) sem custo exponencial, nem que se aplica a agregadores que são, eles próprios, LLMs.
• Eles não alegam que os resultados se generalizam para modelos de fronteira ou tarefas de diálogo aberto, pois a avaliação foi limitada a modelos de médio porte e tarefas de varejo/financeiras determinísticas.

O trabalho é apresentado como um corretivo para a "falha silenciosa" das suposições de independência na confiabilidade de multiagentes, oferecendo uma metodologia que torna a falha correlacionada mensurável e garante que as garantias degradem de forma transparente em vez de silenciosa. Todo o código, contratos, geradores e pré-registros são liberados sob AGPL-3.0.