Can One Agent Restore Another? Multi-Agent Verification Through Independent Constraint Sources

Resumo Técnico: Um Agente Pode Restaurar Outro? Verificação Multiagente Através de Fontes de Restrição Independentes

Definição do Problema
Sistemas multiagentes autônomos enfrentam um desafio crítico de confiabilidade: quando um agente entra em um estado de falha persistente devido a uma instrução conflitante em seu histórico de diálogo, o sistema deve reconhecer e recuperar-se desse estado. Um único agente é frequentemente incapfeito de verificar seu próprio comportamento uma vez que seu contexto é dominado por uma instrução conflitante, pois o feedback autogerado carece de independência informacional e pode reforçar o estado errôneo. Embora os sistemas multiagentes ofereçam a possibilidade teórica de um agente atuar como uma "fonte de restrição independente" (preservando o objetivo original porque não recebeu a instrução conflitante), permanece incerto se os benefícios observados de recuperação decorrem dessa independência estrutural ou meramente do aumento do volume de geração e dos recursos computacionais.

Metodologia
O estudo introduz um benchmark de perturbação-recuperação totalmente reproduzível utilizando modelos Qwen2.5-Instruct através de três níveis de parâmetros (1.5B, 3B e 7B). O protocolo experimental envolve:

1. Estado de Linha de Base: Os agentes são instruídos a produzir texto em LETRAS MAIÚSCULAS como uma regra absoluta.
2. Perturbação: Após três trocas de linha de base, uma instrução de usuário conflitante é injetada no histórico do Agente A, solicitando a mudança para texto em letras minúsculas.
3. Condições Experimentais: Quatro condições são avaliadas ao longo de 30 execuções determinísticas com pares de abertura cada:
   • Acoplado (C): Dois agentes compartilham pesos, mas mantêm históricos de diálogo independentes. Apenas o Agente A recebe a instrução conflitante; o Agente B não.
   • Único (S): Um único agente continua a si mesmo uma vez por troca.
   • Único com Contexto Correspondente (X): Um único agente continua a si mesmo duas vezes por troca para igualar o volume de geração da condição acoplada, sem um segundo histórico independente.
   • Dose-4 (D4): Um único agente continua a si mesmo quatro vezes por troca para testar o efeito do aumento de volume.
4. Métrica de Recuperação: A recuperação é definida como a primeira troca onde a razão de violação de letras minúsculas cai para ≤ 0,10. O estudo utiliza testes de McNemar exatos para resultados binários pareados e replays de trajetórias determinísticas para analisar a profundidade da falha.

Resultados Principais
A eficácia da recuperação multiagente é altamente dependente da escala do modelo e da presença de um estado de informação independente:

• Nível 1.5B: A condição acoplada (43,3% de recuperação) superou a condição de agente único (16,7%). No entanto, essa vantagem foi inteiramente atribuível ao volume de geração, uma vez que a condição de agente único com contexto correspondente (36,7%) reproduziu o efeito sem diferença estatística (McNemar p = .774).
• Nível 3B: Todas as condições alcançaram recuperação próxima ao teto (90–100%), indicando que a perturbação não criou um estado de falha persistente nesta escala.
• Nível 7B: Uma divergência acentuada surgiu. As condições de agente único, de contexto correspondente e Dose-4 falharam em recuperar em 29–30 de 30 execuções (0% a 3,3% de recuperação). Apenas a condição acoplada alcançou recuperação significativa (8/30 execuções, 26,7%), com uma vantagem estatisticamente significativa sobre a condição de contexto correspondente (p = .0078).
• Análise de Trajetória: Replays determinísticos das execuções acopladas de 7B revelaram uma assimetria na profundidade da falha. O agente diretamente perturbado (Agente A) permaneceu capturado no estado de letras minúsculas, enquanto o parceiro (Agente B), cujo histórico carecia da instrução conflitante, reancorou-se à restrição original dentro de 1–3 trocas. O Agente B então forneceu evidências consistentes com a restrição que permitiram ao sistema recuperar-se.

Principais Contribuições

1. Benchmarking: Introdução de um benchmark de perturbação-recuperação reproduzível para falhas persistentes de seguimento de instrução em modelos de linguagem.
2. Desmembramento de Variáveis: Demonstração de que os benefícios multiagentes não podem ser assumidos apenas pelo número de agentes; o estudo separou com sucesso os efeitos do volume de geração da independência estrutural multiagente usando controles de contexto correspondente.
3. Identificação de Mecanismo: Identificação da profundidade de falha assimétrica como a via de recuperação operacional em escalas maiores (7B), onde um agente fora da perturbação direta atua como um mecanismo de reancoragem.

Significância e Alegações
O artigo fornece evidência comportamental de que a confiabilidade distribuída em sistemas multiagentes depende de estados de agentes parcialmente independentes, e não meramente de aumento de computação ou diversidade de modelos. O autor afirma que um segundo agente pode restaurar um agente afetado apenas quando o histórico de diálogo desse segundo agente permanece fora do escopo direto da instrução perturbadora, servindo como uma "fonte de restrição independente".

O estudo conclui modestamente que não estabelece um verificador geral ou prova formal de correção. Em vez disso, delineia as condições específicas sob as quais fontes de restrição independentes apoiam a recuperação além do que o volume adicional de geração sozinho pode alcançar. Os achados sugerem que, para que sistemas autônomos sejam robustos contra falhas persistentes, a redundância deve ser projetada de modo que os agentes redundantes preservem informações não capturadas conjuntamente com o agente afetado.