💻 computer science

Runtime Continuation after Faults in Partially Executed Agent Workflows

Este artigo propõe um mecanismo de continuação em tempo de execução para fluxos de trabalho de agentes de modelos de linguagem parcialmente executados que garante a recuperação segura de falhas ao reconstruir uma fronteira confiável, derivar obrigações residuais de um contrato canônico e avançar o estado apenas por meio de efeitos autorizados apoiados por evidências válidas, novas e exclusivamente correspondentes.

Autores originais: Li Zeng, Chuanwu Yang, Qiang Zhao, Qinde Chen, Deyang Qu

Publicado 2026-09-22

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Li Zeng, Chuanwu Yang, Qiang Zhao, Qinde Chen, Deyang Qu

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No cenário digital moderno, a inteligência artificial evoluiu de um sistema que simplesmente escreve texto para um que realiza tarefas ativamente. Esses agentes inteligentes podem pesquisar na web, editar arquivos, enviar mensagens e atualizar bancos de dados em nome de um usuário. Eles operam seguindo uma sequência de etapas, frequentemente chamada de fluxo de trabalho (workflow), onde cada ação altera o estado do mundo real. No entanto, essa capacidade de agir cria uma vulnerabilidade única. Se um agente comete um erro, é enganado por um truque ou encontra um erro de sistema após já ter alterado um arquivo ou enviado uma mensagem, simplesmente tentar novamente ou recomeçar pode ser perigoso. Repetir uma sequência falha pode repetir uma ação prejudicial, enquanto continuar a partir de um estado de confusão pode construir sobre uma premissa falsa. O desafio central é determinar exatamente qual parte do histórico é confiável, qual trabalho resta para ser concluído e qual prova é necessária para avançar com segurança sem repetir erros ou cair em decepções.

Os pesquisadores Li Zeng e sua equipe, do Instituto de Tecnologia da Informação da Administração Nacional de Imigração e da Universidade de Ciência e Tecnologia de Hong Kong, desenvolveram um novo método para resolver este problema. Eles chamam seu sistema de AgentMirror. Em vez de tratar um fluxo de trabalho interrompido como um simples erro a ser corrigido por uma nova tentativa, o AgentMirror trata o processo de recuperação como uma verificação rigorosa e passo a passo da realidade. O sistema opera sob o princípio de que, uma vez que um agente realizou uma ação, o histórico dessa ação torna-se um ponto fixo de verdade. Se o agente falhar ou for enganado após esse ponto, o sistema não pede à inteligência artificial que decida o que aconteceu. Em vez disso, ele observa um registro verificado do que realmente ocorreu, identifica exatamente quais tarefas ainda restam para serem feitas e exige provas concretas antes de permitir que qualquer nova ação altere o estado do mundo novamente.

Os pesquisadores construíram este sistema em torno de um conceito que chamam de "fronteira de confiança" (trusted frontier). Imagine uma linha traçada na areia que marca o momento exato em que o histórico do agente é confirmado como seguro e correto. Tudo antes desta linha é aceito como verdadeiro; tudo depois é não verificado. Quando ocorre uma falha, o sistema não permite que a inteligência artificial reescreva esta linha ou finja que um erro não aconteceu. Ele reconstrói o estado do agente baseando-se apenas no histórico verificado até aquela linha. A partir deste ponto, o sistema calcula uma lista de "obrigações residuais" — as tarefas específicas e obrigatórias que o agente ainda precisa completar para finalizar o trabalho. Ele então apresenta esta lista à inteligência artificial como um guia, dizendo o que falta fazer, mas sem dar à inteligência o poder de simplesmente executá-lo.

A inovação crítica reside em como o sistema lida com o próximo passo. Quando a inteligência artificial propõe uma nova ação, essa proposta é tratada como não confiável. O sistema força a ação através de uma verificação de segurança padrão, conhecida como "admissão ordinária", para garantir que ela seja permitida para execução. Se a ação for executada, o sistema não aceita imediatamente que a tarefa foi concluída. Ele espera por um "recibo de tempo de execução" (runtime receipt), que é um certificado digital emitido por uma autoridade confiável confirmando que a ação realmente aconteceu e foi observada corretamente. Este recibo deve ser recente, o que significa que acabou de ser criado, e deve estar vinculado à fronteira de confiança atual, o que significa que não pode ser uma repetição de uma ação antiga ou um falso de uma sessão diferente. Somente quando este recibo é verificado e corresponde exatamente a uma das tarefas restantes é que o sistema permite que o registro oficial do progresso do agente avance.

Para testar sua ideia, os pesquisadores utilizaram um benchmark chamado AgentDojo, que simula várias tarefas e introduz deliberadamente falhas e ataques para observar como os agentes se comportam. Eles compararam seu sistema AgentMirror com outros métodos de recuperação, como simplesmente tentar novamente o último passo ou deixar a inteligência artificial adivinhar o caminho para sair de problemas. Os resultados mostraram que o AgentMirror foi significativamente melhor em completar tarefas de forma segura. Ele recuperou-se com sucesso de falhas sem permitir que ações não autorizadas passassem despercebidas e impediu que o agente caísse em instruções de truque que tentavam fazê-lo repetir operações prejudiciais. O estudo demonstrou que, ao separar a orientação dada à inteligência artificial da autoridade para executar ações, e ao exigir evidências frescas para cada etapa, o sistema poderia manter um caminho seguro mesmo quando o próprio agente estivesse comprometido.

Os pesquisadores também exploraram o que aconteceria se removessem partes específicas de suas regras de segurança. Eles descobriram que, se pulassem a etapa de verificar o recibo, o sistema aceitaria evidências falsas ou antigas, levando a um progresso incorreto. Se permitissem que o guia de recuperação atuasse como uma permissão, o sistema deixaria ações não confiáveis rodarem. Se não verificassem se a ação correspondia exatamente a uma tarefa específica, o sistema poderia encerrar a tarefa errada ou deixar o trabalho incompleto. Esses testes confirmaram que cada parte de seu processo é necessária; nenhum único controle pode substituir os outros. O sistema funciona porque força uma cadeia de confiança onde a inteligência artificial pode sugerir, mas o sistema decide, e apenas a realidade verificada pode alterar o registro.

Este trabalho não afirma tornar a inteligência artificial perfeita ou resolver todos os seus possíveis problemas. O sistema depende de que o contrato inicial ou o conjunto de regras esteja correto; se as regras forem erradas, o sistema seguirá fielmente o caminho errado. Ele também não pode desfazer ações que já foram realizadas no mundo real se a prova dessas ações for perdida. No entanto, ele oferece uma estrutura robusta para gerenciar o momento em que as coisas dão errado. Ao tratar o processo de recuperação como uma transição rigorosa de um estado conhecido e seguro para um novo estado verificado, o AgentMirror oferece uma maneira de manter agentes inteligentes trabalhando com segurança, mesmo quando encontram erros ou interferências maliciosas. O estudo conclui que a chave para uma continuação segura não é um melhor palpite, mas uma melhor verificação.

Resumo Técnico: Continuação de Execução em Tempo de Execução após Falhas em Fluxos de Trabalho de Agentes Parcialmente Executados

1. Definição do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) interagem cada vez mais com o mundo modificando estados externos duráveis por meio de ferramentas (ex: editar arquivos, atualizar bancos de dados, enviar mensagens). Quando uma falha ocorre após tal efeito ter sido realizado — seja devido a um erro do modelo, uma falha de ferramenta ou uma injeção de prompt maliciosa — os mecanismos de recuperação padrão enfrentam uma lacuna semântica crítica.

Abordagens existentes tipicamente tratam partes do ciclo de vida: a autorização em tempo de execução decide se um efeito proposto pode ser executado; o diagnóstico e o replanejamento sugerem o que tentar a seguir; e sistemas de procedência registram o que aconteceu. No entanto, nenhum desses mecanismos isoladamente define como uma execução parcialmente executada deve reentrar em seu estado de tarefa canônico de forma segura. Especificamente, após uma falha, não está claro:

Qual prefixo de execução permanece confiável?
Quais obrigações mandatórias ainda estão abertas?
Que evidência é necessária para justificar o progresso adicional sem repetir operações irreversíveis ou aceitar suposições inválidas?

Repetir uma trajetória corre o risco de repetir efeitos colaterais irreversíveis, enquanto continuar a partir da última mensagem do modelo corre o risco de carregar adiante suposições inválidas. O artigo identifica a unidade semântica ausente como a transição pós-falha de um estado de execução confiável para o próximo estado de tarefa admissível.

2. Metodologia: AgentMirror

Os autores instanciam um mecanismo de tempo de execução chamado AgentMirror para resolver o problema da continuação pós-falha. A filosofia central é tratar a recuperação não como outra proposta do modelo, mas como uma transição de estado restrita sobre um histórico de execução autenticado.

2.1 Conceitos Centrais

Fronteira Confiável ( $F$ ): Um compromisso autenticado em tempo de execução de um prefixo executado. É reconstruído a partir de um registro de eventos comprometidos, não selecionado pelo modelo. Representa o ponto "seguro" até o qual o sistema confia no histórico.
Obrigações Residuais: Derivadas de um contrato de tarefa canônico ( $K$ ), estas são as obrigações mandatórias restantes após a fronteira confiável. O contrato define dependências, alvos e evidências esperadas.
Contexto de Recuperação ( $C_F$ ): Uma projeção do estado confiável (fronteira, obrigações abertas, eventos invalidados, orçamento) fornecida ao modelo black-box. Crucialmente, este contexto é não-autorizador; ele guia a geração de propostas, mas não concede permissão para executar.
Recibos de Tempo de Execução ( $\rho$ ): Evidência autoritativa emitida após a execução. Um recibo só é válido se for novo, estiver vinculado à fronteira/execução atual e corresponder de forma única a uma obrigação aberta.

2.2 O Ciclo de Vida da Transição

O mecanismo impõe uma separação estrita de responsabilidades através de quatro estágios (ilustrados na Figura 1 do artigo):

Proposta: A integração externa apresenta uma ação candidata normalizada ( $a$ ) baseada no contexto de recuperação.
Admissão Ordinária: O candidato deve passar pelos controles de autorização padrão ($Auth$) antes da execução. O contexto de recuperação não ignora isso.
Execução & Evidência: A ferramenta executa o efeito. Se bem-sucedida, um emissor confiável produz um recibo ( $\rho$ ).
Atualização do Estado Canônico: O componente de transição atualiza o estado canônico ( $S$ $S$ ) apenas se:
- O recibo for válido, novo e vinculado à fronteira atual.
- O recibo corresponda exatamente a uma única obrigação aberta (Verificação de Singleton).
- Todos os predecessores dessa obrigação estiver than satisfeitos.

Se qualquer condição falhar (ex: o recibo é obsoleto, corresponde a múltiplas obrigações ou é de uma fronteira diferente), o sistema assume o ramo de identidade: o estado canônico permanece inalterado. Isso evita a "progressão inválida" mesmo que um efeito externo tenha ocorrido; o sistema simplesmente não o reconhece como um passo válido na tarefa canônica.

2.3 Garantias Formais

O artigo formaliza o ciclo de vida como uma relação de transição. Ele prova que, sob a suposição de um contrato confiável e componentes de tempo de execução confiáveis (registro, emissor, admissão), o sistema garante:

Progressão Admissível: O estado avança apenas se o efeito foi autorizado, realizado e suportado por evidência nova e vinculada.
Não-Substituibilidade: As condições (admissão, evidência de execução, validade do recibo, vínculo de fronteira, correspondência de singleton) são distintas. Remover qualquer condição única admite uma classe específica de progressão inválida (ex: remover o vínculo de fronteira permite evidência de prefixos cruzados; remover a correspondência de singleton permite fechamento ambíguo).

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

Semântica de Transição de Estado Pós-Falha: Um modelo formal centrado em uma fronteira estabelecida em tempo de execução, obrigações residuais, contexto de recuperação não-autorizador e progressão baseada em evidência.
Separação Tipada de Preocupações: Uma distinção clara entre orientação (contexto de recuperação), autoridade (admissão), evidência de execução (recibos) e correção da tarefa. O artigo fornece "testemunhos de remoção de condição" demonstrando por que essas condições não podem substituir umas às outras.
Mapeamento de Tempo de Execução e Escopo de Avaliação: Um framework para avaliar fluxos de trabalho de agentes black-box que separa utilidade da tarefa, sucesso de ataque, utilidade segura e transições inválidas. Define métricas específicas para RQ1 (Segurança/Utilidade), RQ2 (Generalidade) e RQ3 (Atribuição de Condição).

4. Escopo de Avaliação e Resultados

O artigo delineia uma estratégia de avaliação usando o benchmark AgentDojo, que fornece ambientes de ferramentas com estado e oráculos de tarefas externas.

RQ1 (Eficácia Geral de Recuperação Segura): Mede se o AgentMirror recupera tarefas sem efeitos não autorizados e melhora as taxas de conclusão em comparação com baselines como "Sem Recuperação" ou "Tentativa Básica". Métricas incluem Utilidade, Taxa de Sucesso de Ataque (ASR) e Utilidade Segura.
RQ2 (Generalidade): Testa a eficácia em diferentes aplicações do AgentDojo, famílias de falhas e modelos black-box. Avalia se o mecanismo permanece eficaz independentemente do modelo específico ou do adaptador de provedor utilizado abaixo da fronteira da proposta normalizada.
RQ3 (Atribuição de Condição): Utiliza estudos de ablação para remover condições específicas de transição ou propriedade (ex: remover admissão ordinária, enfraquecer o frescor do recibo). O objetivo é mostrar que cada condição removida admite uma classe distinta de progressão inválida, validando a necessidade do conjunto completo de restrições.

Nota: O artigo apresenta a metodologia e o design de avaliação, mas não relata resultados numéricos específicos (ex: "95% de taxa de sucesso") no texto fornecido. O foco é na correção semântica e nas garantias teóricas do modelo de transição.

5. Significância e Alegações

O artigo afirma abordar uma "transição ausente" na literatura de segurança de agentes. Enquanto trabalhos anteriores cobrem controles pré-falha, monitoramento durante a falha ou registros pós-efeito, o AgentMirror especifica a transição relativa ao contrato que os conecta após a execução parcial.

Garantia Relativa ao Contrato: O sistema garante consistência interna relativa ao contrato da tarefa. Ele não afirma correção global da tarefa se o próprio contrato for falho (ex: omite uma obrigação), mas garante que o estado de tempo de execução avance apenas quando os requisitos de evidência do contrato forem atendidos.
Defesa Contra Confusão de Autoridade: Uma contribuição chave é evitar que "metadados de recuperação" sejam confundidos com "autoridade de execução". O contexto de recuperação guia o modelo, mas não pode cunhar credenciais ou ignorar a admissão.
Modéstia sobre Limitações: Os autores são explícitos sobre as limitações:
- A garantia é relativa a um contrato confiável; um contrato ruim leva a um estado de tarefa consistente, porém incorreto.
- Não há garantia de liveness incondicional; se nenhuma candidatura passar pela admissão ou corresponder a uma obrigação, o sistema interrompe o progresso.
- Não trata efeitos externos irreversíveis que carecem de mecanismos de idempotência ou compensação fora da transição canônica.
- A correção do parsing do provedor e do adaptador permanece uma preocupação externa.

Em resumo, o AgentMirror fornece um framework semântico rigoroso para retomar fluxos de trabalho de agentes black-box após falhas, garantindo que a progressão de estado seja impulsionada por evidência autenticada e adesão estrita ao contrato, em vez de confiança do modelo ou planos de recuperação não verificados.