Resume Means Resume: A Machine-Checked Conformance Contract for Checkpoint, Interrupt, and Resume Semantics in Workflow Persistence Layers

A Amnésia Digital dos Agentes de IA

Imagine que você está construindo um robô capaz de realizar tarefas complexas, como planejar uma viagem ou escrever uma história. Às vezes, esse robô precisa fazer uma pausa para lhe fazer uma pergunta, como "Devo reservar o voo?" ou "Você gosta desta reviravolta na trama?". Isso é chamado de "interrupção". Se o robô travar, perder a energia ou for interrompido, ele precisa de uma maneira de lembrar exatamente onde parou para que possa retomar exatamente de onde parou. Isso é chamado de "persistência".

No mundo da ciência da computação, especificamente no campo dos fluxos de trabalho de IA (AI workflows), há um problema crescente. Construímos muitos "cérebros de robôs" (frameworks) diferentes que podem pausar e retomar. No entanto, esses robôs são péssimos em lembrar o que já fizeram. Se um robô termina uma tarefa, salva seu progresso e depois reinicia, um robô bem comportado deveria dizer: "Eu já fiz isso, vamos seguir em frente". Mas um robô confuso pode dizer: "Eu não me lembro de ter feito isso!" e realizar a tarefa novamente. Se essa tarefa fosse enviar um e-mail ou cobrar um cartão de crédito, fazer isso duas vezes seria um desastre. Este artigo investiga se nossos atuais robôs de IA estão realmente confusos ou se estão apenas fingindo ser espertos.

---

A Grande Confusão do "Retomar"

Este artigo é como uma história de detetive, mas em vez de resolver um assassinato, o autor, Sajjad Khan, está resolvendo um mistério de amnésia digital. O mistério é: Quando um agente de IA faz uma pausa e depois retoma, ele se lembra do que já fez ou acaba fazendo de novo acidentalmente?

O autor descobriu que os cinco frameworks de IA mais populares atualmente estão todos jogando com livros de regras diferentes e conflitantes. É como se você tivesse cinco videogames diferentes e, em um, apertar "Continuar" pula o nível que você acabou de vencer, mas em outro, força você a lutar contra o chefe novamente. Pior ainda, alguns desses jogos nem sequer dizem qual regra estão usando.

As Seis Regras de um Bom Retomar (Resume)

Para descobrir quem está jogando limpo, o autor inventou um "Contrato de Retomada" (Resume Contract). Pense nisso como um livro de regras sobre como um robô deve se comportar ao acordar de um cochilo. O contrato tem seis regras principais:

1. Continuação de Prefixo: Quando você acorda, deve começar exatamente onde parou, não do início do filme.
2. Efeito Exatamente Uma Vez: Se você já enviou um e-mail ou cobrou um cartão, você nunca deve fazer isso de novo. Apenas uma vez.
3. Determinismo de Bifurcação (Fork): Se você decidir dividir seu caminho (como escolher "Ir para a Esquerda" vs. "Ir para a Direita"), o robô deve lembrar qual caminho você escolheu. Se você disser "Esquerda" duas vezes, ele não deve agir como se você tivesse dito "Direita" na segunda vez.
4. Validade de Checkpoint: O registro de memória do robô deve estar limpo. Ele não deve salvar "lixo" ou dados quebrados que façam o sistema travar mais tarde.
5. Consumo Único: Se um humano der uma resposta (como "Sim, reserve o voo"), o robô deve usar essa resposta apenas uma vez. Ele não deve usar acidentalmente o mesmo "Sim" para reservar dois voos.
6. Determinismo de Recuperação: Se dois robôs acordarem com o mesmo registro de memória, eles devem tomar exatamente as mesmas decisões.

A Investigação: Quem Falhou?

O autor construiu uma máquina de teste superprecisa e livre de robôs (um "harness") para testar cinco frameworks de IA populares. Nenhum cérebro humano ou modelo de IA foi envolvido nos testes, apenas código puro. Os resultados foram chocantes: Nenhum dos dois frameworks se comportava da mesma forma.

• LangGraph: Este framework é como um robô que esquece o próprio dever de casa. Quando trava e reinicia, ele refaz o trabalho que já havia terminado (violando o "Efeito Exatamente Uma Vez"). Ele também possui uma falha onde, se você tentar mudar de ideia (uma bifurcação), ele ignora sua nova escolha e repete a antiga.
• CrewAI: Este é ainda mais caótico. Ele afirma que pula o trabalho concluído, mas quando reinicia, refaz tudo de qualquer maneira. É como um chef que diz: "Eu já piquei as cebolas", mas depois pica novamente, desperdiçando tempo e ingredientes.
• LlamaIndex Workflows: Este framework é honesto sobre sua confusão. Ele admite: "Ei, se você pausar, eu posso refazer o trabalho antes da pausa". Não é um erro; é um recurso que eles documentaram, mas ainda assim é arriscado para coisas como pagamentos.
• pydantic-graph: Este robô é tão frágil que, se travar no meio de uma tarefa, ele se recusa a acordar de vez. É como um carro que não liga se você desligar o motor enquanto ele está engatado.
• AutoGen: Este é o único que diz alto e claro: "Ei, você tentou carregar um arquivo de salvamento quebrado!" e se recusa a rodar. É o professor rigoroso que não deixa você burlar as verificações de validação.

O Desastre da "Dupla Reserva"

Uma das descobertas mais perigosas foi sobre o Consumo Único. Imagine que você tem uma "vaga de estacionamento" onde um humano dá uma resposta. Se duas pessoas tentarem dar uma resposta ao mesmo tempo (concorrentemente), os sistemas atuais permitem que ambas estacionem. O robô então pensa que recebeu duas respostas e realiza a tarefa duas vezes.
O autor testou isso com 16 "corredores" tentando responder ao mesmo tempo. Em 36 de 40 testes, o sistema falhou completamente, permitindo que todos os 16 corredores disparassem a ação. É como uma bilheteria onde 16 pessoas compram o mesmo ingresso, e o sistema permite que todas entrem.

A Prova e a Solução

O autor não apenas supôs; ele usou uma ferramenta matemática chamada TLA+ para simular milhões de cenários e provar que essas falhas eram reais e não apenas má sorte. Ele também usou uma ferramenta de verificação formal chamada Verus para construir um motor de robô "perfeito" chamado REMIT.

O REMIT é um motor de referência que segue as regras perfeitamente. Ele resolve o problema da "bifurcação" lembrando exatamente qual caminho você escolheu, e resolve o problema da "dupla reserva" bloqueando a resposta para que apenas uma pessoa possa fornecê-la. O autor mostrou que, ao usar o REMIT, o robô se comporta corretamente, mesmo quando 64 threads diferentes tentam falar com ele ao mesmo tempo.

A Conclusão

A grande lição aqui é que só porque um framework de IA diz que possui "checkpointing" (a capacidade de salvar e retomar), não significa que ele seja seguro para usar em coisas importantes como dinheiro ou envio de mensagens. Atualmente, o botão "retomar" em muitas ferramentas de IA está quebrado de formas que poderiam causar cobranças duplas ou perda de dados.

O artigo prova que precisamos de um livro de regras padrão (o Contrato de Retomada) para que os desenvolvedores saibam exatamente o que sua IA fará quando acordar. Até lá, se você estiver construindo uma IA que realiza tarefas do mundo real, você não pode apenas confiar que o framework lembrará o que fez — você deve construir sua própria rede de segurança. O autor também lançou uma ferramenta gratuita (REMIT) que os desenvolvedores podem usar para corrigir seus sistemas e torná-los seguros, provando que um retomar perfeito e que obedece às regras é possível, mesmo que as ferramentas populares atuais ainda não o estejam fazendo.