Resume Means Resume: A Machine-Checked Conformance Contract for Checkpoint, Interrupt, and Resume Semantics in Workflow Persistence Layers

L'amnésie numérique des agents IA

Imaginez que vous construisez un robot capable d'accomplir des tâches complexes, comme planifier un voyage ou écrire une histoire. Parfois, ce robot doit faire une pause pour vous poser une question, du type : « Dois-je réserver le vol ? » ou « Aimez-vous ce rebondissement dans l'intrigue ? ». C'est ce qu'on appelle une « interruption ». Si le robot plante, perd l'alimentation ou est interrompu, il doit avoir un moyen de se souvenir exactement où il s'est arrêté afin de pouvoir reprendre là où il en était. C'est ce qu'on appelle la « persistance ».

Dans le monde de l'informatique, et plus précisément dans le domaine des flux de travail d'IA (AI workflows), il existe un problème croissant. Nous avons construit de nombreux « cerveaux de robots » (frameworks) différents qui peuvent faire des pauses et reprendre. Cependant, ces robots sont terribles pour se souvenir de ce qu'ils ont déjà fait. Si un robot termine une tâche, sauvegarde sa progression, puis redémarre, un robot bien élevé devrait dire : « Je l'ai déjà fait, passons à la suite ». Mais un robot confus pourrait dire : « Je ne me souviens pas l'avoir fait ! » et refaire la tâche une nouvelle fois. Si cette tâche consistait à envoyer un e-mail ou à débiter une carte de crédit, la faire deux fois est un désastre. Cet article examine si nos robots IA actuels sont réellement confus, ou s'ils font simplement semblant d'être intelligents.

---

Le grand chaos de la « Reprise »

Cet article ressemble à une histoire de détective, mais au lieu de résoudre un meurtre, l'auteur, Sajjad Khan, résout un mystère d'amnésie numérique. Le mystère est le suivant : Lorsqu'un agent IA fait une pause puis reprend, se souvient-il de ce qu'il a déjà fait, ou refait-il accidentellement la même chose ?

L'auteur a découvert que les cinq frameworks d'IA les plus populaires sur le marché jouent tous selon des règles différentes et contradictoires. C'est comme si vous aviez cinq jeux vidéo différents et que, dans l'un, appuyer sur « Continuer » permet de sauter le niveau que vous venez de réussir, alors que dans un autre, cela vous force à combattre à nouveau le boss. Pire encore, certains de ces jeux ne vous disent même pas quelle règle ils utilisent.

Les six règles d'une bonne reprise

Pour savoir qui joue équitablement, l'auteur a inventé un « Contrat de Reprise » (Resume Contract). Considérez cela comme un manuel de règles sur la façon dont un robot doit se comporter lorsqu'il se réveille d'une sieste. Le contrat comporte six règles principales :

1. Continuation par préfixe : Quand vous vous réveillez, vous devez reprendre exactement là où vous vous étiez arrêté, et non au début du film.
2. Effet exactement une fois : Si vous avez déjà envoyé un e-mail ou débité une carte, vous ne devez jamais le refaire. Une seule fois, c'est tout.
3. Déterminisme de bifurcation (Fork Determinism) : Si vous décidez de diviser votre chemin (comme choisir « Aller à gauche » vs « Aller à droite »), le robot doit se souvenir du chemin que vous avez choisi. Si vous dites « Gauche » deux fois, il ne doit pas agir comme si vous aviez dit « Droite » la seconde fois.
4. Validité du point de contrôle (Checkpoint Validity) : Le journal de mémoire du robot doit être propre. Il ne doit pas enregistrer de « données poubelles » ou corrompues qui pourraient provoquer un plantage plus tard.
5. Consommation unique (Consume-Once) : Si un humain donne une réponse (comme « Oui, réservez le vol »), le robot ne doit utiliser cette réponse qu'une seule fois. Il ne doit pas accidentellement utiliser le même « Oui » pour réserver deux vols.
6. Déterminisme de récupération : Si deux robots se réveillent avec le même journal de mémoire, ils doivent prendre exactement les mêmes décisions.

L'enquête : Qui a échoué ?

L'auteur a construit une machine de test ultra-précise et sans robot (un « harnais ») pour tester cinq frameworks d'IA populaires. Aucun cerveau humain ni modèle d'IA n'a été impliqué dans les tests, seulement du code pur. Les résultats ont été choquants : aucun des deux frameworks ne se comportait de la même manière.

• LangGraph : Ce framework est comme un robot qui oublie ses propres devoirs. Lorsqu'il plante et redémarre, il refait un travail qu'il avait déjà terminé (en violant la règle « Effet exactement une fois »). Il présente également un bug où, si vous essayez de changer d'avis (une « bifurcation »), il ignore votre nouveau choix et répète l'ancien.
• CrewAI : Celui-ci est encore plus chaotique. Il prétend sauter le travail terminé, mais lorsqu'il redémarre, il refait tout de toute façon. C'est comme un chef qui dit : « J'ai déjà coupé les oignons », mais qui les recoupe ensuite, gaspillant ainsi du temps et des ingrédients.
• LlamaIndex Workflows : Ce framework est honnête sur sa confusion. Il admet : « Hé, si vous faites une pause, je risque de refaire le travail effectué avant la pause ». Ce n'est pas un bug, mais une fonctionnalité documentée, bien que cela reste risqué pour des choses comme les paiements.
• pydantic-graph : Ce robot est si fragile que si un crash survient au milieu d'une tâche, il refuse de se réveiller du tout. C'est comme une voiture qui ne démarre pas si vous coupez le moteur alors qu'elle est encore en prise.
• AutoGen : C'est le seul qui déclare haut et fort : « Hé, vous avez essayé de charger un fichier de sauvegarde corrompu ! » et refuse de s'exécuter. C'est le professeur strict qui ne vous laisse pas contourner les vérifications de validation.

Le désastre de la « double réservation »

L'une des découvertes les plus dangereuses concernait la Consommation unique. Imaginez que vous avez une « place de parking » où un humain donne une réponse. Si deux personnes essaient de donner une réponse au même moment (en simultané), les systèmes actuels permettent aux deux de se garer. Le robot pense alors qu'il a reçu deux réponses et effectue la tâche deux fois.
L'auteur a testé cela avec 16 « coureurs » essayant de répondre en même temps. Dans 36 tests sur 40, le système a totalement échoué, laissant les 16 coureurs déclencher l'action. C'est comme un guichet où 16 personnes achètent le même billet, et le système les laisse tous entrer.

La preuve et la solution

L'auteur n'a pas seulement supposé ; il a utilisé un outil mathématique appelé TLA+ pour simuler des millions de scénarios et prouver que ces échecs étaient réels et non dus à la malchance. Il a également utilisé un outil de vérification formelle appelé Verus pour construire un moteur de robot « parfait » nommé REMIT.

REMIT est un moteur de référence qui suit parfaitement les règles. Il corrige le problème de la « bifurcation » en se souvenant exactement du chemin que vous avez choisi, et il corrige le problème de la « double réservation » en verrouillant la réponse pour que une seule personne puisse la donner. L'auteur a démontré que lorsqu'on utilise REMIT, le robot se comporte correctement, même lorsque 64 threads différents tentent de lui parler simultanément.

La conclusion

La grande leçon est que, même si un framework d'IA affirme posséder la fonction de « checkpointing » (la capacité de sauvegarder et de reprendre), cela ne signifie pas qu'il est sûr de l'utiliser pour des choses importantes comme l'argent ou l'envoi de messages. Actuellement, le bouton « reprendre » de nombreux outils d'IA est défaillant d'une manière qui pourrait causer des doubles débits ou des pertes de données.

L'article prouve que nous avons besoin d'un standard de règles (le Contrat de Reprise) afin que les développeurs sachent exactement ce que fera leur IA lorsqu'elle se réveillera. En attendant, si vous construisez une IA qui accomplit des tâches réelles, vous ne pouvez pas simplement faire confiance au framework pour se souvenir de ce qu'il a fait — vous devez construire votre propre filet de sécurité. L'auteur a même publié un outil gratuit (REMIT) que les développeurs peuvent utiliser pour corriger leurs systèmes et les sécuriser, prouvant qu'une reprise parfaite et respectueuse des règles est possible, même si les outils populaires actuels ne le font pas encore.