Resume Means Resume: A Machine-Checked Conformance Contract for Checkpoint, Interrupt, and Resume Semantics in Workflow Persistence Layers

L'Amnesia Digitale degli Agenti AI

Immaginate di stare costruendo un robot capace di svolgere compiti complessi, come pianificare un viaggio o scrivere una storia. A volte, questo robot ha bisogno di fare una pausa per farvi una domanda, come "Dovrei prenotare il volo?" o "Ti piace questo colpo di scena?". Questo viene chiamato un "interrupt" (interruzione). Se il robot si blocca, perde l'alimentazione o viene interrotto, ha bisogno di un modo per ricordare esattamente dove si era interrotto, in modo da poter riprendere esattamente da quel punto. Questo si chiama "persistenza".

Nel mondo dell'informatica, specificamente nel campo dei workflow di Intelligenza Artificiale (AI), sta emergendo un problema crescente. Abbiamo costruito molti diversi "cervelli robotici" (framework) che possono mettersi in pausa e riprendere. Tuttavia, questi robot sono terribili nel ricordare ciò che hanno già fatto. Se un robot completa un compito, salva i suoi progressi e poi si riavvia, un robot ben educato dovrebbe dire: "L'ho già fatto, procediamo oltre". Ma un robot confuso potrebbe dire: "Non ricordo di averlo fatto!", e ripetere il compito da capo. Se quel compito consisteva nell'inviare un'e-mail o nel scalare una carta di credito, farlo due volte è un disastro. Questo articolo indaga se i nostri attuali robot AI siano effettivamente confusi o se stiano solo fingendo di essere intelligenti.

---

Il Grande Confuso del "Resume"

Questo articolo è come un romanzo giallo, ma invece di risolvere un omicidio, l'autore, Sajjad Khan, sta risolvendo un mistero di amnesia digitale. Il mistero è: Quando un agente AI si mette in pausa e poi riprende, ricorda cosa ha già fatto o lo rifà accidentalmente?

L'autore ha scoperto che i cinque framework AI più popolari attualmente in circolazione stanno tutti seguendo libri di regole diversi e contrastanti. È come se aveste cinque videogiochi diversi e, in uno, premere "Continua" saltasse il livello appena superato, mentre in un altro ti costringesse a combattere di nuovo contro il boss. Peggio ancora, alcuni di questi giochi non ti dicono nemmeno quale regola stanno usando.

Le Sei Regole di un Buon "Resume"

Per capire chi sta giocando le quite, l'autore ha inventato un "Contratto di Resume". Pensate a questo come a un libro di regole su come un robot dovrebbe comportarsi quando si sveglia da un pisolino. Il contratto ha sei regole principali:

1. Continuazione del Prefisso: Quando ti svegli, dovresti iniziare esattamente dove avevi lasciato, non dall'inizio del film.
2. Effetto Una Volta Esattamente: Se hai già inviato un'e-mail o addebitato una carta, non devi mai farlo di nuovo. Solo una volta.
3. Determinismo del Fork: Se decidi di dividere il tuo percorso (come scegliere "Vai a Sinistra" vs "Vai a Destra"), il robot deve ricordare quale percorso hai scelto. Se dici "Sinistra" due volte, non dovrebbe agire come se avessi detto "Destra" la seconda volta.
4. Validità del Checkpoint: Il registro della memoria del robot deve essere pulito. Non dovrebbe salvare "spazzatura" o dati corrotti che lo facciano crashare in seguito.
5. Consumo Unico: Se un essere umano dà una risposta (come "Sì, prenota il volo"), il robot dovrebbe usare quella risposta una sola volta. Non dovrebbe accidentalmente usare lo stesso "Sì" per prenotare due voli.
6. Determinismo del Recupero: Se due robot si svegliano con lo stesso identico registro di memoria, devono prendere esattamente le stesse decisioni.

L'Indagine: Chi è Fallito?

L'autore ha costruito una macchina di test super precisa e priva di robot (un "harness") per testare cinque popolari framework AI. Non sono stati coinvolti cervelli umani o modelli AI nella fase di test, solo puro codice. I risultati sono stati scioccanti: nessun framework si comportava nello stesso modo.

• LangGraph: Questo framework è come un robot che dimentica i propri compiti. Quando va in crash e si riavvia, rifà il lavoro che aveva già terminato (violando l' "Effetto Una Volta Esattamente"). Ha anche un glitch per cui, se provi a cambiare idea (un "fork"), ignora la tua nuova scelta e ripete la vecchia.
• CrewAI: Questo è ancora più caotico. Sostiene di saltare il lavoro completato, ma quando si riavvia, rifà tutto comunque. È come uno chef che dice: "Ho già tagliato le cipolle", ma poi le taglia di nuovo, sprecando tempo e ingredienti.
• LlamaIndex Workflows: Questo framework è onesto riguardo alla sua confusione. Ammette: "Ehi, se ti metti in pausa, potrei rifare il lavoro prima della pausa". Non è un bug, è una funzionalità documentata, ma è comunque rischioso per cose come i pagamenti.
• pydantic-graph: Questo robot è così fragile che se crasha nel mezzo di un compito, si rifiuta del tutto di svegliarsi. È come un'auto che non parte se spegni il motore mentre è inserita una marcia.
• AutoGen: Questo è l'unico che dice chiaramente: "Ehi, hai cercato di caricare un file di salvataggio corrotto!" e si rifiuta di eseguire. È l'insegnante severo che non ti permette di aggirare i controlli di validazione.

Il Disastro del "Doppio Booking"

Uno dei risultati più pericolosi riguardava il Consume-Once (Consumo Unico). Immaginate di avere un "posto auto" dove un essere umano fornisce una risposta. Se due persone provano a dare una risposta nello stesso momento (concorrentemente), gli attuali sistemi permettono a entrambi di parcheggiare. Il robot pensa quindi di aver ricevuto due risposte e compie il compito due volte.
L'autore ha testato questo con 16 "corridori" che cercavano di rispondere contemporaneamente. In 36 casi su 40, il sistema è fallito completamente, lasciando che tutti i 16 corridori attivassero l'azione. È come una biglietteria dove 16 persone comprano lo stesso biglietto e il sistema le lascia entrare tutte.

La Prova e la Soluzione

L'autore non ha solo tirato a indovinare; ha usato uno strumento matematico chiamato TLA+ per simulare milioni di scenari e dimostrare che questi fallimenti erano reali e non solo sfortuna. Ha anche utilizzato uno strumento di verifica formale chiamato Verus per costruire un motore robotico "perfetto" chiamato REMIT.

REMIT è un motore di riferimento che segue perfettamente le regole. Risolve il problema del "fork" ricordando esattamente quale percorso hai scelto, e risolve il problema del "doppio booking" bloccando la risposta in modo che solo una persona possa fornirla. L'autore ha dimostrato che quando si usa REMIT, il robot si comporta correttamente, anche quando 64 thread diversi cercano di comunicare con esso.

Il Messaggio Chiave

La grande lezione qui è che il solo fatto che un framework AI dichiari di avere il "checkpointing" (la capacità di salvare e riprendere) non significa che sia sicuro da usare per cose importanti come il denaro o l'invio di messaggi. Attualmente, il tasto "resume" di molti strumenti AI è rotto in modi che potrebbero causare doppi addebiti o perdita di dati.

L'articolo dimostra che abbiamo bisogno di un libro di regole standard (il Contratto di Resume) affinché gli sviluppatori sappiano esattamente cosa farà la loro AI quando si sveglia. Fino ad allora, se state costruendo un'IA che svolge compiti nel mondo reale, non potete fidarvi semplicemente del framework affinché ricordi ciò che ha fatto: dovete costruire la vostra rete di sicurezza. L'autore ha anche rilasciato uno strumento gratuito (REMIT) che gli sviluppatori possono usare per patchare i loro sistemi e renderli sicuri, dimostrando che un resume perfetto e rispettoso delle regole è possibile, anche se gli strumenti popolari attuali non lo stanno facendo ancora.