Resume Means Resume: A Machine-Checked Conformance Contract for Checkpoint, Interrupt, and Resume Semantics in Workflow Persistence Layers

AI 에이전트의 디지털 건망증

당신이 여행 계획을 세우거나 이야기를 쓰는 것과 같은 복잡한 작업을 수행할 수 있는 로봇을 만들고 있다고 상상해 보세요. 때때로 이 로봇은 "항공권을 예약할까요?" 또는 "이 반전이 마음에 드시나요?"와 같이 당신에게 질문을 던지며 잠시 멈춰야 할 때가 있습니다. 이것을 "인터럽트(interrupt)"라고 부릅니다. 만약 로봇이 충돌하거나, 전원이 꺼지거나, 방해를 받는다면, 로봇은 자신이 멈춘 지점부터 정확히 다시 시작할 수 있도록 그 상태를 기억하는 방법이 필요합니다. 이것을 "지속성(persistence)"이라고 합니다.

컴퓨터 과학 분야, 특히 인공지능(AI) 워크플로우 분야에서는 성장하고 있는 문제가 하나 있습니다. 우리는 일시 중지하고 재개할 수 있는 다양한 "로봇 두뇌"(프레임워크)들을 구축해 왔습니다. 하지만 이 로봇들은 자신들이 이미 무엇을 했는지 기억하는 데 매우 서툽니다. 만약 로봇이 작업을 마치고 진행 상황을 저장한 뒤 다시 시작한다면, 잘 길들여진 로봇은 "이미 그 일을 했으니, 다음 단계로 넘어가자"라고 말해야 합니다. 하지만 혼란에 빠진 로봇은 "그걸 했다는 기억이 안 나요!"라고 말하며 그 작업을 처음부터 다시 수행할 수도 있습니다. 만약 그 작업이 이메일을 보내거나 신용카드로 결제하는 것이었다면, 두 번 실행하는 것은 재앙이 될 것입니다. 이 논문은 우리의 현재 AI 로봇들이 실제로 혼란을 겪고 있는 것인지, 아니면 단지 똑똑한 척을 하고 있는 것인지를 조사합니다.

---

거대한 "재개(Resume)"의 혼란

이 논문은 탐정 소설과 같습니다. 하지만 저자 사자드 칸(Sajjad Khan)은 살인 사건을 해결하는 대신, '디지털 건망증'이라는 미스터리를 풀고 있습니다. 미스터리는 바로 이것입니다: AI 에이전트가 일시 중지했다가 다시 재개될 때, 자신이 이미 수행한 일을 기억할까요, 아니면 실수로 다시 수행하게 될까요?

저자는 현재 가장 인기 있는 다섯 가지 AI 프레임워크가 모두 서로 다르고 충돌하는 규칙을 따르고 있다는 사실을 발견했습니다. 이는 마치 다섯 가지 서로 다른 비디오 게임을 가지고 있는데, 어떤 게임에서는 "계속하기"를 누르면 방금 깬 레벨을 건너뛰지만, 다른 게임에서는 보스와 다시 싸우도록 강요하는 것과 같습니다. 더 나쁜 것은, 어떤 게임들은 자신이 어떤 규칙을 사용하고 있는지조차 알려주지 않는다는 점입니다.

올바른 재개를 위한 6가지 규칙

누가 공정하게 플레이하고 있는지 알아내기 위해, 저자는 "재개 계약(Resume Contract)"을 발명했습니다. 이것을 로봇이 낮잠에서 깨어났을 때 어떻게 행동해야 하는지에 대한 규칙집이라고 생각하면 됩니다. 이 계약에는 여섯 가지 주요 규칙이 있습니다:

1. 접두사 연속성 (Prefix Continuation): 깨어났을 때, 영화의 처음이 아니라 정확히 멈췄던 지점에서 시작해야 합니다.
2. 효과 단 한 번 실행 (Effect Exactly-Once): 이미 이메일을 보냈거나 카드를 결제했다면, 절대 다시 해서는 안 됩니다. 딱 한 번만 해야 합니다.
3. 분기 결정론 (Fork Determinism): 경로를 나누기로 결정했다면(예: "왼쪽으로 가기" vs "오른쪽으로 가기"), 로봇은 당신이 어떤 경로를 선택했는지 기억해야 합니다. 당신이 "왼쪽"이라고 두 번 말했다고 해서, 두 번째에 "오른쪽"처럼 행동해서는 안 됩니다.
4. 체크포인트 유효성 (Checkpoint Validity): 로봇의 메모리 로그는 깨끗해야 합니다. 나중에 시스템을 충돌하게 만드는 "쓰레기"나 깨진 데이터를 저장해서는 안 됩니다.
5. 단 한 번 소비 (Consume-Once): 인간이 답변(예: "네, 항공권을 예약하세요")을 주면, 로봇은 그 답변을 오직 한 번만 사용해야 합니다. 하나의 "네"라는 답변을 사용하여 두 개의 항공권을 예약하는 실수를 범해서는 안 됩니다.
6. 복구 결정론 (Recovery Determinism): 만약 두 대의 로봇이 정확히 동일한 메모리 로그를 가지고 깨어난다면, 그들은 정확히 동일한 결정을 내려야 합니다.

조사 결과: 누가 실패했는가?

저자는 다섯 가지 인기 있는 AI 프레임워크를 테스트하기 위해 매우 정밀한, 로봇이 배제된 테스트 기계("하네스", harness)를 구축했습니다. 테스트에는 인간의 뇌나 AI 모델이 개입되지 않았으며, 순수한 코드만 사용되었습니다. 결과는 충격적이었습니다: 어떤 프레임워크도 서로 똑같이 동작하지 않았습니다.

• LangGraph: 이 프레임워크는 자기 숙제를 까먹는 로봇과 같습니다. 충돌 후 재시작하면, 이미 완료한 작업을 다시 수행합니다("효과 단 한 번 실행" 위반). 또한, 마음을 바꾸려고 시도할 때(분기) 기존의 선택을 무시하고 이전 것을 반복하는 결함이 있습니다.
• CrewAI: 이 모델은 훨씬 더 혼란스럽습니다. 완료된 작업을 건너뛴다고 주장하지만, 재시작하면 어쨌든 모든 일을 다시 합니다. 이는 마치 요리사가 "양파는 이미 다 썰었어요"라고 말하면서도, 시간을 낭비하고 재료를 허비하며 양파를 다시 써는 것과 같습니다.
• LlamaIndex Workflows: 이 프레임워크는 자신의 혼란에 대해 솔직합니다. "잠시 멈추면, 멈추기 전의 작업을 다시 할 수도 있다"고 인정합니다. 이것은 버그가 아니라 문서화된 기능이지만, 결제와 같은 일에는 여전히 위험합니다.
• pydantic-graph: 이 로봇은 너무 취약해서, 작업 도중 충돌하면 아예 깨어나기를 거부합니다. 이는 마치 엔진이 켜진 상태에서 시동을 끄면 출발하지 못하는 자동차와 같습니다.
• AutoGen: 이 모델은 유일하게 "이봐요, 깨진 저장 파일을 불러오려고 했습니다!"라고 크게 외치며 실행을 거부합니다. 이는 검증 절차를 우회하려는 학생을 허용하지 않는 엄격한 선생님과 같습니다.

"중복 예약"의 재앙

가장 위험한 발견 중 하나는 **단 한 번 소비(Consume-Once)**에 관한 것이었습니다. 인간이 답변을 제공하는 "주차 공간(parking spot)"이 있다고 가정해 봅시다. 만약 두 사람이 동시에 답변을 시도한다면(동시성), 현재의 시스템들은 두 사람 모두가 주차할 수 있게 허용합니다. 그러면 로봇은 두 개의 답변을 받았다고 생각하여 작업을 두 번 수행하게 됩니다.
저자는 16명의 "경주자(racers)"가 동시에 답변하려고 하는 상황으로 이를 테스트했습니다. 40번의 테스트 중 36번에서 시스템은 완전히 실패하여, 16명의 경주자가 모두 동작을 트리거하도록 내버려 두었습니다. 이는 16명이 같은 티켓을 구매하려 할 때, 시스템이 16명 모두를 입장시켜 버리는 매표소와 같습니다.

증명과 해결책

저자는 단순히 추측한 것이 아닙니다. 그들은 **TLA+**라는 수학적 도구를 사용하여 수백만 개의 시나리오를 시뮬레이션하고, 이러한 실패가 단순한 운이 아니라 실제임을 증명했습니다. 또한, "완벽한" 로봇 엔진인 REMIT을 구축하기 위해 Verus라는 형식 검증 도구를 사용했습니다.

REMIT은 규칙을 완벽하게 따르는 참조 엔진입니다. 이 엔진은 당신이 선택한 경로를 정확히 기억함으로써 "분기" 문제를 해결하고, 답변을 잠금 처리하여 한 사람만이 답변을 줄 수 있도록 함으로써 "중복 예약" 문제를 해결합니다. 저자는 REMIT을 사용할 때, 64개의 서로 다른 스레드가 동시에 말을 걸더라도 로봇이 올바르게 동작한다는 것을 보여주었습니다.

시사점

여기서 얻는 큰 교훈은, 어떤 AI 프레임워크가 "체크포인팅"(저장 및 재개 능력) 기능을 가지고 있다고 해서, 그것이 돈이나 메시지 전송과 같은 중요한 일에 안전하다는 뜻은 아니라는 점입니다. 현재 많은 AI 도구의 "재개(resume)" 버튼은 데이터 손실이나 중복 결제를 일으킬 수 있는 방식으로 고장 나 있습니다.

이 논문은 개발자들이 자신의 AI가 깨어났을 때 정확히 무엇을 할지 알 수 있도록 표준화된 규칙(재개 계약)이 필요함을 증명합니다. 그때까지, 만약 당신이 현실 세계의 작업을 수행하는 AI를 구축하고 있다면, 프레임워크가 자신이 한 일을 기억할 것이라고 그냥 믿어서는 안 됩니다. 당신만의 안전망을 직접 구축해야 합니다. 저자는 개발자들이 시스템을 패치하고 안전하게 만들 수 있도록 무료 도구(REMIT)를 공개했으며, 이는 현재 인기 있는 도구들이 아직 구현하지 못했을지라도, 완벽하고 규칙을 준수하는 재개가 가능하다는 것을 입증합니다.